Mali jezični modeli (small language model, SLM), algoritmi oblikovani za razumijevanje i generiranje ljudskog teksta, noviji su trend na tržištu umjetne inteligencije (AI). Inačica su NLP (natural language processing) modela, brzi su i zahtijevaju manja računalna sredstva za rad od velikih jezičnih modela (LLM), što ih čini savršenima za manje tvrtke s ograničenim IT resursima. Alternativa su velikim jezičnim modelima (LLM) te privlače veliku pozornost tehnoloških kompanija poput Microsofta, OpenAI-ja, Googlea i Mete, koji sve više ulažu u te modele, a slijede ih i manje tehnološke tvrtke i startupovi.
Složena arhitektura
SLM-ovi su osmišljeni za obavljanje zadataka povezanih s jezikom i mnogo su manji veličinom te računalnim zahtjevima u usporedbi s velikim jezičnim modelima kao što su generative pre-trained transformers ili, kraće, GPT-3 ili bidirectional encoder representations from transformers, tj. BERT. Veliki jezični modeli opremljeni su milijardama parametara i mogu analizirati velike skupove podataka i izvoditi široki spektar složenih zadataka. Komplicirani su, skupi i nisu najbolja opcija svim kompanijama, tako da su mali jezični modeli pristupačnija zamjena posebice za startupove, male i srednje tvrtke koje nisu u mogućnosti izdvojiti milijune eura za nabavu LLM-a.
Iako su mali jezični modeli slični velikim jezičnim modelima, imaju složenu arhitekturu i treniraju se na trilijunima tokena podataka, jedna od glavnih razlika među njima je u tomu što su SLM-ovi manji i brži. Primjerice, LLM kao računalna datoteka može imati stotine gigabajta, a mnogi SLM-ovi manje od pet. Mali jezični modeli dobivaju na važnosti zbog učinkovitosti, svestranosti i različite primjene u poslovanju. Unatoč manjem opsegu, SLM-ovi mogu učinkovito obavljati mnoge zadatke obrade prirodnog jezika poput analize, automatizacije korisničkih usluga i generiranje sadržaja. Primjerice, mogu prevoditi i sažeti tekst te biti podrške interaktivnim chatbotovima, što ih čini svestranim alatima u mnogim digitalnim aplikacijama.
Lakše se uvode
Rad s manje parametara SLM-ovima omogućava lakšu primjenu na različitim platformama od pametnih telefona do poslužitelja u oblaku. To ih čini posebno prikladnima za aplikacije u kojima je ključna brza obrada podataka u stvarnom vremenu. Osim toga, dostupniji su tvrtkama koje nemaju velike hardverske resurse ili proračune za skupa tehnološka rješenja. Razvoj malih jezičnih modela (SLM-ova) poput Microsoftova Phi2 nastao je iz potrebe da se napredne AI mogućnosti učine pristupačnijim i učinkovitijim manjim tvrtkama. Trenutačno su popularni i modeli Mistralov 7B i Googleov Gemma... Mali jezični modeli često se upotrebljavaju u aplikacijama poput chatbotova, virtualnih pomoćnika i alata za tekstualnu analitiku u sustavima s ograničenim resursima. Ti modeli zbog manje parametara i jednostavnije strukture omogućavaju bržu obuku i učinkovitiji rad te su idealni za korištenje na mobilnim uređajima i malim poslužiteljima.
Kako ih tko rabi
Primjerice, Phi-2 prilagođen je za mobilne aplikacije, pretvara glas u tekst i prevodi u stvarnom vremenu izravno na pametnim telefonima te djeluje učinkovito unutar ograničenih računalnih resursa uobičajenih za pametne telefone i tablete. Zdravstvo SLM-ove upotrebljava za poboljšanje skrbi za pacijente obradom i analizom kliničkih bilješki, povratnih informacija pacijenata i drugih tekstualnih podataka u stvarnom vremenu. To omogućava personaliziraniju njegu i pravodobne intervencije. Banke i financijske ustanove također se koriste SLM-om da bi poboljšale korisničku uslugu i automatizirale rutinske upite, što je u nekim slučajevima smanjilo broj pozivnih centara za čak 40 posto. SLM-ovi tvrtkama omogućavaju primjenu sofisticiranih alata umjetne inteligencije bez velikih ulaganja te proširuju primjenu umjetne inteligencije u raznim sektorima, od maloprodaje do korisničke službe, u kojima su ključni obrada podataka u stvarnom vremenu i interakcija s korisnikom. Njihova je prednost u tomu što imaju mnogo manje zahtjeve za računalnim resursima u usporedbi s većim modelima poput GPT-3 ili GPT-4. S manjim brojem parametara ti modeli manje su zahtjevni u pogledu računalne snage, što rezultira nižim operativnim troškovima. Osim toga, tvrtke ne moraju ulagati u skupu naprednu IT infrastrukturu kako bi učinkovito upotrebljavale male jezične modele jer oni mogu raditi na standardnom hardveru, što ih čini ekonomičnijima za održavanje. Smanjeni zahtjevi za računalnim resursima također znače nižu potrošnju energije, dodatno smanjujući operativne troškove i utjecaj na okoliš.
Manje je brže
No jedna od najvažnijih prednosti malih jezičnih modela je brzina obrade podataka. S manje parametara, mali modeli mogu analizirati i generirati odgovore mnogo brže od većih modela, a kraće vrijeme odziva ključno je u mnogim poslovima poput korisničke službe ili analize podataka u stvarnom vremenu. Primjerice, chatbotovi mogu trenutačno odgovoriti na upite kupaca znatno poboljšavajući kvalitetu usluge i zadovoljstvo korisnika. Brža obrada podataka omogućava dinamičnije i učinkovitije marketinške kampanje te bolje interno upravljanje podacima unutar tvrtke. Druga prednost je što su ti modeli pristupačniji tvrtkama s ograničenim tehnološkim resursima jer zahtijevaju manje napredan hardver. Mogu se postaviti na manje snažne strojeve, čime se smanjuju početni i operativni troškovi, što ih čini idealnim rješenjem za male i srednje tvrtke koje nemaju veliki proračun za skupu IT infrastrukturu, a jednostavnija integracija s postojećim IT sustavima znači da tvrtke mogu brzo uvesti i početi upotrebljavati tehnologiju, što omogućuje brže ostvarivanje poslovnih prednosti.
Glavni nedostaci
No osim prednosti, SLM-ovi imaju i mane, ograničenog su kapaciteta jer zbog manjeg broja parametara imaju ograničeni informacijski proces u usporedbi s velikim jezičnim modelima. To znači da mogu imati problema s analizom i generiranjem odgovora na složenije upite koji zahtijevaju dublje razumijevanje konteksta i jezičnih nijansi. Primjerice, veliki jezični model može lako obraditi velike i složene tekstove, a mali će imati teškoća u dosljednosti i točnosti u odgovorima. To može dovesti do manje preciznih odgovora na pitanja koja zahtijevaju detaljnu analizu velikih podataka ili potpuno razumijevanje konteksta te ograničiti njihovu primjenu u zahtjevnijim poslovima. U slučajevima obrade velike količine informacija odjednom mali jezični modeli imaju manju sposobnost hvatanja složenih obrazaca i nijansi u jezičnim podacima. Primjerice, mali jezični modeli možda neće moći pružiti potrebnu točnost u aplikacijama koje zahtijevaju preciznu analizu poput obrade prirodnog jezika u pravnim ili medicinskim dokumentima, što će zahtijevati dodatnu provjeru stručnjaka. Tako da tvrtke moraju biti svjesne tih ograničenja i prilagoditi očekivanja i procese kako bi se učinkovito koristile malim jezičnim modelima u poslovanju, odnosno hibridnim pristupom kombinirati male jezične modele s naprednijim tehnologijama i dodatnim analitičkim alatima za postizanje željene razine točnosti.
Malo-pomalo
U svijetu u kojem umjetna inteligencija nije uvijek bila jednako dostupna svima, mali jezični modeli to mijenjaju. S poboljšanjima u tehnikama obuke, napretkom hardvera i učinkovitom arhitekturom razlike između SLM-a i LLM-a smanjivat će se, što će omogućiti mnogo veću dostupnost AI-ja.
Pojednostavnjenom arhitekturom, smanjenim zahtjevima za obuku i velikom učinkovitošću SLM-ovi mogu preoblikovati mnoge dijelove poslovanja, od poboljšanja korisničke usluge odgovarajućim chatbotovima u maloprodaji do poboljšanja prediktivnog održavanja u proizvodnji jer SLM-ovi nude svestran alat koji može potaknuti inovacije i učinkovitost u svim industrijama.