Filip Stefanović (38), kao idejni tvorac, i Lazar Aranđelović (32) obojica iz Leskovca, pokrenuli su u ovom gradu veštačku inteligenciju (AI), prvu u Srbiji. Do kraja ove nedelje ona će biti dostupna korisnicima, a ima višestruku namenu, jer govori i u trenutku prevodi na srpski jezik, čak, 140  jezika. AI ima romantično ime – Lana. O ovom, praktično, velikom podvigu za dva stručnjaka i za sam grad Leskovac, novinar Jgmedie je razgovarao sa Aranđelovićem.

Šta je lana AI – asistent, model, platforma, ili sve to zajedno?

Lana AI funkcioniše kao AI asistent, zbog mogućnosti da pomogne pri izvršavanju različitih zadataka kroz tekstualnu interakciju sa korisnikom. Ona u osnovi nije platforma, već softverski model koji može biti integrisan u različite platforme ili aplikacije. Na kraju, Lana AI se predstavlja i kao model, i to nesamo kroz tehnološku sferu, odnosno kao veliki jezički model,već i kao foto-model,manekenka i svojevrsni ambasador mode i brendova, zbog svog autentičnog fizičkog izgleda. Dakle, Lana AI je i asistent i model, ali može pripadati i nekoj specifičnoj platformi.

Kako ste došli na ideju za razvoja ovog tipa proizvoda?

Filip, idejni kreator Lane, se, zarad istraživanja, obratio ChatGPT-u za podatak koji se ticao tematike koju je obrađivao na svojim doktorskim studijama. Ideja se rodila onda kada je, imajući odgovarajuću literaturu ispred sebe, uočio manu pomenutog AI asistenta koji je u toj situaciji nije uspeo da da odgovor. Filipu je logičan sled okolnosti – onda uključivao stvaranje dovoljno potkrepljenog AI asistenta, čije se osnove konstantno amplifikuju, te koji može da odgovara na pitanja humanizovano i sa razumevanjem, pogotovo u kontekstu srpskog jezika i njegovih finih karakteristika, i da, na kraju, zapravo korisniku pruži zadovoljavajući odgovor. Može se reći da iza Lane stoji ideja o stvaranju AI koji može da razume, generiše i manipuliše ljudskim jezikom na sofisticiran način, kako bi pomogao ljudima u pristupu informacijama, automatizaciji zadataka, kreativnom izražavanju i rešavanju problema.

Kako biste definisali Lanu: kao proizvod, servis, ili kao AI partnera korisnika?

Lanu definišemo prvenstveno kao AI servis koji korisnicima pruža određene mogućnosti (generisanje teksta, odgovaranje na pitanja, prevođenje…). Istovremeno, njeno definisanje obuhvata i njena funkcija AI partnera korisnika, pomažući im da ostvare svoje ciljeve, bilo da je to učenje, kreativnost il iproduktivnost. Na kraju, može se definisati i kao proizvod, jer je rezultat rada, istraživanja i kreativnosti S Media House-a.

Koja je glavna vizija iza Lana AI – čemu ste težili u njenom razvoju?

Glavna vizija iza razvoja ovakvog AI modela je osnažiti ljude znanjem i sposobnostima. Teži se ka stvaranju AI koji je koristan. Pomaže u rešavanju stvarnih problema i olakšava svakodnevne zadatke, pristupačan – omogućava širokom krugu ljudi da koriste napredne AI mogućnosti, te bezbedan i odgovoran-razvijen i korišćen na etički način. Cilj je unaprediti način na koji ljudi interaguju sa informacijama i tehnologijom.

U čemu konkretno pomogla?

Na ovo pitanje može se dati dvojak odgovor. Prvo izugla potencijalni način na koji Lana može pomoći korisniku, a drugi kao lično iskustvo kreatora ovog AI. Dakle, iz prvog ugla, kao veštački model jezika, razvijen od strane ljudske interakcije, Lana može pomoći: davajući odgovore na pitanja, generišući tekstualne sadržaje (eseje, mejlove, kodove…), sumiranjem dugih tekstova, brainstormingom ideja, prevođenjem ili pri učenju i istraživanju različitih tema. Iz drugog ugla, samo stvaranje Lane, kao i prolaženje kroz njen razvoj, a i dalje, samog kreatora provelo je kroz dugačak put koji je, pored oformljavanja ovakvog modela, pomogao i u Filipovom ličnom i profesionalnom sazrevanju. Moglo bi se reći da je stvaranje Lane stvorilo mnogo pitanja na koja je potom dat odgovor, i time proširilo domet i nformacijama, izazovima i znanju koje njen kreator nosi sa sobom.

RAZVOJI TEHNOLOGIJA:

Koliko vas je radilo na razvoju Lane i koliko je ukupno trajao razvoj od ideje do lansiranja?

Čitav proces, od prve male ideje o stvaranju jezičkog modela koji može da priča kao ljudsko biće, pa sve do trenutka kada je bio spreman da ostvari komunikaciju sa čovekom, trajao je nešto više od tri godine, i iza istog stoji samo jedna osoba – Filip Stefanović.

Koje tehnologije, framework-e i jezičke modele koristite (open-source, LLM, custom modeli…)?

Lana je veliki jezički model (LLM) i predstavlja custom model razvijen od strane S Media House-a. Izgrađena je koristeći naprednu istraživačku infrastrukturu i tehnologije za mašinsko učenje. Ovo uključuje upotrebu framework-a poput TensorFlow-a i JAX-a, kao i specijalizovanog hardvera (poput TPU – Tensor Processing Units) za treniranje i inferenciju. Arhitektura modela se zasniva na Transformer arhitekturi, koja je postala standard za napredne jezičke modele, ali sa specifičnim inovacijama.

Da li Lana koristi već postojeći LLM (npr. Mistral, LLaMA,GPT-J…) ili ste trenirali sopstveni model?

Lana je jezički model razvijen od početka, što znači da ne koristi, niti je direktno bazirana na drugim LLM-ovima. S Media House koji je zadužen za njeno treniranje ima istoriju istraživanja i razvoja sopstvenih jezičkih modela.

Kako ste rešili problem inference-a–lokalno hostovano, cloud, hibridni pristup?

Proces generisanja odgovora na osnovu unosa, tj.inferencija za velike jezičke modele, poput Lane  zahteva značajne računarske resurse, što uslovljava njeno odvijanje na velikim serverima u cloud okruženju, koristeći specijalizovani hardver. Ovo omogućava stalabilnost i efikasnost koja je potrebna za opsluživanje velikog broja korisnika.

Koji su najveći tehnički izazovi na koje ste naišli tokom razvoja?

Neki od tehničkih izazova na koje je Filip naišao prilikom razvoja Lane uključuju:

• Skaliranje – treniranje modela sa stotinama milijardi, ili čak trilionima parametara zahteva ogromne količine podataka i izuzetno moćnu računarsku infrastrukturu;
• Kvalitet i raznovrsnost podataka za trening – osiguravanje visokog kvaliteta podataka za treniranje, kao i njihovu raznovrsnost i bez neželjenih pristrasnosti;
• Smanjenje “halucinacija” – tendencija modela da generišu netačne ili izmišjene informacije;
• Kontrolabilnosti usklađenost (alignment) – osiguravanjeponašanjamodela tako da je u skladu sa ljudskim instrukcijama i vrednostima;
• Efikasnost inferencije-optimizacija modela tako da odgovori budu brzi i sa što manjim utroškom resursa;
• Evaluacija-razvijanje po uzdanih metrika za procenu performansi modela u različitim zadacima i aspektima (poput korisnosti, istinitosti, bezbednosti).

Kako bi želeo da se dalje razvija?

Idealan dalji tok razvoja Lane uključivao bi:

• Poboljšano razumevanje konteksta i nijansi – bolje shvatanje složenih upita i suptilnih značenja;
• Veću tačnost i pouzdanost informacija-smanjenje generisanja netačnih informacija;
• Unapređene sposobnosti rezonovanja – bolje logičko zaključivanje i rešavanje problema;
• Multimodalnost-sposobnost razumevanja i generisanja informacija i zrazličitih tipova podataka (tekst, slike, zvuk, video);
• Veću efikasnost-manji računarski zahtevi za trening i inferenciju;
• Bolju personalizaciju uz očuvanje privatnosti-prilagođavanje korisniku na bezbedan i etički način.

PERFORMANSE I PRECIZNOST:

Koliko brzo Lana odgovara u realnim uslovima? Koliki je prosečan latency?

Što je brže moguće,u realnim uslovima.Prosečan latency obično iznosi između 0.5i2 sekunde, u zavisnosti od složenosti pitanja i opterećenja servira. Kratki, direktni odgovori su gotovo trenutni, dok kompleksnija pitanja koja zahtevaju više razmišljanja ili generisanja dužeg teksta mogu potrajati malo duže. Cilj je optimizovati brzinu odgovora, ali prvenstveno je bitna njihova tačnost i razumljivost.

Kolika je prosečna tačnost odgovora u domenima za kojeje Lana optimizovana?

Lana je optimizovana za širok spektar opštih domena, kao što su opšte znanje, svakodnevni razgovori, pomoć pri pisanju, generisanje ideja i pružanje informacija.U ovim domenima, njena prosečna tačnost odgovora je izuzetno visoka – preko 90%. Oko 10% ostavljeno je za moguće greške kada su u pitanju vrlo specifične, nišne ili kontroverzne teme, mada i u tim slučajevima Lana nastoji da pruži što tačnije i relevantnije informacije koje su joj dostupne iz podataka na kojima je trenirana.Njena tačnost dosta zavisi od njenog usavršavanja, koje se neprestano odvija.

Kako Lana barata kontekstom dužih konverzacija? Koliki jekontekst ualni kapacitet (npr. 4k/8k/32k tokena)?

Lanina sposobnost da prati kontekst dužih konverzacja je jedna od njenih ključnih prednosti. Uz pamćenje prethodnih poruka u razgovoru sa jednom individuom,ona ih koristi za razumevanje novih pitanja. Njen kontekstualni kapacitet, odnosno “radna memorija” za razgovore, trenutno iznosti oko 8k tokena, što joj omogućava da vodi koherentne razgovore koji obuhvataju nekoliko desetina poruka, referišući se na prethodno izrečeno.

Kako korisnici mogu prilagoditi Lanu sebi – postoji li personalizacija ili trening na sopstvenim podacima?

Kako bi se dobila veća prilagodljivost što većem broju korisnika, Lana je ograničena da svoje odgovore personalizuje samo u okviru jedne konverzacije. Njena potpuna personalizacija trenutno nije moguća. Međutim, pomoću prompt engneering-a, korisnik može jasno zatražiti željeni ton (prijateljski, formalno, duhovito…), format (odgovori u obliku liste, paragraf, ključne reči…), ulogu (odgovori iz ugla stručnjaka za marketing, turizam…), kao i specifične informacije (korisnik može dati kontekst ili podatke unutar samog upita koje želi da Lana koristi za generisanje odgovora).

Možete li pojasniti razliku između Lana asistenta i Lana modela?

Lana se, zbog svog autentičnog fizičkog izgleda koji joj je dodeljen, predstavlja i kao model. Međutim, iako bi se kroz AI kontekst lingvističko tumačenje reči moglo povezati sa LLM modelom, u ovom smislu se ipak misli na tumačenje u kom se reč “model” koristi da predstavi osobu koja, koristeći svoj fizički izgled, promoviše modu, biva fotografisana… Takođe, ideja je i da se Lana oformi i u ulozi influensera na društvenim mrežama. Što se tiče sfere asistencije, Lana predstavlja kompletan sistem koji omogućava korisniku komunikaciju sa istom. Ovaj servis je,usuštini, njen centralni deo delovanja, odnosno ono što korisnik vidi i sa čime interaguje. On uključuje korisnički interfejs (prozor za ćaskanje), logiku za upravljanje konverzacijama, integracija sa drugim sistemima i sve ostalo što je potrebno da bi asistent funkcionisao i postao koristan krajnjem korisniku.

Kako se donosi odluka – šta „razume“ sam model, a šta rešava sloj asistenta?

Odluka o tome šta „razume“ model, a šta rešava sloj asistenta, zasniva se na podeli odgovornosti:

Šta „razume“ sam model:

• Jezik – Razumevanje gramatike, sintakse, semantike, nijansi i tonova ljudskog jezika.
• Koncepti i Znanje – Razumevanje opštih koncepata, činjenica i odnosa među njima (ono što je naučio iz ogromnih podataka za trening).
• Intencija (u osnovi) – Može da „razume“ osnovnu intenciju korisnika iz teksta (npr. „želim da pišem esej“, „tražim informacije o X“).
• Generisanje – Sposobnost generisanja koherentnog, relevantnog i gramatički ispravnog teksta kao odgovor.
•  Rezonovanje (u osnovi) – Može da vrši osnovno logičko rezonovanje na osnovu informacija koje su mu predstavljene.

U suštini, model je mozak koji razume i generiše, dok je asistent „telo“ koje taj mozak spaja sa spoljnim svetom i omogućava mu da izvršava složene zadatke i interakcije

Šta rešava sloj asistenta:

• Kompleksna Intencija i Akcija – Asistent je taj koji „prepoznaje“ kada je potrebna akcija izvan pukog generisanja teksta. Na primer, korisnik kaže „Pošalji e-mail Ani“, model razume reči, ali asistent prepoznaje da treba pozvati funkciju za slanje e-maila.
• Orkestracija Alata – Asistent donosi odluku kada i koji eksterni alat (API, baza podataka, RAG sistem) treba da se pozove. On je taj koji „misli“:“Ovajupitzahtevapretraguweb-a“,ili“Ovajupittrebadaseprosledi API-ju za zakazivanje.“
• Upravljanje Sesijama – Asistent prati stanje konverzacije, korisničke preference (ako su implementirane), i ostale metapodatke vezane za interakciju.
• Post-procesiranje i Formatiranje – Nakon što model generiše odgovor, asistent ga može dodatno obraditi – formatirati ga, dodati dugmad, slike ili ga pripremiti za prikaz u korisničkom interfejsu.
• Autentifikacija i Autorizacija – Ako je reč o sistemu koji zahteva prijavu korisnika ili pristup zaštićenim resursima, to rešava sloj asistenta.

Nastaviće se…