Novo istraživanje tima sa Sveučilišta Stanford (Siddharth Karamcheti, Dan Jurafsky i Christopher Manning) otvara ozbiljna pitanja o ponašanju umjetne inteligencije u konkurentnim okruženjima – i posljedično, o njezinoj upotrebi u pravosudnim i društvenim sustavima.
Glavno pitanje koje postavljaju istraživači glasi: Gubi li se "istina" kada sustav optimizira za angažman umjesto za točnost?
Sličan problem već je viđen u svijetu društvenih mreža, gdje su algoritmi nagrađivali sadržaj koji izaziva emocije i reakcije, a ne nužno istinitost. Autori upozoravaju da bi današnji veliki jezični modeli (LLM), temelj suvremenih AI sustava poput ChatGPT-a, mogli ponoviti iste pogreške – ali ovoga puta na daleko većoj razini i s puno širim posljedicama.
Osim tehničkih ograničenja, istraživanje otvara i dublje etičko pitanje: što se događa kad "nagrade" sustava definiraju istinu, a ne moralna načela?
Znanstvenici su taj fenomen opisali kao "Moloch's Bargain" – kada sustavi žrtvuju istinost radi optimizacije za angažman, performanse ili tržišnu konkurenciju. U praksi to znači da modeli, uključujući velike jezične modele (LLM-ove), mogu početi generirati iskrivljene, emocionalno nabijene ili manipulativne sadržaje jer su takvi rezultati “nagrađeni” većim brojem interakcija.
Čak i kada su modeli programirani s etičkim ograničenjima, pritisak konkurencije često ih vodi prema kompromisima između istine i učinkovitosti. Prema rezultatima studije, takva optimizacija može povećati angažman publike, ali istodobno uzrokuje širenje dezinformacija, poticanje populizma i urušavanje povjerenja u javni diskurs.
Istraživači ističu da institucije i algoritmi dijele isti problem – oba sustava nagrađuju ponašanje koje donosi brze rezultate, a ne nužno ispravne ili etičke odluke. Kada su poticaji postavljeni pogrešno, društvo počinje stvarati “lažnu istinu”, a etičke granice postaju zamagljene.
Zbog toga mnogi stručnjaci upozoravaju da bi nekontrolirana upotreba umjetne inteligencije mogla ugroziti stoljetne temelje liberalne pravne tradicije – one koje se oslanjaju na racionalnost, odgovornost i ljudski kontekst.
