Istraživanje pokazuje da AI podbacuje kad zadaci postanu teži

Apple je prošli vikend objavio znanstveni rad u kojem tvrdi da se najnoviji AI sustavi poznati kao veliki modeli rezoniranja (Large Reasoning Models – LRM) suočavaju s tzv. "kolapsom točnosti" pri rješavanju visoko složenih problema.

Drugim riječima, kad im se postave preteški zadaci, modeli ne samo da griješe već prestanu pokušavati logički razložiti problem.

Studija pokazuje da standardni AI modeli i dalje bolje rješavaju jednostavne zadatke, dok i standardni i rezonirajući modeli potpuno podbacuju kad kompleksnost neke teme prijeđe određeni prag.

Zanimljivo, kako se približavaju tom pragu, rezonirajući modeli smanjuju razinu napora u zaključivanju, što su istraživači opisali kao 'posebno zabrinjavajuće', prenosi Guardian.

Jesu li AI sustavi dosegli granicu razvoja?

Gary Marcus, američki znanstvenik i istaknuti kritičar pretjeranih očekivanja od AI-ja, opisao je nalaze kao "problematične".

U svom newsletteru napisao je da su rezultati Appleove studije još jedan dokaz da ideja o skorom razvoju opće umjetne inteligencije (AGI) – sustava koji može izvršavati sve intelektualne zadatke poput čovjeka – nije realna.

"Tko god misli da su veliki jezični modeli (LLM-ovi) izravan put prema AGI-ju koji će temeljito transformirati društvo, vara se", piše Marcus.

Studija također upozorava da LRMs neučinkovito troše računalne resurse, pri rješavanju jednostavnijih problema, brzo dođu do točnih rješenja, ali kod srednje kompleksnih zadataka prvo istražuju netočna rješenja prije nego dođu do ispravnog.

Kod visokokompleksnih problema pak dolazi do potpunog kognitivnog kolapsa, čak i kad modelu eksplicitno predočite ispravan algoritam.

"Kako se modeli približavaju kritičnom pragu koji je vrlo blizu točki kolapsa točnosti oni, suprotno očekivanjima, smanjuju napor u rezoniranju, iako problem postaje sve teži", navodi se u radu. Appleovi znanstvenici smatraju da to ukazuje na temeljno ograničenje skalabilnosti trenutačnog pristupa razvoju rezonirajuće umjetne inteligencije.

Pitanje "generaliziranog rezoniranja" ostaje otvoreno

Studija je testirala niz poznatih AI modela, uključujući OpenAI-jev o3, Googleov Gemini Thinking, Anthropicov Claude 3.7 Sonnet-Thinking i DeepSeek-R1.

Testovi su uključivali klasične logičke i problemske zadatke, poput Kule iz Hanoja i zagonetki s prelaskom rijeke, koje su čest alat za testiranje apstraktnog zaključivanja.

Istraživači priznaju da izbor zadataka donekle ograničava zaključke, no naglašavaju da rezultati ozbiljno dovode u pitanje sposobnost modela da generaliziraju zaključke iz jednostavnih u složenije situacije.

"Ovi uvidi osporavaju prevladavajuće pretpostavke o mogućnostima velikih rezonirajućih modela i upućuju na to da trenutačni pristupi možda dosežu temeljne granice u sposobnosti generaliziranog rezoniranja", stoji u zaključku rada.

Andrew Rogoyski iz britanskog Instituta za umjetnu inteligenciju usmjerenu na čovjeka (University of Surrey) kazao je kako rezultati studije upućuju na to da AI industrija još "traži pravi smjer" u razvoju AGI-ja, piše The Guardian. 

"Otkrivanje da modeli rezoniranja gube sposobnost rješavanja složenih problema, iako se dobro nose s jednostavnima, sugerira da smo možda stigli u slijepu ulicu trenutačnog pristupa", rekao je Rogoyski.