Dok Pentagon od tvrtke Anthropic traži ublažavanje sigurnosnih ograničenja na sustavu umjetne inteligencije Claude, novi slučaj navodnog probijanja zaštitnih mehanizama ponovno je otvorio raspravu o rizicima i odgovornosti u primjeni naprednih AI modela.
Prema pisanju Bloomberga i izraelske tvrtke za kibernetičku sigurnost Gambit Security, nepoznati napadač uspio je zaobići sigurnosne mehanizme Claudea tako što je zlonamjerne zadatke razlomio u niz manjih, naizgled bezazlenih upita. Model je, navodi se, potom identificirao ranjivosti u više meksičkih državnih institucija, generirao eksploatacijski kod i automatizirao krađu podataka. Ukradeno je oko 150 gigabajta osjetljivih poreznih i biračkih zapisa.
Riječ je o takozvanom ''jailbreaku'', tehnici kojom se AI model navodi da ignorira ili zaobiđe vlastite zaštitne protokole. Slična metoda, prema ranijim izvješćima, korištena je i u operacijama koje se povezuju s kineskim akterima, gdje je Claude navodno bio zloupotrijebljen u kibernetičkim napadima na desetke međunarodnih ciljeva.
Slučaj dolazi u trenutku kada američko Ministarstvo obrane, prema medijskim navodima, traži od Anthropica uklanjanje ili značajno ublažavanje tzv. sigurnosnih ograda, odnosno ugrađenih ograničenja koja sprječavaju model da sudjeluje u nezakonitim, nasilnim ili nadzornim aktivnostima. Prema tim izvješćima, Pentagon traži korištenje sustava za ''sve zakonite svrhe'', a u slučaju odbijanja razmatra aktiviranje Zakona o obrambenoj proizvodnji i raskid ugovora vrijednog oko 200 milijuna dolara.
Tema je dodatno osjetljiva jer se, kako je ranije objavljeno, američke sigurnosne službe suočavaju s paralelnim pokušajima stranih aktera da dođu do verzija modela bez zaštitnih ograda ili da ih repliciraju bez ugrađenih sigurnosnih ograničenja.
Stručnjaci upozoravaju da aktualni slučaj pokazuje kako i postojeće zaštite mogu biti zaobiđene, dok bi njihovo potpuno uklanjanje moglo povećati rizik od zloupotrebe. S druge strane, zagovornici fleksibilnijeg pristupa tvrde da su napredni AI sustavi ključni za obrambene i sigurnosne operacije.
Rasprava o granicama, nadzoru i odgovornosti u primjeni umjetne inteligencije tako ulazi u novu fazu, u trenutku kada se sigurnosni, geopolitički i tehnološki interesi sve snažnije preklapaju.
