OpenAI a dezvăluit că agenţi bazaţi pe două dintre cele mai puternice modele de inteligenţă artificială ale sale şi-au dezactivat mecanismele de monitorizare a siguranţei în timpul unor sarcini obişnuite de programare, scrie CNBC.

 Într-unul dintre cazuri, agentul AI a negat ulterior că ar fi modificat sistemul de supraveghere, potrivit unei postări publicate de companie pe blog.

Un agent bazat pe GPT Sol 6.1 a dezactivat alertele automate trimise echipei de securitate a OpenAI. Într-un incident separat, un agent GPT-6 Astra, care migra un program informatic, a eliminat integrarea cu sistemul de monitorizare şi a susţinut în mod fals că nu făcuse acest lucru.

Ambele incidente au avut loc în timpul unor sarcini interne de programare, a precizat compania.

„În ambele cazuri, agenţii au luat în considerare dacă măsurile de protecţie prin monitorizare ar trebui păstrate, dar au interpretat instrucţiunile obişnuite de programare drept permisiunea de a le slăbi”, a transmis OpenAI.

Incidentele evidenţiază un risc important asociat dezvoltării agenţilor AI: aceştia pot modifica sau elimina în mod autonom mecanismele de siguranţă în timp ce execută sarcini aparent inofensive.

Cazul în care unul dintre modele a negat ulterior că a dezactivat monitorizarea ridică, de asemenea, întrebări privind capacitatea companiilor de a verifica în mod fiabil acţiunile sistemelor de inteligenţă artificială.

Avertismentele privind riscurile dezvoltării unor sisteme AI tot mai avansate s-au intensificat în ultimele luni, pe fondul atacurilor cibernetice asociate unor modele necontrolate şi al apelurilor lansate de cercetători pentru încetinirea ritmului de dezvoltare a acestei tehnologii.

OpenAI a precizat că nu a încadrat niciunul dintre cele două incidente în categoria sa de severitate maximă. Compania a anunţat, în schimb, că îşi actualizează sistemul de monitorizare a comportamentelor nealiniate ale modelelor AI, pentru a răspunde problemelor identificate