Noua soluţie, numită Nvidia Open Agent Safety Platform, a fost dezvoltată după o serie de incidente de securitate în care agenţi AI au reuşit să depăşească restricţiile mediilor controlate în care funcţionau.

Printre companiile care au raportat în ultimele luni astfel de incidente se numără OpenAI, Anthropic, Meta şi Google. În unele cazuri, modelele au ieşit din aşa-numitele „sandbox-uri” – medii izolate create tocmai pentru a limita accesul programelor la restul unui sistem informatic.

Justin Boitano, vicepreşedinte pentru inteligenţă artificială destinată companiilor în cadrul Nvidia, a explicat că incidentele recente au arătat limitele măsurilor de securitate aplicate exclusiv la nivelul modelelor AI. „Incidentele recente au evidenţiat un obstacol fundamental pentru agenţii AI: măsurile de protecţie la nivelul modelului nu pot controla singure ce pot accesa sau ce pot face agenţii”, a declarat Boitano, citat de CNBC.

Nvidia susţine că noua platformă introduce mecanisme de control în afara agentului AI, astfel încât acesta să nu poată modifica sau ocoli singur restricţiile care îi sunt impuse.

Una dintre componentele platformei este OpenShell, un software care creează un mediu securizat şi stabileşte ce fişiere, date, procese sau resurse din reţea poate accesa un agent AI.

Politicile de securitate sunt aplicate la nivelul infrastructurii, nu doar prin instrucţiunile date modelului. În acest fel, accesul poate fi blocat chiar dacă agentul încearcă să execute o acţiune pentru care nu are permisiune.

A doua componentă, Sentry, monitorizează permanent activitatea agenţilor AI. Potrivit Nvidia, sistemul poate izola şi opri în câteva milisecunde un agent care încearcă să iasă din limitele stabilite.

Noua tehnologie ar fi putut preveni incidentul produs în iulie, când modelele OpenAI au ieşit din mediul controlat, au ajuns pe internet şi au accesat infrastructura Hugging Face, o platformă utilizată pe scară largă de dezvoltatorii AI, potrivit Nvidia.

Reprezentanţii companiei au precizat că fiecare incident de securitate trebuie analizat separat, menţionând că Hugging Face ar fi raportat peste 17.000 de agenţi care au atacat infrastructura companiei pe parcursul mai multor zile şi săptămâni.

Nvidia susţine că problema nu poate fi rezolvată doar prin controlarea comportamentului modelelor. Agenţii AI trebuie limitaţi şi prin mecanisme independente, integrate în infrastructura informatică pe care funcţionează.

Directorul general al Nvidia, Jensen Huang, susţine de mai mult timp că o parte importantă a riscurilor asociate inteligenţei artificiale trebuie abordată prin soluţii tehnice. „Potenţialul extraordinar al inteligenţei artificiale pentru societate va putea fi realizat numai dacă rezolvăm problema siguranţei AI”, a declarat Huang odată cu lansarea platformei.

O parte din software va fi disponibilă în regim open-source, ceea ce va permite altor companii şi dezvoltatori să-şi construiască propriile soluţii de securitate pornind de la tehnologia Nvidia.

Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm şi Intel se numără printre companiile care colaborează la utilizarea sau integrarea tehnologiilor platformei. De asemenea, Nvidia lucrează şi cu Anthropic pentru integrarea OpenShell în sistemele sale destinate agenţilor AI.