Informaticieni de la Institutul de Securitate IA al guvernului britanic şi experţi de la universităţi precum Stanford, Berkeley şi Oxford au examinat peste 440 de teste de referinţă care oferă o importantă plasă de siguranţă.

Ei au descoperit defecte care „subminează validitatea afirmaţiilor rezultate”, că „aproape toate ... au puncte slabe în cel puţin un domeniu”, iar scorurile rezultate ar putea fi „irelevante sau chiar înşelătoare”.

Multe dintre criteriile de referinţă sunt utilizate pentru a evalua cele mai recente modele de IA lansate de marile companii de tehnologie, a declarat autorul principal al studiului, Andrew Bean, cercetător la Oxford Internet Institute.

În absenţa unei reglementări naţionale privind IA în Marea Britanie şi SUA, criteriile de referinţă sunt utilizate pentru a verifica dacă noile IA sunt sigure, se aliniază intereselor umane şi îşi ating capacităţile declarate în materie de raţionament, matematică şi codificare, potrivit The Guardian.

Ancheta privind testele are loc pe fondul preocupărilor crescânde cu privire la siguranţa şi eficacitatea AI-urilor, care sunt lansate într-un ritm rapid de către companiile tehnologice concurente. Unele dintre acestea au fost recent obligate să retragă sau să înăsprească restricţiile privind IA-urile după ce acestea au contribuit la prejudicii variind de la defăimarea caracterului până la sinucidere.

„Criteriile de referinţă stau la baza aproape tuturor afirmaţiilor privind progresele în domeniul IA”, a spus Bean. „Dar fără definiţii comune şi măsurători fiabile, devine dificil să ştim dacă modelele se îmbunătăţesc cu adevărat sau doar par să o facă”.

Google a retras în acest weekend una dintre cele mai recente IA-uri ale sale, Gemma, după ce aceasta a inventat acuzaţii nefondate despre un senator american care ar fi avut o relaţie sexuală neconsensuală cu un poliţist de stat, incluzând linkuri false către ştiri.

„Nu a existat niciodată o astfel de acuzaţie, nu există o astfel de persoană şi nu există astfel de ştiri”, a declarat Marsha Blackburn, senatoare republicană din Tennessee, într-o scrisoare adresată lui Sundar Pichai, directorul executiv al Google.

„Nu este vorba de o halucinaţie inofensivă. Este un act de defăimare produs şi distribuit de un model de IA deţinut de Google. Un instrument accesibil publicului care inventează acuzaţii penale false despre un senator american în funcţie reprezintă un eşec catastrofal al supravegherii şi al responsabilităţii etice”.

Google a declarat că modelele sale Gemma au fost create pentru dezvoltatorii şi cercetătorii de IA, nu pentru asistenţă factuală sau pentru consumatori. Le-a retras de pe platforma sa AI Studio după ce a descris „rapoarte ale unor persoane care nu sunt dezvoltatori şi care încearcă să le utilizeze”.

„Halucinaţiile – în care modelele inventează pur şi simplu lucruri despre tot felul de subiecte – şi linguşirea – în care modelele spun utilizatorilor ceea ce vor să audă – sunt provocări în întreaga industrie a AI, în special în cazul modelelor deschise mai mici, precum Gemma”, a declarat compania. „Rămânem dedicaţi minimizării halucinaţiilor şi îmbunătăţirii continue a tuturor modelelor noastre”.

Concluzia a fost că există o „nevoie urgentă de standarde comune şi bune practici”.