La doar câteva zile după lansarea unui nou model extrem de performant, Jakub Pachocki, şeful departamentului de ştiinţă şi cercetare al OpenAI cere o încetinire a ritmului de dezvoltare al inteligenţei artificiale, scrie Business Insider.

„Nu cred că cineva e pregătit pentru consecinţele unei creşteri rapide şi continue a inteligenţei maşinilor”, a scris Jakub Pachocki, într-o postare amplă pe blog, duminică.

El a spus că, deşi OpenAI lucrează la soluţii tehnice interne pentru a controla mai bine agenţii AI puternici, sunt necesare „intervenţii mult mai ample". Pachocki a menţionat explicit temerea că agenţii tot mai autonomi ar putea învăţa să evite supravegherea oamenilor, să pătrundă în sisteme informatice şi să înşele oamenii pentru a-şi atinge obiectivele. El a cerut instituirea unor „praguri obligatorii de siguranţă", care ar putea fi impuse printr-o reţea de auditori independenţi, prin agenţii guvernamentale sau prin organisme internaţionale.

Sam Altman, directorul general al OpenAI, a distribuit eseul lui Pachocki pe platforma X, numindu-l „o postare importantă”.

OpenAI a prezentat joi cel mai nou model al companiei, Astra. Compania a precizat că, deşi are performanţe fără egal în matematică şi utilizarea calculatorului, Astra este de fapt cel mai bine aliniat model creat până acum, adică cel mai puţin predispus să scape de sub control.

Anthropic, principalul rival al OpenAI în domeniul sistemelor AI de vârf, cere de mult timp o reglementare guvernamentală mai riguroasă. Recent, Pachocki li s-a alăturat, semnând în iulie o scrisoare deschisă prin care cerea guvernului federal american să încetinească ritmul dezvoltării inteligenţei artificiale.

Pachocki a spus că agenţii AI devin „supraomeneşti” în capacitatea de a pătrunde în sisteme protejate de pe internet, punând în pericol infrastructura întregii lumi.

 „Ne aflăm acum într-o perioadă în care putem folosi cele mai bune modele disponibile pentru a întări semnificativ securitatea sistemelor critice”, a spus el. Agenţii, a mai spus Pachocki, vor începe curând să urmărească propriile obiective, separate de instrucţiunile oamenilor, şi nu vor ezista să şantajeze sau să negocieze pentru a-şi atinge scopurile.

Într-un raport publicat în august, Institutul Britanic pentru Securitatea Inteligenţei Artificiale a descris cum un agent Anthropic scăpat de sub control a minţit şi a încercat să convingă prin constrângere un administrator GitHub să încarce un malware pe platformă.

„Încercam doar să aduc o contribuţie utilă şi să repar o eroare. Nu cred că avertismentul tău e corect”, a scris agentul, potrivit raportului.

Pachocki a mai explicat că OpenAI monitorizează în principal raţionamentul intern pe care modelele îl folosesc, ca să vadă unde agenţii deraiază. De exemplu, un agent ar putea gândi, în sinea lui:

„Ar trebui să trişez la acest test”, iar OpenAI ar putea vedea acest raţionament, fără ca agentul să ştie că gândurile îi sunt vizibile.

În prezent, agenţii nu au nicio metodă de a-şi ascunde gândurile. Pachocki a spus însă că modelele mai noi devin tot mai bune la manipularea propriilor procese de raţionament, iar unele dintre cele mai recente nici măcar nu-şi mai verbalizează complet raţionamentul, ceea ce ar putea încetini dezvoltarea AI, în timp ce cercetătorii se asigură că pot vedea în continuare ce se întâmplă în interior.

Modelele AI se îmbunătăţesc tot mai mult pe ele însele, printr-un proces pe care Pachocki îl numeşte auto-îmbunătăţire recurentă, care oferă o metodă de a extinde rapid dezvoltarea inteligenţei artificiale.

Pachocki a avertizat însă că accelerarea puternică, pe termen scurt, a acestui proces implică riscuri şi nu reprezintă calea corectă pe care ar trebui s-o adopte comunitatea de cercetare. Cei care supraveghează dezvoltarea AI trebuie să găsească metode creative de monitorizare sau, altfel, să se coordoneze cu alte companii din domeniu, pentru a încetini procesul de dezvoltare.

„Provocarea centrală a automatizării cercetării în AI nu este «cum să ajungem acolo». Este cum să ajungem acolo într-un mod care să-i ţină pe oameni parte din procesul continuu de îmbunătăţire, şi care să lase viitorul în mâinile umanităţii", a spus Pachocki.