Potrivit cercetătorilor DeepMind, ideea urmăreşte eliminarea unuia dintre cele mai frustrante aspecte ale utilizării actuale a inteligenţei artificiale: necesitatea de a întrerupe activitatea, de a deschide o fereastră separată pentru chatbot şi de a explica în detaliu ceea ce se află pe ecran.

„Vrem exact opusul: o inteligenţă artificială intuitivă, care le oferă utilizatorilor toate instrumentele necesare, fără să le întrerupă fluxul de lucru”, au explicat reprezentanţii DeepMind într-o postare pe blogul oficial.

Noua tehnologie permite utilizatorului să indice un element de pe ecran şi să formuleze o comandă scurtă, în limbaj natural. De exemplu, cursorul poate fi plasat peste un tabel pentru a genera automat un grafic circular, peste o reţetă pentru dublarea ingredientelor sau peste un document PDF pentru a obţine un rezumat în puncte, gata de introdus într-un e-mail.

Într-un alt exemplu prezentat de companie, un cadru oprit dintr-un videoclip de călătorie poate deveni instantaneu un link de rezervare pentru restaurantul afişat în imagine.

DeepMind susţine că sistemul foloseşte contextul vizual şi semantic din jurul cursorului pentru a înţelege ceea ce utilizatorul doreşte, reducând semnificativ nevoia unor prompturi lungi şi complicate.

Compania a prezentat deja două demonstraţii experimentale disponibile în Google AI Studio, una pentru editare de imagini şi alta pentru căutare pe hartă.

Tehnologia urmează să fie integrată şi în Google Chrome, unde utilizatorii vor putea selecta elemente de pe o pagină web şi vor putea adresa întrebări către Gemini direct din browser, fără a mai deschide o interfaţă separată.

Printre exemplele oferite de Google se numără compararea automată a unor produse selectate de pe un site sau vizualizarea unei canapele într-o fotografie a propriei sufragerii.

În paralel, compania a anunţat că funcţia „Magic Pointer” va fi disponibilă şi pe Googlebook, noua gamă de laptopuri bazate pe Gemini, unde inteligenţa artificială va fi integrată direct la nivelul sistemului de operare.

Cercetătorii DeepMind spun că obiectivul este redefinirea modului în care oamenii interacţionează cu dispozitivele digitale, într-un context în care cursorul mouse-ului a rămas aproape neschimbat în ultimele cinci decenii.

„Construirea unei tehnologii care se adaptează comportamentului uman - şi nu invers - deschide drumul către un viitor în care colaborarea cu inteligenţa artificială va părea intuitivă, fluidă şi naturală”, au transmis reprezentanţii companiei.