Google a dezvoltat un nou model de inteligenţă artificială pentru crearea de videoclipuri din fotografii. Se numeşte Lumiere, un omagiu adus fraţilor Lumière, consideraţi inventatorii primului aparat de filmat şi a primului aparat de proiecţie cinematografică.

Lumiere IA a fost dezvoltat de Google, alături de Institutul de Ştiinţă Weizmann şi Universitatea din Tel Aviv.

Noutatea Lumiere IA, din punct de vedere tehnologic, constă în calitatea cu care software-ul reuşeşte să recreeze mişcarea subiecţilor în videoclip.

Programe precum Stable Diffusion prezintă adesea imperfecţiuni din cauza dificultăţii de a menţine o anumită coerenţă în redarea imaginilor statice animate. În acest sens, Google a dezvoltat o arhitectură numită "Space-Time U-Net", o reţea spaţiu-timp, care generează întregul videoclip într-o singură etapă, adică fără a crea secvenţe intermediare.

Cea mai mare parte a muncii este făcută de inteligenţa artificială generativă, care alege cea mai bună mişcare după ce analizează mai multe, pe baza unei vaste baze de date, pentru a produce apoi un videoclip de calitate.

De exemplu, putem introducem în Lumiere imaginea unei jucării de pluş şi cerem programului să o facă să meargă din punctul A în punctul B. Prin crearea unei singure secvenţe spaţio-temporale, AI-ul generează un videoclip în care fiecare activitate este strâns legată una de cealaltă, conform ANSA.

Modelul video al lui Lumiere a fost antrenat pe un set de date de 30 de milioane de videoclipuri.

În prezent, acesta nu poate fi folosit de publicul, fiind doar un proiect de cercetare experimentală.