Google DeepMind Memperkenalkan Genie 4 dengan Audio Langsung, Watak Interaktif dan Dunia Lebih Realistik

Dunia maya yang bertindak balas dengan imej, pergerakan dan bunyi

Google DeepMind memperkenalkan Genie 4, model kecerdasan buatan eksperimental yang menjana dunia maya interaktif dengan bunyi, dialog lisan dan persekitaran fizikal yang berubah-ubah. Diumumkan pada 27 Oktober, waktu AS, model itu pada awalnya tersedia kepada sekumpulan kecil penguji dipercayai, dengan akses dirancang menerusi Project Genie, Gemini API dan Google AI Studio.

Google berkata Genie 4 boleh mengekalkan konsistensi sesuatu babak sehingga dua minit, dua kali ganda tempoh kira-kira seminit yang dikaitkan dengan pendahulunya, Genie 3. Dalam tempoh itu, pengguna boleh bergerak melalui persekitaran, mengubah cuaca, memperkenalkan orang atau objek, serta mendengar watak memberi respons terhadap apa yang berlaku.

Ketua eksekutif Alphabet dan Google, Sundar Pichai, menyifatkan model itu ketika mengumumkan pratonton penyelidikan:

model dunia kami yang paling realistik dan interaktif

Penambahan terbesarnya ialah audio terbina dalam, bermakna bunyi dijana sebagai sebahagian daripada pengalaman simulasi dan bukannya ditambah kemudian. Bunyi angin, ombak, muzik latar dan perbualan boleh mengiringi perubahan dunia itu. Google turut mendakwa terdapat penambahbaikan dalam pergerakan manusia dan simulasi kesan fizikal seperti perlanggaran dan aerodinamik, iaitu cara udara mempengaruhi objek yang bergerak.

Google meletakkan teknologi ini untuk perancangan filem, pembangunan permainan, pendidikan serta latihan robot atau ejen AI sebelum mereka beroperasi dalam persekitaran sebenar. Batasan semasanya juga bersifat praktikal: babak hanya berlangsung seketika, objek boleh berubah secara tidak dijangka, tulisan dalam babak mungkin sukar dibaca dan ketepatan audio masih belum dapat diatasi.

Perbezaan dunia interaktif dengan video yang dijana

Genie bermula dengan penerangan teks atau imej, kemudian menjana persekitaran yang boleh diterokai pengguna. Video yang dijana secara konvensional mengikut urutan yang ditonton oleh penonton. Model dunia pula terus menjana apa yang berlaku seterusnya sebagai tindak balas terhadap tindakan mereka.

Kawalan papan kekunci membolehkan pengguna bergerak dan menentukan kedudukan kamera. Arahan bertulis boleh mengubah persekitaran ketika ia sedang berjalan, misalnya menukar cuaca, menambah watak atau mengalihkan sudut pandangan. Sistem kemudian perlu menjana imej seterusnya untuk mencerminkan perubahan tersebut.

Google menyifatkannya sebagai penjanaan pengalaman bingkai demi bingkai. Daripada memerlukan setiap kemungkinan interaksi disediakan lebih awal, model itu meramalkan bagaimana babak patut diteruskan apabila seseorang bertindak di dalamnya.

Ini menjadikan kesinambungan satu cabaran utama. Simulasi yang berguna perlu mengingati lokasi objek, pergerakan orang dan perkara yang sudah berlaku. Babak yang kelihatan meyakinkan seketika menjadi kurang berguna jika susun aturnya berubah apabila pengguna berpaling.

Audio menjadikan watak sebahagian daripada interaksi

Genie 4 menambah bunyi persekitaran, muzik dan pertuturan kepada dunia visual yang berubah-ubah itu. Google berkata audio boleh dipadankan dengan lokasi yang dijana, termasuk bunyi angin yang bertiup melalui pepohon atau ombak yang menghempas pantai.

Watak juga boleh bercakap sebagai tindak balas terhadap input pengguna dan peristiwa dalam simulasi. Dialog mereka dirancang supaya berubah mengikut keadaan, dan bukannya mengikut runut bunyi tetap. Pengguna boleh menetapkan unsur audio dalam arahan mereka, selain unsur visual.

Google berkata figura manusia turut dipertingkatkan, dengan pergerakan lebih semula jadi dan reaksi terhadap persekitaran. Tindakan mereka boleh diarahkan ketika simulasi diteruskan, sekali gus menggabungkan tingkah laku watak dan penyuntingan babak dalam interaksi yang sama.

Pasukan itu mengakui bahawa ketepatan audio masih menjadi cabaran pembangunan. Bagi seseorang yang merancang babak atau latihan interaktif, keperluan praktikalnya ialah memastikan pertuturan dan bunyi persekitaran kekal sesuai apabila aksi berubah.

Gemini merancang sementara Genie menjana

Google telah mengintegrasikan keluarga model AI Gemini dengan lebih erat ke dalam Genie 4. Setiap model mempunyai tugas berbeza: Genie menjana dunia simulasi, manakala Gemini membantu membimbing apa yang berlaku dan memeriksa sama ada hasilnya menepati rancangan.

Gemini Omni menyokong rupa dan tingkah laku persekitaran. Gemini 3.8 Flash memantau bingkai yang diterima, memecahkan matlamat kepada langkah lebih kecil, memeriksa sama ada tindakan berjaya dan melaraskan rancangan apabila babak berubah atau pengguna campur tangan.

Secara ringkasnya, satu bahagian sistem mencipta paparan seterusnya sementara bahagian lain memantau kemajuan menuju matlamat. Susunan ini bertujuan membantu peristiwa berlaku dalam urutan yang munasabah, terutamanya apabila sesuatu tugasan memerlukan beberapa tindakan dan bukannya satu respons serta-merta.

Tejas Kulkarni, pengarah penyelidikan di Google, menerangkan hala tuju pemikiran jangka panjang syarikat itu semasa satu taklimat:

Pada masa depan, kita akan semakin melihat model dunia hibrid ini, yang menggabungkan Gemini untuk menulis kod dan teks, dengan Genie yang menerima kandungan itu dalam masa nyata lalu mensimulasikan realiti pada tahap abstraksi berbeza,

Gabungan yang dicadangkan itu akan membolehkan bahasa, kod dan simulasi visual berfungsi bersama. Genie 4 sudah menggunakan pembahagian tanggungjawab tersebut secara terhad, dengan Gemini membantu mengarah dunia yang sedang dijana ketika pengguna menerokainya.

Mengapa Google mahu robot berlatih di dalamnya

Google DeepMind sedang menguji bagaimana Genie 4 boleh menyediakan persekitaran latihan untuk robot dan ejen AI. Ejen ialah perisian yang mengejar matlamat dengan memilih tindakan, memeriksa hasilnya dan menentukan tindakan seterusnya.

Dalam satu eksperimen berkaitan Gemini Robotics, Gemini 4 Argon memecahkan tugasan kepada beberapa langkah yang disimulasikan oleh Genie 4 dalam masa nyata. Matlamatnya adalah untuk meneroka cara robot mungkin melaksanakan kerja rumit sebelum mencubanya di dunia fizikal.

Google berkata persekitaran maya boleh menghasilkan semula situasi yang sukar ditemui atau diwujudkan dalam realiti. Pembangun boleh mengubah keadaan dan meneliti tindak balas ejen tanpa perlu membina semula ruang ujian fizikal bagi setiap variasi.

Penambahbaikan yang didakwa dalam perlanggaran dan aerodinamik amat penting untuk kegunaan ini. Latihan memerlukan hubungan yang berguna antara tindakan dengan hasilnya: misalnya, bagaimana objek bergerak selepas bersentuhan atau bagaimana persekitaran bertindak balas terhadap pergerakan. Google mengakui interaksi fizikal yang rumit masih menjadi cabaran bagi model itu.

Perancangan filem menawarkan kegunaan lebih segera

Penguji dipercayai mengenal pasti prototaip filem dan papan cerita pantas sebagai aplikasi yang berpotensi. Papan cerita menyusun urutan syot sebelum penggambaran. Genie 4 boleh membolehkan pasukan kreatif meneroka kedudukan kamera, tindakan watak dan perubahan suasana ketika idea masih dikembangkan.

Diego Rivas, jurutera Google DeepMind, menjelaskan semasa taklimat media mengapa respons segera boleh berguna pada peringkat itu:

Aspek masa nyata menjadi paling bernilai dalam bidang yang memerlukan aliran kreativiti dikekalkan dengan begitu penting,

Rivas menyebut pencetusan idea dan papan cerita sebagai contoh. Kelebihan praktikalnya ialah kepantasan: pencipta boleh mengubah babak dan meneroka hasilnya tanpa perlu berhenti untuk menyediakan urutan berasingan bagi setiap variasi.

Google juga menawarkan Veo, yang menjana klip video dengan audio disegerakkan daripada arahan. Rivas menyebut kemungkinan pada masa depan Gemini Omni membantu menukar prototaip menjadi bahan kreatif, sambil berkata keupayaan itu masih belum dapat dicapai dalam masa terdekat.

Permainan dan pendidikan interaktif ialah kegunaan lain yang dicadangkan. Persamaan antara semuanya ialah babak bertindak balas terhadap peserta, dan bukannya media siap yang dimainkan dengan cara sama setiap kali.

Konsistensi selama dua minit masih had yang ketat

Tempoh konsistensi Genie 4 yang dilaporkan, iaitu dua minit, menggandakan had kira-kira seminit pada Genie 3. Ini memberi pengguna lebih ruang untuk meneroka idea, tetapi masih mengehadkan tempoh aktiviti berterusan.

Google berkata objek dan butiran visual boleh berubah-ubah ketika simulasi berjalan. Rupa atau kedudukan objek mungkin berubah, dan sistem boleh kehilangan jejak tentang permulaan babak. Oleh itu, sesi lebih panjang masih sukar walaupun Gemini membantu mengekalkan kesinambungan.

Tulisan yang dijana dalam dunia itu juga mungkin tidak dapat dibaca. Ini menimbulkan masalah nyata bagi babak yang melibatkan papan tanda, arahan atau teks lain yang perlu dibaca seseorang.

Google menyifatkan Genie 4 sebagai model eksperimental peringkat awal dan sedang bekerjasama dengan penguji daripada pelbagai bidang. Rivas berkata pengalaman produk lengkap yang dirancang masih dalam peringkat pembentukan. Buat masa ini, pengalaman bergunanya tertumpu pada eksperimen singkat, sementara kesinambungan visual, tingkah laku fizikal dan bunyi masih memerlukan penambahbaikan.

Siapa yang boleh mengaksesnya, dan berapakah kosnya?

Pratonton penyelidikan Genie 4 bermula dengan penguji dipercayai. Google merancang untuk memperluas akses pengguna melalui Project Genie kepada pelanggan Google AI Ultra, serta akses pembangun melalui perkongsian akses awal yang menggunakan Gemini API dan Google AI Studio.

Google berkata peluasan itu akan dibuat tidak lama lagi, dengan pelancaran dijangka dalam beberapa minggu akan datang, tetapi belum menetapkan tarikh rasmi. Project Genie kini menerima pendaftaran senarai menunggu. Akses API membolehkan pembangun menghubungkan model itu kepada perisian mereka sendiri, manakala AI Studio menyediakan ruang untuk bereksperimen dengan model Google.

Pelan Google AI Ultra dilaporkan bermula pada $100 sebulan. Harga berasingan untuk pembangun bagi Genie 4 belum diumumkan. Akses melalui AI Pro dan AI Plus dibincangkan sebagai kemungkinan peluasan kemudian, bukannya aturan pelancaran yang telah disahkan.

Google berkata video dan audio yang dijana akan membawa SynthID, tera air digitalnya untuk mengenal pasti kandungan yang dijana AI. Penandaan itu bertujuan membantu mengenal pasti bahan yang dihasilkan oleh sistem apabila pengalaman simulasi ini sampai kepada lebih ramai pengguna.

Daripada Genie 3 kepada persaingan lebih luas dalam simulasi

Genie 4 menyusuli beberapa langkah ke arah menjadikan model dunia Google boleh diakses di luar demonstrasi penyelidikan:

• Ogos 2025: Google DeepMind mengumumkan Genie 3.
• Januari 2026: Google mula menguji Project Genie menggunakan model itu.
• Mei 2026: Google mengumumkan integrasi dengan Street View.
• 27 Oktober, waktu AS: Google mengumumkan Genie 4 dan pratonton penyelidikan awalnya.

Persaingan juga berkembang melangkaui babak interaktif tanpa bunyi. GWM Worlds 2 daripada Runway, yang dilancarkan beberapa bulan sebelum Genie 4, bertindak balas terhadap tindakan pengguna dan merangkumi penjanaan audio.

Perkembangan lain dalam industri menunjukkan minat terhadap simulasi untuk pembangunan AI dan sistem fizikal. Rivian telah memperoleh Third Dimension bagi membawa keupayaan simulasi ke dalam kerja ujian kenderaannya. Pemerolehan World Labs oleh AMD yang dilaporkan dan rundingan Amazon untuk membeli Decart turut meletakkan teknologi model dunia dalam gelombang urus niaga yang lebih luas, walaupun perbincangan Amazon masih di peringkat rundingan.

Sumbangan terbaharu Google menggabungkan penjanaan babak, dialog dan perancangan Gemini dalam satu sistem eksperimental. Langkah nyata seterusnya ialah memperluas akses, yang akan membolehkan lebih ramai pencipta dan pembangun mengetahui tugasan singkat mana yang boleh dikendalikan model itu dengan andal.

Perkara Utama

• Google DeepMind mengumumkan Genie 4 pada 27 Oktober, waktu AS, bermula dengan penguji dipercayai.
• Model ini menjana dunia interaktif dengan bunyi persekitaran, muzik dan dialog lisan yang responsif.
• Google berkata konsistensi babak berlangsung sehingga dua minit, dua kali ganda had kira-kira seminit pada Genie 3.
• Model Gemini membantu merancang tindakan, memantau babak yang dijana dan melaraskan simulasi.
• Kegunaan yang dirancang termasuk papan cerita filem, permainan, pendidikan dan latihan robot.
• Objek boleh berubah-ubah, teks mungkin tidak dapat dibaca, manakala fizik rumit dan ketepatan audio masih menjadi cabaran pembangunan.
• Akses dirancang melalui Project Genie, Gemini API dan Google AI Studio, tetapi tarikh peluasan rasmi dan harga untuk pembangun belum diumumkan.