Alibaba Memperkenalkan Qwen3-Omni: Model AI Multimodal Sumber Terbuka

Model multimodal asli tiba sebagai sumber terbuka

Alibaba Cloud memperkenalkan Qwen3-Omni, model AI multimodal yang menyatukan teks, imej, audio dan video secara asli dalam satu sistem. Pelancaran ini membawa persaingan pembantu masa nyata ke tahap baharu dengan menggabungkan keupayaan luas dan lesen sumber terbuka yang mesra perusahaan. Model ini menerima input dalam keempat-empat modaliti, kemudian membalas dalam bentuk teks atau pertuturan semula jadi. Ia boleh dimuat turun, diubah suai dan digunakan secara komersial secara percuma di bawah Apache 2.0, lesen permisif yang turut merangkumi pemberian paten. Langkah ini meletakkan Alibaba sebagai alternatif yang berdaya saing kepada tawaran proprietari daripada OpenAI dan Google, sambil memberikan pembangun kawalan penuh terhadap cara dan lokasi model itu dijalankan.

Qwen3-Omni hadir sebagai sebahagian daripada siri model Qwen yang skopnya terus berkembang. Pasukan itu berkata model baharu ini dilatih menggunakan korpus teks yang besar serta data audio dan visual yang meluas, kemudian diperhalus agar responsif dalam perbualan langsung. Ia hadir dalam tiga varian utama yang memenuhi keperluan lazim. Model Instruct mengendalikan input bercampur dan boleh menyampaikan jawapan secara lisan. Model Thinking menumpukan pada penaakulan lebih sukar dengan konteks panjang. Captioner mengkhusus dalam pemberian kapsyen audio dengan kadar halusinasi rendah. Model ini diedarkan melalui repositori GitHub rasmi, hab model seperti Hugging Face dan API hos dengan pilihan penyajian Flash yang lebih pantas. Pelancaran lewat malam itu turut merangkumi sistem Qwen3 TTS baharu dan model penyuntingan imej, mencerminkan usaha untuk menyediakan himpunan teknologi lengkap bagi interaksi multimodal.

Mengapa pelancaran ini penting

Pembantu multimodal kini beralih daripada demonstrasi kepada beban kerja pengeluaran. Perusahaan mahukan satu model yang boleh mendengar, melihat, membaca dan menaakul secara masa nyata, kemudian membalas dengan rentak pertuturan semula jadi. Qwen3-Omni menyasarkan kegunaan tersebut. Gabungan akses terbuka dan dakwaan skor tercanggih dalam pelbagai ujian pertuturan, audio, imej dan video menjadikan pengumuman ini penting bagi pembeli yang memerlukan fleksibiliti, kawalan kos dan penggunaan di premis sendiri.

Keistimewaan Qwen3-Omni berbanding GPT-4o dan Gemini

Pesaing mempopularkan idea model omni yang boleh melihat, mendengar dan bercakap. OpenAI menyatukan teks, imej dan audio dalam GPT-4o. Google memperluas analisis kepada video untuk Gemini 2.5 dalam sesetengah peringkat produk. Qwen3-Omni dibina dari awal sebagai satu himpunan hujung ke hujung untuk keempat-empat jenis input. Model ini menyokong pemahaman video seperti pengesanan adegan dan penjejakan peristiwa, menerima imej pegun dan dokumen untuk OCR serta pembumian, mendengar suara dan membaca teks. Respons disampaikan dalam bentuk teks atau pertuturan, menjadikan output mudah untuk interaksi langsung sambil mengelakkan kerumitan penjanaan imej atau video.

Perbezaan utama ialah ketersediaannya. Qwen3-Omni dikeluarkan di bawah Apache 2.0, yang membolehkan perusahaan memuat turun pemberat model, menjalankannya pada infrastruktur sendiri dan memperhalus tingkah lakunya untuk sektor tertentu tanpa perlu merundingkan lesen. Sistem proprietari mengehadkan pengehosan sendiri atau mengenakan bayaran bagi setiap token untuk setiap interaksi. Satu lagi keluarga model terbuka daripada Google, Gemma, kekal terhad kepada teks, jadi ia tidak merangkumi skop multimodal yang sama. Bagi pasukan yang mahu menggunakan satu model terbuka untuk tugasan suara, penglihatan dan teks, Qwen3-Omni mengisi jurang tersebut.

Kelajuan untuk perbualan langsung

Alibaba menerbitkan angka latensi paket pertama secara teori, iaitu kira-kira 234 milisaat untuk audio dan kira-kira 547 milisaat untuk video. Julat ini menepati jangkaan manusia dalam pertukaran giliran dan menjadikan penggunaan masa nyata munasabah merentas geografi apabila dipadankan dengan penstriman cekap. Angka yang dilaporkan diukur pada sistem dalaman, jadi hasil pengeluaran akan berbeza mengikut perkakasan, keserentakan dan keadaan rangkaian. Walaupun begitu, latensi di bawah satu faktor masa nyata ketika menerima beban menunjukkan reka bentuk ini dioptimumkan untuk penggunaan praktikal.

Di sebalik seni bina model

Model ini menggunakan reka bentuk dua bahagian yang dinamakan Thinker dan Talker oleh pasukannya. Thinker mengendalikan pemahaman dan penaakulan multimodal. Ia membaca teks, meneliti piksel dan mendengar ciri audio, kemudian merancang serta menyusun kandungan. Talker menumpukan pada pertuturan, menukarkan perwakilan aras tinggi kepada suara semula jadi untuk balasan penstriman. Pemisahan peranan ini membolehkan tindanan pertuturan bergerak mengikut rentaknya sendiri sementara model bahasa membuat pertimbangan awal.

Kedua-dua komponen menggunakan Mixture of Experts, teknik yang melatih banyak subrangkaian pakar tetapi hanya mengaktifkan beberapa daripadanya bagi setiap token. Ini meningkatkan daya pemprosesan apabila keserentakan tinggi tanpa mengaktifkan semua parameter pada setiap langkah. Saluran paip pertuturan menggunakan skema autoregresif berbilang buku kod yang memampatkan audio menjadi kod diskret. Rangkaian konvolusi Code2Wav yang ringan menukarkan kod tersebut menjadi bentuk gelombang. Pendekatan ini mengurangkan kelewatan sambil mengekalkan timbre dan prosodi supaya pertuturan kedengaran kurang robotik pada latensi rendah.

Talker tidak bergantung pada perwakilan teks Thinker, sebaliknya menerima ciri audio dan visual secara langsung. Pilihan itu membantu menyelaraskan suara dengan perkara yang sedang berlaku pada skrin dalam interaksi audio visual. Dari segi persepsi, pengekod Audio Transformer dilatih menggunakan kira-kira 20 juta jam audio terselia. Latihan prapelaksanaan dilakukan secara berperingkat. Pasukan itu menyelaraskan pengekod, melatih model menggunakan kira-kira dua trilion token merangkumi teks, audio, imej dan video, kemudian memperluas konteks untuk sesi panjang. Latihan pascapelaksanaan merangkumi penalaan halus terselia, penyulingan dan pengoptimuman bagi Thinker serta Talker.

Versi, bahasa dan had konteks

Qwen3-Omni hadir sebagai Qwen3-Omni-30B-A3B dalam tiga varian awam. Model Instruct menerima input audio, video dan teks, kemudian menghasilkan teks dan pertuturan. Model Thinking menyasarkan penaakulan sukar, langkah matematik dan perancangan dengan output teks. Captioner ditala untuk menghasilkan kapsyen audio terperinci. Pilihan Flash yang dihoskan bertujuan mempercepat interaksi melalui Alibaba Cloud.

Sokongan berbilang bahasa menjadi tumpuan. Model asas menyokong 119 bahasa untuk teks, 19 bahasa untuk input pertuturan dan 10 bahasa untuk output pertuturan, termasuk dialek yang digunakan secara meluas seperti bahasa Kantonis. Keseimbangan ini boleh memudahkan penggunaan global yang memerlukan pengalaman suara disesuaikan dengan loghat dan sistem tulisan tempatan.

Sesi boleh berlangsung lama. Mod Thinking menawarkan tetingkap konteks sehingga 65,536 token. Mod Non Thinking mencapai 49,152 token. Input dan output maksimum ditetapkan pada 16,384 token. Bagi penaakulan kompleks, rantaian terpanjang boleh mencapai 32,768 token. API menggunakan pengebilan berasaskan token bagi setiap 1,000 token, dengan kadar berasingan untuk input teks, audio dan imej atau video, serta output teks atau audio. Akaun baharu menerima kuota percuma sebanyak satu juta token merentas modaliti selama 90 hari selepas pengaktifan.

Penanda aras dan cara memahaminya

Alibaba melaporkan keputusan daripada 36 penanda aras yang merangkumi tugasan teks dan penaakulan, pertuturan dan audio, imej dan penglihatan, serta video audio visual. Menurut syarikat itu, Qwen3-Omni mencatat skor tercanggih dalam 22 ujian dan mendahului model sumber terbuka dalam 32 ujian. Pasukan itu turut berkata model ini mengatasi GPT-4o dan Gemini 2.5 Pro dalam banyak penilaian audio dan audio visual. Kategori ujian merangkumi pengecaman pertuturan, pemahaman audio, soal jawab audio visual, penerangan video dan penjanaan suara. Dalam tugasan yang banyak menggunakan teks, model ini dilaporkan menyamai ahli keluarga model teks Qwen.

Penanda aras ialah panduan, bukan jaminan. Set ujian berbeza dari segi skop, format arahan dan peraturan pemarkahan. Vendor memilih metrik yang diterbitkan, manakala pelbagai ujian boleh memihak kepada seni bina atau data latihan tertentu. Penggunaan sebenar melibatkan audio bising, mikrofon yang pelbagai, potongan adegan pantas dan loghat berbeza. Pasukan perlu menilai model menggunakan sampel sendiri, menguji halusinasi di bawah tekanan dan mengukur kos berbanding daya pemprosesan. Walaupun begitu, keluasan tugasan dalam keputusan yang dilaporkan menunjukkan model ini dilatih dengan multimodaliti sebagai matlamat utama, bukannya ditambah kemudian melalui penyesuai.

Dalam dokumentasi rasmi, pasukan Qwen menyifatkan Qwen3-Omni sebagai model berbilang bahasa asli yang memproses teks, imej, audio dan video, serta memberikan respons penstriman dalam bentuk teks dan pertuturan. Reka bentuk ini bertujuan memastikan pertuturan kedengaran semula jadi sementara model bahasa merancang langkah seterusnya.

Apa yang boleh dibina oleh pembangun sekarang

Repositori dan demonstrasi yang disediakan merangkumi panduan untuk tugasan lazim yang sudah berfungsi dengan baik tanpa banyak pengubahsuaian. Pasukan boleh bermula dengan contoh mudah dan mengembangkannya menjadi ciri pengeluaran apabila semakin yakin.

Kegunaan lazim

Berikut ialah senario yang sesuai dengan kekuatan model dalam persepsi, penaakulan dan suara:

• Pengecaman pertuturan berbilang bahasa untuk panggilan langsung, mesyuarat dan media.
• Terjemahan pertuturan antara pasangan bahasa yang digunakan secara meluas dengan balasan lisan.
• Pemberian kapsyen audio untuk bunyi persekitaran dan penandaan muzik.
• OCR untuk dokumen dan tangkap layar, dengan jawapan berpandukan kawasan yang dirujuk.
• Soal jawab imej untuk rajah kompleks atau papan pemuka.
• Penerangan video, sorotan dan pengesanan peristiwa untuk menelusuri klip panjang.
• Soal jawab audio visual untuk latihan, sokongan dan kandungan panduan.
• Sokongan teknikal masa nyata yang mendengar, melihat dan menerangkan cara menyelesaikan masalah.
• Aliran kerja seperti ejen yang memanggil alat dan API luaran untuk menyelesaikan tugasan.

Tingkah laku model boleh dibentuk melalui arahan sistem untuk menetapkan persona, nada dan format. Model ini menyokong penstriman masa nyata, jadi ia boleh memberikan jawapan separa sementara penaakulan diteruskan. Gaya ini terasa lebih semula jadi dalam pembantu suara, yang lebih sesuai dengan jeda pendek dan penjelasan pantas berbanding kesenyapan panjang. Untuk penggunaan sensitif, pasukan boleh membina tindanan keselamatan yang merangkumi pengukuhan arahan, penapis kandungan untuk teks dan audio, serta enjin dasar yang merekodkan konteks dan keputusan.

Pertimbangan perusahaan dan pelesenan

Keputusan untuk mengeluarkan model ini di bawah Apache 2.0 membawa kepentingan tersendiri. Lesen itu membenarkan penggunaan komersial, pengedaran, pengubahsuaian dan pelesenan semula. Ia turut merangkumi lesen paten yang mengurangkan pendedahan undang-undang apabila model disepadukan ke dalam produk. Perusahaan boleh menjalankan Qwen3-Omni pada kluster peribadi atau awan dipercayai, menyesuaikannya dengan data sendiri dan mengedarkan perisian tanpa membayar yuran penggunaan kepada vendor. Gabungan ini menghapuskan kebergantungan kepada vendor dan merendahkan halangan untuk percubaan merentas pasukan.

Alibaba menyatakan bahawa ekosistem sekitar keluarga Qwen semakin berkembang. Syarikat itu berkata kumpulan tersebut telah mengeluarkan ratusan model sejak titik semak Qwen pertama diperkenalkan, dengan jumlah muat turun mencecah ratusan juta. Pembangun telah menerbitkan puluhan ribu model terbitan di hab awam, sekali gus memendekkan masa daripada prototaip kepada pengeluaran. Bagi industri terkawal, tindanan multimodal yang dihoskan sendiri boleh membantu memenuhi keperluan penyimpanan data dalam negara dan audit, sambil memastikan kos inferens kekal boleh diramal.

Kos dan operasi

Pengendalian model multimodal memerlukan perancangan. Memori GPU, lebar jalur storan untuk audio dan video, serta rangkaian pantas untuk penstriman semuanya mempengaruhi daya respons. API berasaskan token memudahkan peringkat awal sementara pasukan infrastruktur menentukan saiz kluster. Kuota percuma 90 hari sebanyak satu juta token memadai untuk mengesahkan kebolehlaksanaan, memperhalus arahan dan menanda aras kualiti menggunakan data dalaman. Apabila beban kerja meningkat, organisasi lazimnya menggabungkan beberapa model. Model terbuka boleh mengendalikan kebanyakan tugasan harian, manakala API proprietari digunakan untuk kes pinggiran atau ciri khusus. Pendekatan ini mengurangkan perbelanjaan sambil mengekalkan fleksibiliti.

Risiko dan penggunaan bertanggungjawab

Keupayaan memahami audio dan video yang canggih membolehkan produk yang menarik dibangunkan. Namun, ia turut meningkatkan risiko penyalahgunaan. Sintesis suara boleh meniru gaya walaupun secara lalai model tidak menghasilkan suara sasaran tertentu. Ejen masa nyata yang memerhati dan mendengar pengguna memerlukan proses mendapatkan persetujuan yang jelas, penyimpanan selamat dan dasar pemadaman. Pasukan undang-undang perlu meneliti pergerakan data antara rakaman pada peranti, pelayan dan log, serta menetapkan tempoh penyimpanan yang mematuhi peraturan.

Perusahaan perlu menguji model dengan teliti untuk mengesan halusinasi, berat sebelah dan kandungan tidak selamat. Kapsyen audio boleh tersalah tafsir bunyi dalam persekitaran yang riuh. Penerangan video boleh terlepas konteks antara potongan adegan. Konteks panjang boleh menyebabkan arahan tersasar. Pelan penilaian yang dirancang dengan baik merangkumi arahan adversarial, liputan loghat dan dialek, serta ujian pasukan merah bagi sempadan keselamatan. Gelung maklum balas yang membolehkan pengguna akhir melaporkan isu membantu menambah baik model sambil memastikan penggunaan kekal bertanggungjawab.

Cara untuk bermula

Pembangun boleh mendapatkan pemberat model dan contoh daripada repositori GitHub rasmi Qwen3-Omni. Panduan mula pantas menunjukkan cara menjalankan model menggunakan pustaka popular seperti Transformers dan vLLM. Imej Docker dan demonstrasi antara muka web turut tersedia untuk percubaan pantas. Akses hos melalui API Alibaba sesuai untuk pasukan yang mahu menguji prototaip pertuturan penstriman sebelum menyediakan infrastruktur sendiri. Hab model menyediakan titik semak sedia guna dan panduan komuniti untuk penalaan halus serta penilaian.

Pautan: Qwen3-Omni di GitHub

Perkara utama

• Alibaba mengeluarkan Qwen3-Omni sebagai sumber terbuka di bawah Apache 2.0 dengan pemberian paten, membolehkan penggunaan dan pengedaran semula komersial secara percuma.
• Model ini menerima teks, imej, audio dan video, serta membalas dalam bentuk teks atau pertuturan semula jadi melalui penstriman masa nyata.
• Tiga varian tersedia: Instruct untuk interaksi multimodal, Thinking untuk penaakulan kompleks dan Captioner untuk kapsyen audio.
• Latensi yang dilaporkan ialah kira-kira 234 ms untuk audio dan 547 ms untuk video, direka untuk menyokong pertukaran giliran yang semula jadi.
• Sokongan merangkumi 119 bahasa teks, 19 bahasa input pertuturan dan 10 bahasa output pertuturan, termasuk bahasa Kantonis.
• Daripada 36 ujian, Alibaba melaporkan prestasi tercanggih dalam 22 ujian dan kedudukan teratas dalam kalangan model terbuka bagi 32 ujian, dengan keputusan audio dan video yang kukuh.
• Tetingkap konteks mencecah 65,536 token dalam Mod Thinking, dengan input atau output maksimum sebanyak 16,384 token.
• Kuota percuma API sebanyak satu juta token ditawarkan selama 90 hari, dengan pengebilan bagi setiap 1,000 token merentas modaliti.
• Kegunaan termasuk transkripsi, terjemahan, OCR, penandaan muzik, pemahaman video dan pembantu masa nyata.
• Perusahaan boleh mengehos sendiri, memperhalus dan menyepadukan Qwen3-Omni sambil menerapkan kawalan keselamatan, privasi dan pematuhan.