Alibaba Memperkenalkan Model AI Multimodal Sumber Terbuka Qwen3 Omni

Pencabar sumber terbuka baharu dalam AI multimodal

Alibaba memperkenalkan Qwen3 Omni, model multimodal serba luas yang boleh membaca teks, melihat imej, mendengar audio dan menonton video. Ia memberikan respons dalam bentuk teks dan pertuturan semula jadi. Syarikat itu meletakkannya sebagai model omni hujung ke hujung asli. Ini bermakna model tersebut direka sejak awal untuk mengendalikan semua input itu secara serentak, bukannya menganggap pertuturan atau penglihatan sebagai ciri tambahan. Model ini dilancarkan ketika banyak organisasi menimbang kos dan pertukaran kawalan antara model sumber terbuka dengan sistem proprietari seperti GPT 4o dan Gemini 2.5 Pro. Perbezaan utamanya ialah akses. Qwen3 Omni dikeluarkan di bawah lesen Apache 2.0, kerangka permisif yang membenarkan penggunaan komersial, pengubahsuaian dan pengedaran semula secara percuma. Ini mengurangkan halangan bagi pasukan yang mahu mengehos sendiri atau melancarkan produk tanpa bayaran bagi setiap pengguna atau terikat kepada vendor.

Qwen3 Omni juga melangkaui triad lazim teks, imej dan audio. Ia turut boleh menganalisis video, keupayaan yang setakat ini kebanyakannya terhad kepada platform tertutup. Model ini menyokong 119 bahasa untuk teks, 19 bahasa untuk input pertuturan dan 10 bahasa untuk output pertuturan, merangkumi bahasa utama serta beberapa dialek seperti Kantonis. Bahan awal menonjolkan tindak balas penstriman yang terasa seperti perbualan, bukannya pemprosesan secara kelompok, dengan audio paket pertama dalam kira-kira suku saat dan video dalam kira-kira setengah saat. Ini ialah tahap penting bagi pembantu yang mencelah, meminta penjelasan dan menyerahkan tugas dengan pantas dalam situasi masa nyata seperti panggilan sokongan atau panduan mudah alih.

Pelancaran ini merangkumi tiga varian yang ditala untuk tugas berbeza. Instruct ialah model perbualan berciri lengkap, Thinking memfokuskan penaakulan kompleks dan rangkaian pemikiran panjang dengan output teks, manakala Captioner mengkhusus dalam pemberian kapsyen audio yang memerlukan kadar halusinasi rendah. Pembangun boleh mendapatkan pemberat model di hab model popular, menggunakan API dengan pilihan Flash yang lebih pantas, atau melakukan penalaan halus untuk mengawal domain dan gaya. Penanda aras yang dilaporkan syarikat menunjukkan keputusan kukuh dalam tugas pertuturan, audio dan video, sambil mengekalkan prestasi teks dan penglihatan yang setanding dengan sistem terkemuka.

Keistimewaan Qwen3 Omni

Beberapa pilihan teknikal membezakan Qwen3 Omni. Pertama, saluran latihan model ini menggabungkan data unimodal dan silang modal sejak awal, kemudian terus diperbesar semasa pralatihan dan pascalatihan. Kedua, model ini menggunakan seni bina Mixture of Experts yang mengaktifkan sebahagian kecil parameter bagi setiap token. Ini boleh meningkatkan kadar pemprosesan dan mengurangkan kos inferens, yang penting untuk aplikasi masa nyata dan penggunaan di bawah kekangan perkakasan. Ketiga, sistem ini memisahkan penaakulan dan pertuturan kepada dua komponen terkoordinasi yang dipanggil Thinker dan Talker. Thinker melakukan sebahagian besar kerja pemahaman dan penaakulan multimodal. Talker menukar representasi aras tinggi kepada pertuturan yang mengekalkan pemasaan dan karakter suara.

Tiga varian model untuk keperluan berbeza

Alibaba Cloud mengeluarkan tiga pilihan di bawah keluarga Qwen3 Omni 30B A3B supaya pasukan boleh memilih yang paling sesuai:

• Instruct, yang menggabungkan Thinker dan Talker untuk input teks, imej, audio dan video, dengan output teks serta pertuturan.
• Thinking, yang memfokuskan penaakulan mendalam dan rangkaian pemikiran panjang, menerima input multimodal yang sama, dan menghasilkan output teks sahaja.
• Captioner, yang menyasarkan kapsyen dan penerangan audio dengan kadar halusinasi rendah, berguna untuk analisis media, kebolehcapaian dan aliran kerja penyederhanaan kandungan.

API ini turut menawarkan varian Flash yang disasarkan pada kependaman lebih rendah dan keserentakan lebih tinggi. Ini boleh menjadi penting jika anda membina pembantu pusat panggilan atau panduan beli-belah yang perlu mengendalikan lonjakan trafik tanpa melambatkan jawapan.

Di sebalik seni bina Thinker dan Talker

Qwen3 Omni membahagikan tanggungjawab untuk memastikan pertuturan kedengaran semula jadi, sambil mengekalkan fleksibiliti penaakulan. Thinker ialah model multimodal teras. Ia menyelaraskan dan menggabungkan ciri teks, imej, audio dan video, kemudian menghasilkan representasi pada aras token yang memacu respons. Talker ialah penjana pertuturan khusus. Ia tidak menggunakan output Thinker dalam bentuk teks, sebaliknya menerima ciri audio dan visual secara langsung. Reka bentuk ini membantu Talker menyelaraskan prosodi dan timbre dengan perkara yang dilihat dan didengarnya, sekali gus meningkatkan ciri terjemahan dan lakonan suara seperti rentak, penekanan dan nada emosi.

Untuk mengurangkan kependaman pertuturan, Talker menggunakan skema autoregresif berbilang codebook yang meramalkan token akustik diskret, kemudian rangkaian konvolusi Code2Wav yang ringan menukarkan token itu kepada bentuk gelombang. Oleh sebab teks Talker dipisahkan daripada Thinker, modul luaran boleh mempengaruhi atau menapis output Thinker sebelum pertuturan dijana. Ini menjadikan aliran kerja keselamatan lebih praktikal, kerana semakan dasar dan langkah mendapatkan maklumat boleh dijalankan antara proses berfikir dengan bercakap. Prestasi penstriman menjadi teras reka bentuk ini. Angka syarikat menyatakan audio paket pertama sekitar 234 milisaat dan video paket pertama sekitar 547 milisaat. Sistem ini kekal di bawah faktor masa nyata satu, bermakna ia boleh menjana audio lebih pantas daripada tempoh main baliknya, walaupun mengendalikan berbilang permintaan.

Seni bina ini menggunakan Mixture of Experts untuk Thinker dan Talker. Dalam Mixture of Experts, model terdiri daripada banyak rangkaian pakar kecil dan rangkaian gerbang menghalakan setiap token kepada beberapa daripadanya. Hanya sebahagian kecil parameter dijalankan bagi setiap token, sekali gus menyokong keserentakan tinggi dan membantu memastikan inferens kekal responsif. Bagi pembangun, ini boleh menentukan perbezaan antara pembantu yang mencelah dan berinteraksi dengan bot yang menunggu giliran untuk bercakap.

Cara model ini dibina dan perkara yang disokongnya

Prestasi audio bermula dengan pengekod. Qwen3 Omni memperkenalkan Audio Transformer yang dibina dari awal dan dilatih menggunakan kira-kira 20 juta jam data terselia. Campuran latihan ini kebanyakannya mengandungi data pengecaman pertuturan automatik dalam bahasa Cina dan Inggeris, bersama data tambahan daripada bahasa lain serta tugas yang berfokus pada pemahaman audio. Pengekod ini mempunyai kira-kira 600 juta parameter, menyokong cache penstriman untuk kependaman rendah dan boleh dijalankan secara luar talian bagi tugas analisis seperti rakaman panjang. Pengekod itu menyalurkan data kepada teras multimodal melalui peringkat penjajaran supaya model boleh membuat penaakulan merentas format.

Pralatihan dilakukan dalam tiga peringkat. Dalam penjajaran pengekod, pengekod penglihatan dan audio dilatih serta diselaraskan sementara model bahasa dikekalkan beku. Dalam latihan umum, pasukan meningkatkan skala kepada kira-kira 2 trilion token yang merangkumi teks, audio, imej serta beberapa pasangan video dan audio-video. Dalam latihan konteks panjang, panjang token maksimum diperluas daripada 8,192 kepada 32,768 sambil memasukkan lebih banyak jujukan audio dan video panjang. Pasc latihan merangkumi penalaan halus terselia, penyulingan daripada model guru yang lebih berkeupayaan dan pengoptimuman dasar menggunakan peraturan serta penilaian model untuk Thinker. Talker menjalani rejimen empat peringkat yang menggunakan ratusan juta sampel pertuturan multimodal bersama pralatihan berterusan, dengan matlamat mengurangkan halusinasi dan meningkatkan mutu suara.

Keupayaan dan hadnya luas bagi keluarga model 30 bilion parameter. Qwen3 Omni menyokong 119 bahasa untuk teks, 19 bahasa untuk input pertuturan dan 10 bahasa untuk output pertuturan. Mod Thinking membolehkan tetingkap konteks sebanyak 65,536 token, Mod Non Thinking menyokong 49,152 token, dan model ini menyokong sehingga 16,384 token untuk input serta 16,384 token untuk output. Rangkaian pemikiran terpanjang boleh mencapai 32,768 token. Skala ini membantu mengendalikan transkrip kompleks, mesyuarat panjang, atau pangkalan kod dan dokumen yang akan melebihi keupayaan model lain jika tidak dipecahkan kepada bahagian.

Penanda aras, kekuatan dan cara menilai dakwaan

Merentas 36 penanda aras, Alibaba melaporkan Qwen3 Omni mencatat skor tertinggi dalam 22 daripadanya dan mendahului dalam kalangan model sumber terbuka bagi 32 penanda aras. Keputusan teks dan penaakulan merangkumi skor 65.0 dalam AIME25, jauh lebih tinggi berbanding angka 26.7 yang didedahkan untuk GPT 4o, serta 76.0 dalam ZebraLogic, melebihi angka 57.9 yang diterbitkan untuk Gemini 2.5 Flash. WritingBench mencatat 82.6, berbanding 75.5 untuk GPT 4o. Dalam pertuturan dan audio, Kadar Ralat Perkataan (WER) bagi Wenetspeech ialah 4.69 dan 5.89 untuk dua pecahan ujian lazim, jauh lebih baik berbanding 15.30 dan 32.27 yang dilaporkan untuk GPT 4o. WER Librispeech other pula turun kepada 2.48, antara yang terendah dalam kalangan model setara.

Keputusan imej dan penglihatan termasuk 59.7 dalam HallusionBench, 57.0 dalam MMMU pro dan 56.3 dalam MathVision full, masing-masing mengatasi GPT 4o dalam laporan syarikat. Bagi pemahaman video, model ini mencapai 75.2 dalam MLVU, mengatasi angka 71.0 untuk Gemini 2.0 Flash dan 64.6 untuk GPT 4o. Tugas muzik turut menunjukkan peningkatan, dengan 93.0 dalam GTZAN dan 52.0 dalam RUL MuchoMusic. Gambaran yang dibentuk oleh angka ini selaras dengan fokus reka bentuknya. Qwen3 Omni menetapkan tahap tinggi bagi pemahaman audio dan audiovisual, sambil mengekalkan kemahiran teks dan imej yang kukuh.

Penanda aras berguna, namun ia tetap ujian terkawal. Set data dan kaedah pemarkahan boleh memihak kepada campuran latihan tertentu. Penggunaan sebenar mendedahkan cabaran baharu seperti mikrofon bising, loghat, kamera telefon yang tidak stabil dan pertukaran konteks yang pantas. Model multimodal juga berdepan pertukaran lazim. Latihan yang meliputi pelbagai modaliti boleh mengurangkan sedikit prestasi teks sahaja berbanding model lebih besar yang mengutamakan teks. Pasukan patut menjalankan percubaan terarah menggunakan data sendiri, kemudian memilih strategi model gabungan jika perlu. Banyak perusahaan menggabungkan model multimodal lebih kecil yang boleh mendengar dan melihat dengan model teks lebih besar yang merangka laporan atau e-mel. Lesen Apache terbuka memudahkan penyelarasan seperti itu tanpa halangan proses perolehan.

Perbandingan dengan GPT 4o, Gemini 2.5 Pro dan Gemma 3n

OpenAI menetapkan jangkaan dengan GPT 4o, yang menyatukan teks, imej dan audio dengan gandingan rapat serta pertuturan semula jadi. Qwen3 Omni menambah analisis video dalam senarai inputnya. Google telah menawarkan analisis video dalam Gemini 2.5 Pro, namun model itu kekal proprietari. Google turut menawarkan Gemma 3n sebagai model terbuka. Model itu menerima input teks, imej, audio dan video, tetapi hanya menghasilkan output teks. Qwen3 Omni menghasilkan teks dan pertuturan, sekali gus memperluas penggunaan interaktif seperti terjemahan langsung atau penyerahan tugas oleh ejen di pusat panggilan.

Satu lagi perbezaan ialah pelesenan. Qwen3 Omni diterbitkan di bawah Apache 2.0 dengan lesen paten, yang membolehkan syarikat menggunakan, mengubah suai dan melancarkan produk tanpa perlu mendedahkan kod sumber atau membayar yuran penggunaan. Model tertutup memerlukan akses berbayar dan mengehadkan penggunaan kepada platform penyedia. Terdapat satu nuansa lazim dalam keluaran terbuka moden. Pemberat dan kod penggunaan dibuka, manakala keseluruhan kaedah untuk membina semula model dari awal, termasuk data latihan yang dipilih, biasanya tidak didedahkan kepada umum. Bagi kebanyakan pengguna, keupayaan menjalankan model, membuat penalaan halus dan mengintegrasikannya dalam pengeluaran ialah matlamat utama, dan perkara itu dibenarkan di sini.

Kependaman model ini kompetitif. Alibaba menyatakan audio paket pertama sekitar 234 milisaat dan video sekitar 547 milisaat. Ini setanding dengan sistem perbualan terbaik. Syarikat perlu menilai objektif tahap perkhidmatan selain masa paket pertama, termasuk masa untuk menghasilkan kandungan yang stabil dan jumlah masa respons bagi jawapan panjang. Qwen3 Omni juga menawarkan varian API Flash untuk respons yang lebih pantas, serupa dengan pilihan berfokuskan kelajuan dalam ekosistem lain.

Akses, harga dan kuota percuma

Pembangun boleh mencuba Qwen3 Omni melalui beberapa cara. Pemberat model tersedia di hab model utama. API ini menawarkan akses atas permintaan dengan kuota percuma sebanyak satu juta token merentas modaliti selama 90 hari selepas pengaktifan. Harga dikenakan bagi setiap seribu token. Input teks berharga 0.00025 dolar. Input audio berharga 0.00221 dolar. Input imej dan video berharga 0.00046 dolar. Output teks berharga 0.00096 dolar bagi setiap seribu token apabila input hanya terdiri daripada teks, atau 0.00178 dolar apabila input merangkumi imej atau audio. Jika anda meminta output teks bersama audio, bahagian audio berharga 0.00876 dolar bagi setiap seribu token manakala bahagian teks adalah percuma.

Angka ini rendah berbanding banyak tawaran tertutup, sekali gus membolehkan percubaan tanpa bil yang tinggi. Menurut syarikat, harga untuk Mod Thinking dan Mod Non Thinking adalah sama. Output audio terhad kepada Mod Non Thinking. Platform ini turut menyenaraikan had konteks dan pilihan model dalam Model Studio, tempat syarikat boleh memilih model berdasarkan kelajuan, mutu dan kos. Maklumat rasmi boleh didapati di halaman Alibaba Cloud Model Studio melalui pautan ini.

Kes penggunaan, daripada meja bantuan hingga alat media

Qwen3 Omni disasarkan untuk tugas yang memerlukan keupayaan melihat, mendengar dan bercakap. Beberapa contoh menunjukkan keluasan penggunaannya:

• Sokongan teknikal langsung. Pembantu boleh melihat suapan kamera telefon sambil mendengar pelanggan, kemudian memberikan panduan langkah demi langkah dengan suara semula jadi.
• Transkripsi dan terjemahan berbilang bahasa. Model ini mentranskripsikan mesyuarat, panggilan atau kuliah dalam pelbagai bahasa, kemudian menghasilkan ringkasan bahasa Inggeris atau menyampaikan jawapan dalam bahasa lain.
• Kapsyen audio dan penandaan muzik. Varian Captioner menghasilkan penerangan audio dengan kadar halusinasi rendah, termasuk bunyi latar dan ciri muzik, yang berguna untuk carian dan pengurusan hak.
• Pemahaman video. Model ini boleh menjawab soalan tentang perkara yang berlaku dalam klip, menjejak peristiwa dan meringkaskan babak.
• OCR dan pengambilan dokumen. Gabungan penglihatan dengan bahasa membantu mengekstrak butiran daripada borang atau resit, kemudian mengesahkannya mengikut konteks.
• Pembantu pengguna. Peranti boleh pakai atau telefon boleh menggunakan model ini untuk terjemahan menu, pengecaman mercu tanda dan ciri kebolehcapaian seperti penerangan persekitaran.

Pembangun boleh memperhalus gaya perbualan dan persona melalui gesaan sistem. Penggunaan alat turut disokong supaya model boleh memanggil perkhidmatan luaran untuk mendapatkan maklumat, membuat pengiraan atau mencari dalam pangkalan data. Ini membolehkan corak berasaskan ejen, apabila model merancang, memanggil alat dan menyampaikan hasil melalui pertuturan.

Pelesenan dan kesan terhadap perusahaan

Lesen Apache 2.0 merupakan bahagian penting dalam perkembangan ini. Lesen tersebut membenarkan penggunaan komersial, pengubahsuaian dan pengedaran semula, serta merangkumi lesen paten yang mengurangkan risiko undang-undang apabila model disepadukan ke dalam sistem proprietari. Perusahaan boleh memasukkan Qwen3 Omni ke dalam produk atau aliran kerja dalaman tanpa yuran vendor, dan tidak perlu membuka kod sumber pengubahsuaian mereka. Ini menarik bagi sektor terkawal yang memerlukan kawalan terhadap penghalaan dan pengelogan data. Pemberat terbuka juga membolehkan penggunaan di premis sendiri atau pengehosan dalam awan yang dipercayai.

Keluaran terbuka tidak secara automatik menyelesaikan setiap kebimbangan. Data latihan dan kod latihan penuh biasanya tidak disertakan, maka komuniti tidak dapat menghasilkan semula keseluruhan proses pembinaan. Bagi banyak perniagaan, perkara itu boleh diterima kerana tumpuan mereka ialah menjalankan model, menyesuaikannya dan mencapai sasaran tahap perkhidmatan. Keluaran ini mengukuhkan alasan untuk menggunakan susunan berbilang model. Pasukan boleh menggabungkan model multimodal terbuka yang pantas dengan model proprietari yang lebih besar apabila sesuai, atau memastikan semuanya terbuka untuk mengelakkan kekangan platform. Apa jua pilihannya, ketersediaan model yang memahami video dan mampu bertutur di bawah lesen permisif memperluas perkara yang boleh dibina tanpa rundingan panjang.

Risiko, perlindungan dan perkara seterusnya untuk dinilai

Model multimodal menimbulkan persoalan keselamatan yang melangkaui teks. Input audio dan video boleh mengandungi maklumat sensitif. Output pertuturan boleh mengelirukan jika tidak berasaskan maklumat yang sahih atau ditapis. Alibaba menerangkan langkah gerbang yang membolehkan modul luaran memintas output Thinker sebelum Talker menjana pertuturan. Reka bentuk ini menyokong semakan dasar, pencarian maklumat atau penapis pasukan keselamatan. Perusahaan tetap perlu mengesahkan keselamatan kandungan dalam persekitaran dan rantau masing-masing, termasuk pertahanan terhadap suntikan gesaan, kawalan privasi serta persetujuan untuk rakaman atau analisis.

Dakwaan prestasi perlu diuji menggunakan data sebenar. Loghat, jargon khusus bidang dan hingar latar boleh menjejaskan mutu pengecaman pertuturan automatik. Cahaya malap atau kabur akibat pergerakan boleh menjejaskan pemahaman penglihatan. Penggunaan alat dan penyelarasan ejen memperkenalkan mod kegagalan baharu, seperti panggilan alat yang salah atau proses berulang tanpa henti. Dasar tadbir urus diperlukan untuk pengelogan, semakan manusia dan pengembalian kepada versi terdahulu. Akhir sekali, infrastruktur juga penting. Pengendalian pertuturan masa nyata pada skala besar memerlukan perancangan teliti dari segi kadar pemprosesan, memori GPU dan pengurangan beban. Mixture of Experts membantu meningkatkan kecekapan, namun pasukan perlu menentukan saiz kluster dan cache untuk lonjakan beban serta konteks panjang.

Perkara Utama

• Alibaba mengeluarkan Qwen3 Omni sebagai model terbuka di bawah Apache 2.0, dengan output teks dan pertuturan serta input teks, imej, audio dan video.
• Sistem ini menggunakan reka bentuk Thinker dan Talker bersama Mixture of Experts untuk keserentakan dan penstriman pertuturan berkependaman rendah.
• Kependaman paket pertama yang dilaporkan ialah kira-kira 234 milisaat untuk audio dan 547 milisaat untuk video, dengan faktor masa nyata di bawah satu.
• Tiga varian tersedia: Instruct untuk interaksi penuh, Thinking untuk penaakulan mendalam dengan teks, dan Captioner untuk kapsyen audio.
• Latihan merangkumi Audio Transformer tersuai yang dilatih menggunakan kira-kira 20 juta jam data dan korpus multimodal sekitar 2 trilion token.
• Menurut penanda aras yang dilaporkan syarikat, Qwen3 Omni mendahului dalam banyak ujian audio, video dan penaakulan, sambil kekal kompetitif dalam teks dan penglihatan.
• Harganya rendah bagi setiap seribu token, dengan kuota percuma satu juta token selama 90 hari melalui API, dan pemberat model tersedia untuk pengehosan sendiri.
• Lesen Apache 2.0 membolehkan penggunaan komersial, pengubahsuaian dan pengedaran semula dengan pemberian hak paten, sekali gus mengurangkan kebergantungan kepada vendor.
• Perusahaan perlu menguji keselamatan, kependaman dan ketepatan menggunakan data sebenar, serta merancang tadbir urus dan infrastruktur untuk menyokong beban kerja masa nyata.