Alibaba Memperkenalkan Qwen3-Omni: Model AI Multimodal Sumber Terbuka

Pencabar multimodal asli dibuka sebagai sumber terbuka

Alibaba memperkenalkan Qwen3-Omni, model kecerdasan buatan multimodal asli yang menerima teks, imej, audio dan video sebagai input, serta memberikan respons dalam bentuk teks atau pertuturan sintesis. Model ini tersedia sebagai sumber terbuka di bawah lesen Apache 2.0, yang membenarkan penggunaan komersial, pengubahsuaian dan pengedaran semula, serta memberikan hak paten. Gabungan keupayaan luas dan pelesenan permisif ini meletakkan Qwen3-Omni sebagai pesaing langsung kepada sistem tertutup terkemuka dari Amerika Syarikat, sambil memudahkan syarikat pemula, penyelidik dan perusahaan besar menggunakannya.

Qwen3-Omni mengikuti peralihan industri ke arah model omni, iaitu kelas sistem yang direka untuk memahami dan bertindak merentas pelbagai modaliti dalam masa nyata. Tidak seperti susunan sistem yang menambah keupayaan pertuturan atau penglihatan pada model teks, Alibaba berkata Qwen3-Omni dibina sebagai sistem multimodal hujung ke hujung. Ia memproses audio dan video secara langsung ketika berfikir serta menjana pertuturan melalui modul pertuturan khusus, sekali gus mengekalkan rentak perbualan, nada dan konteks tanpa perlu menunggu keseluruhan fail selesai diproses.

Pelancaran pertama ini berpusat pada keluarga model berparameter 30 bilion yang menggunakan reka bentuk Mixture of Experts untuk memastikan inferens pantas dan berskala. Alibaba melaporkan kependaman paket pertama serendah 234 milisaat untuk audio dan 547 milisaat untuk video, dengan RTF (faktor masa nyata) di bawah satu walaupun ketika pemprosesan serentak. Sistem ini menyokong 119 bahasa untuk teks, 19 bahasa untuk input pertuturan dan 10 bahasa untuk output pertuturan, sekali gus membuka peluang bagi pembantu berbilang bahasa, pusat panggilan dan terjemahan langsung.

Pelancaran ini berlangsung ketika Alibaba meletakkan perniagaan awannya sebagai penyedia AI susunan penuh dan model sumber terbuka China semakin mendapat tempat di platform pembangun. Dalam tempoh beberapa hari, varian Qwen3-Omni menduduki kedudukan teratas dalam ranking sohor kini di Hugging Face, mencerminkan minat tinggi daripada komuniti global. Syarikat itu juga menawarkan versi API yang lebih pantas serta menyediakan pemberat model untuk dimuat turun terus dan digunakan secara setempat.

Keistimewaan Qwen3-Omni

Qwen3-Omni direka untuk berfikir dan bercakap secara serentak. Komponen Thinker mengendalikan penaakulan multimodal. Komponen Talker menukarkan output Thinker kepada pertuturan semula jadi dengan mengambil kira ciri audio dan visual secara langsung. Pemisahan ini membolehkan pembangun menyelitkan sistem mendapatkan semula maklumat, pemeriksaan keselamatan atau logik perniagaan pada peringkat Thinker sebelum sebarang perkataan diucapkan, sesuatu yang berguna untuk aliran kerja terkawal.

Thinker dan Talker

Thinker ialah model bahasa besar yang dilatih dengan kira-kira 2 trilion token merentas teks, pertuturan, imej dan video. Ia menggunakan penghalaan Mixture of Experts supaya hanya sebahagian kecil parameter diaktifkan bagi setiap token. Ini mengurangkan kos pengkomputeran dan meningkatkan daya pemprosesan. Talker ialah penjana pertuturan ringan yang menggunakan skema autoregresif berbilang codebook untuk mengekalkan timbre dan prosodi, serta rangkaian Code2Wav yang padat untuk menghasilkan audio dengan pantas.

Penyejiran masa nyata dan caching

Kependaman penting dalam perbualan. Alibaba melaporkan penstriman dengan token pertama yang boleh didengar dalam kira-kira suku saat bagi audio dan sekitar setengah saat dalam konteks video. Susunan audio ini merangkumi pengekod Audio Transformer baharu yang dilatih menggunakan 20 juta jam audio terselia, kebanyakannya data ASR bahasa Cina dan Inggeris dengan liputan global untuk bahasa lain. Pengekod ini menyokong caching dalam talian untuk panggilan langsung dan pengekodan luar talian untuk kerja kelompok.

Bahasa dan konteks panjang

Pembangun boleh memasukkan arahan dan transkrip yang panjang. Thinking Mode menyokong konteks sehingga 65,536 token, dengan rantaian penaakulan sehingga 32,768 token. Non Thinking Mode menyokong sehingga 49,152 token. Model ini menerima sehingga 16,384 token sebagai input dan boleh menjana sehingga 16,384 token sebagai output teks. Sistem pertuturan kini meliputi 10 bahasa output, julat praktikal untuk projek rintis global dalam sokongan pelanggan dan khidmat lapangan.

Model, mod dan harga

Alibaba melancarkan tiga varian keluarga 30B supaya pasukan boleh menyesuaikannya mengikut keperluan berbeza. Model Instruct menggabungkan susunan penuh Thinker dan Talker untuk input audio, video dan teks, kemudian menghasilkan teks dan pertuturan. Model Thinking menumpukan pada penaakulan kompleks dan rantaian pemikiran panjang. Ia menggunakan input multimodal yang sama tetapi hanya mengeluarkan teks, sesuai untuk penyelidikan, analisis dan rekod perusahaan yang memerlukan pematuhan. Model Captioner ialah model khusus yang ditala halus untuk memberi kapsyen audio. Ia bertujuan menghasilkan penerangan tepat tentang muzik, pertuturan dan audio campuran dengan kadar halusinasi yang rendah.

Qwen3-Omni tersedia untuk dimuat turun melalui hab model, di GitHub untuk kod dan pemberat model, serta melalui Alibaba Cloud sebagai API, termasuk pilihan Flash yang lebih pantas untuk perkhidmatan interaktif. Pengguna baharu menerima kuota percuma sebanyak satu juta token yang sah selama 90 hari selepas pengaktifan. Bagi penggunaan berbayar, harga dikenakan bagi setiap seribu token. Input teks berharga 0.00025 dolar, input imej atau video 0.00046 dolar, manakala input audio 0.00221 dolar. Untuk output, teks berharga 0.00096 dolar apabila input hanya berupa teks, dan meningkat kepada 0.00178 dolar apabila input merangkumi imej atau audio. Apabila pembangun meminta output teks dan audio sekali gus, bahagian audio berharga 0.00876 dolar bagi setiap seribu token, manakala bahagian teks adalah percuma.

Output audio hanya tersedia dalam Non Thinking Mode melalui API. Pilihan ini memudahkan penjadualan untuk pertuturan penstriman dan mengelakkan konflik dengan penaakulan berstruktur yang mengambil masa lama. Pasukan yang memerlukan rantaian pemikiran terperinci masih boleh menggunakan model Thinking untuk merancang atau mendapatkan semula maklumat, kemudian menyerahkan jawapan akhir kepada pemapar audio atau model Instruct untuk dituturkan.

Penanda aras dan cara mentafsirkannya

Alibaba melaporkan keputusan kukuh dalam 36 ujian awam, dengan skor terkini dalam industri bagi 22 ujian dan kedudukan teratas dalam kalangan model terbuka bagi 32 ujian. Angka tersebut menunjukkan sistem seimbang yang mengekalkan mutu teks dan visual sambil mengukuhkan prestasi pertuturan. Antara pencapaian utama ialah tugas penaakulan, dengan Qwen3-Omni memperoleh 65.0 dalam AIME25 dan 76.0 dalam ZebraLogic. WritingBench mencatatkan 82.6. Bagi transkripsi audio, model ini merekodkan kadar ralat perkataan 4.69 dan 5.89 pada Wenetspeech, serta 2.48 pada Librispeech other, angka yang sangat rendah untuk set data itu. Skor penandaan dan pengelasan muzik, seperti 93.0 pada GTZAN dan 52.0 pada RUL-MuchoMusic, menunjukkan keupayaan mengenal pasti genre dan ciri audio dengan baik.

Penanda aras penglihatan dan matematik juga menunjukkan prestasi kukuh. HallusionBench mencatatkan 59.7, MMMU_pro 57.0 dan MathVision_full 56.3. Bagi pemahaman video, Qwen3-Omni memperoleh 75.2 pada MLVU. Berdasarkan angka yang diterbitkan Alibaba, keputusan tersebut meletakkannya mengatasi banyak model tertutup dalam ujian khusus berkenaan, termasuk GPT 4o dan Gemini 2.0 Flash.

Penanda aras tidak merangkumi setiap situasi yang dihadapi pengguna. Perbualan sebenar mungkin lebih bising, loghat berbeza-beza, pencahayaan berubah dan tugas perniagaan sering menggabungkan beberapa alat. Ulasan bebas awal menyatakan bahawa model yang lebih kecil kadangkala menghadapi kesukaran di luar ujian terkawal, walaupun mencatat prestasi cemerlang dalam papan pendahulu. Pembangun wajar menjalankan percubaan bukti konsep dengan data sendiri, terutamanya bagi kes pinggiran seperti jargon khusus bidang, rajah khusus atau suara yang bertindih.

Perbandingan dengan GPT 4o, Gemini dan Gemma

Qwen3-Omni berada dalam persaingan sengit yang turut melibatkan GPT 4o daripada OpenAI dan Gemini 2.5 daripada Google. Sistem-sistem itu berkeupayaan tinggi dan sudah disepadukan ke dalam platform besar. Namun, semuanya bersifat sumber tertutup. Pengguna membayar bagi setiap panggilan dan tidak boleh mengubah suai model asas atau mengedarkannya semula secara sah. Qwen3-Omni dikeluarkan di bawah Apache 2.0, lesen permisif yang membenarkan penggunaan komersial, pengubahsuaian kod dan pemberat model serta pengedaran semula. Ia turut menyertakan lesen paten. Gabungan ini mengurangkan risiko perundangan bagi syarikat yang perlu membenamkan AI secara langsung ke dalam produk atau infrastruktur persendirian.

Dari segi fungsi, Qwen3-Omni menerima teks, imej, audio dan video, serta boleh menjawab dengan teks atau pertuturan. GPT 4o menerima input teks, imej dan audio serta memberikan respons dalam bentuk teks dan pertuturan, tetapi konfigurasi terasnya tidak menerima klip video sebagai input. Gemini 2.5 Pro boleh menganalisis input video dan menawarkan respons teks serta pertuturan melalui perkhidmatan Google. Alibaba meletakkan Qwen3-Omni sebagai sistem multimodal asli, dengan pertuturan dan penglihatan sebagai keupayaan teras dan bukannya penyesuai yang ditambah pada model berteras teks.

Google juga menawarkan Gemma 3n sebagai sumber terbuka di bawah Apache 2.0. Gemma 3n menerima video, audio, teks dan imej, tetapi hanya menghasilkan output teks. Bagi pasukan yang mahukan susunan sistem terbuka sepenuhnya dengan output pertuturan langsung, Qwen3-Omni mungkin satu-satunya pilihan semasa yang mempunyai lesen permisif dan penjanaan pertuturan terbina dalam.

Kepentingan Apache 2.0 kepada pengguna

Pelesenan menentukan tempat model boleh dijalankan dan cara ia boleh dijadikan produk. Apache 2.0 membenarkan penalaan halus dan pengedaran semula secara tertutup tanpa mewajibkan model terbitan dikeluarkan kepada umum. Lesen ini merangkumi pemberian hak paten dan lesen sumbangan. Bagi industri terkawal yang meneliti hak harta intelek, terma tersebut mengurangkan risiko penyepaduan. Syarikat boleh menggunakan Qwen3-Omni pada pelayan sendiri, di awan pilihan atau pada peranti pinggir, sambil mengekalkan kerahsiaan model tersuai mereka.

Kegunaan perusahaan dan pembangun

Qwen3-Omni menyasarkan pelbagai jenis tugas. Susunan teks dan pertuturan berbilang bahasanya boleh digunakan untuk transkripsi pusat panggilan dan terjemahan langsung merentas 19 bahasa input dan 10 bahasa output. Captioner audio boleh menerangkan muzik, bunyi persekitaran dan klip audio campuran untuk penyunting, pengarkib dan alat bantuan. Saluran pemprosesan penglihatan membaca tangkap layar dan foto untuk OCR serta susun atur, sekali gus membantu mengautomasi aliran kerja pejabat belakang dan proses pendaftaran pelanggan.

Pemahaman video ialah keupayaan utama model ini. Ejen sokongan boleh menganalisis klip pendek daripada telefon untuk mengenal pasti lampu ralat atau kabel yang tersambung dengan salah. Aplikasi penyelenggaraan boleh memantau siaran langsung untuk mengesahkan injap telah dibuka. Oleh sebab Thinker dan Talker berjalan secara serentak, sistem boleh mula bercakap sambil terus memproses bingkai yang diterima, sekali gus mengekalkan rentak seperti perbualan manusia dalam situasi bebas tangan.

Pemisahan jelas antara proses berfikir dan bercakap memberi kawalan kepada pembangun. Sistem mendapatkan semula maklumat boleh mengambil dokumen syarikat. Penapis dasar boleh menapis kandungan. Pemeriksaan keselamatan boleh meneliti jejak penaakulan sebelum Talker menghasilkan audio. Corak ini sesuai untuk pembantu pengguna yang perlu mengekalkan identiti jenama, alat rumusan perusahaan yang mesti mengelakkan kebocoran data dan alat lapangan yang memerlukan panduan langkah demi langkah.

Penggunaan alat dan ejen

Qwen3-Omni boleh disambungkan kepada alat dan perkhidmatan luaran untuk tugas kompleks, termasuk membuat panggilan carian, menyoal pangkalan data atau mencetuskan enjin aliran kerja. Alibaba juga sedang membangunkan rangka kerja ejen dalam platform awannya supaya pasukan berkod rendah dan berkod tinggi boleh menggabungkan alat, menjadualkan tugas dan menggunakannya dalam persekitaran pengeluaran. Dengan tetingkap konteks melebihi 49,000 token dalam Non Thinking Mode, model ini boleh mengendalikan sesi berbilang langkah yang panjang dan menjejaki tindakan terdahulu.

Penggunaan, pasaran dan strategi

Minat pembangun meningkat dengan pantas. Varian keluarga Qwen3 menduduki beberapa kedudukan teratas dalam papan sohor kini hab model utama, dengan Qwen3-Omni-30B-A3B kerap berada di tempat pertama. Perhatian ini mencerminkan gelombang lebih besar model sumber terbuka China yang semakin menarik minat dalam penyelidikan dan industri.

Isyarat pasaran juga menunjukkan arah yang sama. Saham Alibaba meningkat susulan keyakinan yang semakin tinggi terhadap usaha AI dan awan syarikat itu, bersama kenaikan penarafan baharu oleh penganalisis dan minat semula daripada dana global. Syarikat itu sedang meluaskan rangkaian pusat datanya bagi menyokong pelanggan di luar China, dengan kemudahan baharu di Brazil, Perancis dan Belanda serta kapasiti tambahan yang dirancang di rantau lain. Alibaba juga melabur besar-besaran dalam infrastruktur AI, dengan komitmen perbelanjaan berjumlah berpuluh-puluh bilion dolar dalam tempoh tiga tahun akan datang dan petunjuk bahawa jumlah perbelanjaan modal AI akan meningkat.

Kerjasama perkakasan ialah sebahagian daripada rancangan itu. Alibaba mengumumkan kerjasama perisian dengan Nvidia untuk menyepadukan alat pembangunan AI dalam bidang seperti latihan, simulasi dan pengesahan. Syarikat itu juga memberikan gambaran awal tentang model Qwen3 Max yang lebih besar, dengan lebih satu trilion parameter untuk penjanaan kod lanjutan dan tingkah laku ejen. Ini menunjukkan bagaimana Qwen3-Omni melengkapi keluarga model yang lebih luas, daripada pembantu interaktif hinggalah model penyelidikan berkeupayaan tinggi.

Kenyataan daripada Alibaba

Ketua Pegawai Eksekutif Kumpulan Alibaba, Eddie Wu, menetapkan hala tuju pada persidangan tahunan syarikat itu di Hangzhou dengan menyifatkan AI dan awan sebagai dua enjin bagi fasa pertumbuhan seterusnya. Beliau turut menggariskan rancangan untuk memperluas pusat data antarabangsa dan mempererat kerjasama dalam latihan serta penggunaan model.

Wu menggunakan ucapannya untuk menjelaskan sebab syarikat itu meningkatkan pelaburan dalam AI.

AI dan awan ialah enjin pertumbuhan Alibaba bersama-sama e-dagang. Kami akan meningkatkan perbelanjaan dan kapasiti bagi memenuhi permintaan global.

Lin Junyang, seorang penyelidik dalam pasukan Qwen, menerangkan bagaimana projek itu memanfaatkan hasil kerja terdahulu dalam bidang pertuturan dan penglihatan untuk membangunkan sistem baharu ini.

Kami menggabungkan projek asas audio dan imej untuk membangunkan Qwen3 Omni.

Risiko, batasan dan perkara yang perlu diperhatikan

Walaupun keputusan penanda arasnya kukuh, masih ada persoalan yang hanya boleh dijawab melalui penggunaan dalam persekitaran pengeluaran. Audio dunia sebenar mungkin mengandungi bunyi latar yang kuat, suara bertindih atau loghat yang jarang ditemui. Video pula sering mengalami silau, kabur akibat pergerakan atau halangan pandangan. Jika perkhidmatan anda memerlukan kadar dapatan semula yang sangat tinggi untuk rajah khusus, atau transkripsi bertaraf pematuhan dalam bidang tertentu, peruntukkan masa untuk pemilihan data dan penalaan halus mengikut bidang.

Keluaran semasa menyokong 10 bahasa output pertuturan, yang sudah meliputi banyak pasaran, tetapi pasukan yang memerlukan bahasa yang kurang lazim perlu menggunakan output teks atau enjin pertuturan pihak ketiga. Pemisahan Thinker dan Talker juga memerlukan pilihan dibuat. Sesetengah organisasi mungkin memilih agar penaakulan panjang kekal dalam bentuk teks, kemudian hanya mensintesis pertuturan untuk jawapan akhir. Yang lain mungkin menerima output lebih pendek sebagai ganti respons lisan yang lebih pantas. Pertukaran ini wajar diuji berdasarkan matlamat pengalaman pengguna.

Pelesenan sumber terbuka ialah kelebihan bagi pembangun produk, tetapi ini juga bermakna sesiapa sahaja boleh mengubah suai model. Syarikat wajar menggunakan penapis kandungan, pengesanan penyalahgunaan dan pemantauan penggunaan untuk mencegah salah guna. Sebaliknya, Apache 2.0 merangkumi pemberian hak paten yang mengurangkan risiko harta intelek bagi pengguna, faktor penting untuk pasukan pematuhan perusahaan.

Matlamatnya ialah pembantu multimodal yang berfikir merentas teks, penglihatan dan bunyi dengan kepantasan hampir seperti manusia. Jika Qwen3-Omni terus membuktikan keupayaannya di luar penilaian terkawal, ia berpotensi menjadi pilihan utama pasukan yang mahukan kawalan setempat, kos yang boleh dijangka dan komuniti pembangun yang luas.

Sorotan

• Qwen3-Omni menerima input teks, imej, audio dan video serta menghasilkan output teks dan pertuturan.
• Model ini ialah sumber terbuka di bawah Apache 2.0 dengan pemberian hak paten untuk penggunaan komersial.
• Thinker mengendalikan penaakulan, manakala Talker menjana pertuturan; kedua-duanya menggunakan Mixture of Experts untuk kelajuan.
• Kependaman paket pertama yang dilaporkan ialah 234 milisaat untuk audio dan 547 milisaat untuk video.
• Menyokong 119 bahasa teks, 19 bahasa input pertuturan dan 10 bahasa output pertuturan.
• Tiga varian tersedia: Instruct, Thinking dan Captioner.
• Harga API bermula pada 0.00025 dolar bagi setiap seribu token teks, dengan percubaan percuma satu juta token.
• Keputusan penanda aras menunjukkan prestasi teratas dalam banyak ujian pertuturan, video dan penaakulan.
• Kedudukan di Hugging Face dan minat pelabur menandakan penggunaan yang pesat.
• Alibaba sedang memperluas pusat data dan mempererat kerjasama dengan Nvidia sambil mengembangkan keluarga Qwen3.