Alibaba melancarkan Qwen3 Omni, model AI multimodal sumber terbuka

Mengapa pelancaran ini penting sekarang

Alibaba telah melancarkan Qwen3 Omni, model kecerdasan buatan multimodal yang memproses teks, imej, audio dan video dalam satu sistem, ketika persaingan AI global semakin sengit. Model ini boleh dimuat turun dan digunakan di bawah lesen Apache 2.0, yang memberikan syarikat hak luas untuk menjalankan, mengubah suai dan mengedarkan teknologi ini dalam produk komersial. Gabungan liputan pelbagai mod yang luas dan lesen permisif ini memberi tekanan langsung kepada sistem tertutup daripada peneraju AS.

Masanya cukup ketara. Firma Barat terus mencurahkan wang ke dalam AI proprietari dan infrastruktur di sebaliknya, sementara kumpulan penyelidikan China menarik minat pembangun dengan model akses terbuka. Qwen3 Omni pantas mendaki carta komuniti di Hugging Face, menandakan bahawa komuniti pembangun menggunakannya secara meluas. Bagi Alibaba, pelancaran ini menunjukkan bahawa penyedia awan terbesar China itu berhasrat bersaing untuk beban kerja AI global, bukan sekadar meraih perhatian dalam penyelidikan.

Janji model ini mudah dinyatakan. Satu model asas yang boleh menerima bahasa, gambar, audio dan video, kemudian menjawab dalam bentuk teks atau pertuturan semula jadi dengan kelajuan penstriman. Jika prestasi yang dilaporkan Alibaba terbukti dalam penggunaan arus perdana, syarikat boleh menggunakan pembantu, perkhidmatan transkripsi dan alat analitik tanpa membayar yuran penggunaan kepada platform tertutup, serta tanpa perlu menggabungkan model berasingan bagi setiap jenis data.

Apakah Qwen3 Omni dan fungsinya

Qwen3 Omni ialah model asas yang dibina untuk interaksi multimodal asli. Model ini menerima empat jenis input, iaitu teks, imej, audio dan video, serta menghasilkan dua jenis output, iaitu teks dan pertuturan. Respons boleh distrim hampir masa nyata, membolehkan pengguna bercakap dengan sistem atau menghalakan kamera ke sesuatu pemandangan dan mula mendengar jawapan ketika sistem memproses bingkai video.

Alibaba menawarkan tiga versi supaya pasukan boleh memadankan keupayaannya dengan kegunaan masing-masing. Setiap versi berasaskan model teras 30 bilion parameter yang mengaktifkan pakar secara terpilih semasa inferens demi kecekapan. Variannya adalah seperti berikut:

• Instruct, model interaktif penuh yang mengendalikan input audio, video dan teks, serta menjana teks dan pertuturan.
• Thinking, model yang memfokuskan penaakulan untuk respons berantai pemikiran yang panjang. Ia menerima input yang sama tetapi hanya menghasilkan teks.
• Captioner, varian yang ditala halus untuk memberikan kapsyen audio terperinci, dengan matlamat meminimumkan halusinasi ketika menghuraikan sumber bunyi dan peristiwa.

Pembangun boleh memuat turun pemberat daripada GitHub dan Hugging Face, atau menggunakan titik akhir terurus melalui API Alibaba, yang turut menawarkan varian Flash yang lebih pantas untuk kegunaan yang peka terhadap kependaman.

Reka bentuk Thinker dan Talker

Sistem ini menggunakan seni bina dua komponen yang dinamakan Alibaba sebagai Thinker dan Talker. Thinker bertanggungjawab membuat penaakulan merentas pelbagai mod. Ia menggabungkan petunjuk daripada teks, pengekod visual dan pengekod audio, kemudian merancang dan menghasilkan token teks yang mewakili jawapan atau tindakan yang dimaksudkan. Talker menukar rancangan itu kepada pertuturan semula jadi, sambil memastikan pemasaan dan intonasi sejajar dengan konteks visual dan audio.

Kedua-dua komponen menggunakan pendekatan Mixture of Experts. Hanya sebahagian parameter diaktifkan pada setiap langkah, sekali gus mengagihkan beban kerja merentas pakar dan meningkatkan kadar pemprosesan apabila banyak permintaan diterima serentak. Reka bentuk ini membantu model mengekalkan kependaman rendah ketika melayani pengguna secara serentak.

Talker tidak bergantung pada perwakilan teks dalaman Thinker. Ia boleh menggunakan ciri audio dan visual secara langsung. Ini menjadikan output pertuturan lebih semula jadi semasa terjemahan atau bantuan langsung, kerana sistem boleh mengekalkan prosodi dan timbre yang sepadan dengan suasana. Pengasingan ini turut membawa manfaat operasi. Modul luaran seperti sistem capaian semula atau penapis keselamatan boleh memeriksa dan melaraskan teks yang dicadangkan Thinker sebelum Talker menukarkannya kepada pertuturan.

Untuk memastikan pertuturan pantas dan jelas, Talker meramalkan jujukan berbilang buku kod secara autoregresif dan menggunakan rangkaian Code2Wav yang ringan untuk mensintesis bingkai audio secara langsung. Pendekatan ini mengurangkan kelewatan tanpa mengorbankan perincian kualiti suara.

Kelajuan, skala dan bahasa

Kependaman penting dalam interaksi suara dan video. Qwen3 Omni melaporkan kependaman paket pertama kira-kira 234 milisaat untuk audio dan sekitar 547 milisaat untuk video. Respons menyeluruh kekal dalam satu faktor masa nyata walaupun ketika beberapa permintaan diproses serentak, sekali gus memastikan perbualan lancar.

Sokongan bahasanya luas. Model ini menyokong 119 bahasa dalam bentuk teks. Ia memahami input pertuturan dalam 19 bahasa dan boleh bertutur dalam 10 bahasa. Sokongannya merangkumi bahasa utama dunia dan dialek seperti Kantonis. Ini membolehkan pasukan produk membina pembantu untuk khalayak global tanpa perlu menukar model mengikut wilayah.

Tetingkap konteks direka untuk sesi yang panjang. Mod Thinking menawarkan 65,536 token, manakala Mod Non Thinking menawarkan 49,152 token. Input dan output maksimum masing-masing ialah 16,384 token, dan rantaian penaakulan terpanjang yang disokong mencapai 32,768 token. Model ini boleh menganalisis dan meringkaskan klip audio panjang, sehingga kira-kira 30 minit.

Cara Alibaba melatih model ini

Pemahaman audio berteraskan Audio Transformer tersuai yang dipanggil AuT. Alibaba melatih AuT dari awal menggunakan kira-kira 20 juta jam audio berlabel. Kebanyakan set data itu tertumpu pada pengecaman pertuturan automatik dalam bahasa Cina dan Inggeris, manakala bahagian yang lebih kecil terdiri daripada bahasa lain serta tugasan untuk meluaskan pemahaman audio. AuT mempunyai kira-kira 600 juta parameter dan ditala untuk cache penstriman serta tugasan luar talian.

Prapelatihan dijalankan dalam tiga peringkat. Dalam fasa penjajaran pengekod, pasukan melatih pengekod visual dan audio sambil membekukan model teras bahasa, sekali gus membantu mengekalkan kualiti persepsi. Latihan umum menyusul menggunakan set data kira-kira dua trilion token yang merangkumi teks, audio dan imej, dengan bahagian lebih kecil terdiri daripada video dan data audio-video. Fasa konteks panjang terakhir memanjangkan panjang jujukan daripada 8,192 token kepada 32,768 token dan memasukkan lebih banyak audio serta video panjang bagi memastikan model mampu mengikuti jujukan yang berpanjangan.

Pasc latihan menambah keupayaan mengikuti arahan dan penjajaran keselamatan. Bagi Thinker, pasukan menggunakan penalaan halus terselia, penyulingan daripada model kuat kepada model lemah dan pengoptimuman GSPO dengan gabungan peraturan serta maklum balas daripada LLM sebagai penilai. Talker melalui empat peringkat yang menggabungkan ratusan juta sampel pertuturan multimodal dengan prapelatihan berterusan menggunakan data terpilih. Matlamatnya adalah untuk mengurangkan halusinasi sambil meningkatkan kejelasan dan ekspresiviti pertuturan.

Penanda aras, kekuatan dan batasan

Merentas 36 penanda aras awam yang meliputi teks, pertuturan, penglihatan dan video, Alibaba melaporkan bahawa Qwen3 Omni menduduki tempat pertama dalam 22 ujian dan mendahului model terbuka dalam 32 ujian. Keputusan itu menunjukkan prestasi kukuh dalam tugasan yang banyak menggunakan audio serta keputusan yang kompetitif dalam teks dan penglihatan.

Penaakulan dan penulisan: dalam AIME25, model ini mendapat skor 65.0, jauh mengatasi keputusan GPT 4o era 2024 sebanyak 26.7. ZebraLogic mencatat 76.0, mengatasi Gemini 2.5 Flash pada 57.9. Dalam WritingBench, model ini meraih 82.6, lebih tinggi daripada GPT 4o yang mendapat 75.5.

Pertuturan dan audio: dalam set ujian Wenetspeech, kadar ralat perkataan yang dilaporkan ialah 4.69 dan 5.89, jauh lebih rendah daripada GPT 4o pada 15.30 dan 32.27. Dalam LibriSpeech other, kadar ralat turun kepada 2.48. Model ini turut menunjukkan kekuatan dalam pengelasan muzik, dengan skor GTZAN 93.0 dan RUL MuchoMusic 52.0, kedua-duanya melebihi GPT 4o.

Penglihatan dan video: HallusionBench mencatat 59.7, MMMU pro 57.0 dan MathVision full 56.3, semuanya lebih tinggi daripada GPT 4o dalam set keputusan yang sama. Dalam ujian pemahaman video MLVU, Qwen3 Omni mendapat 75.2, mengatasi Gemini 2.0 Flash pada 71.0 dan GPT 4o pada 64.6.

Angka ini kukuh, namun pasukan harus menilainya mengikut konteks. Alibaba menala sistem ini supaya kualiti teks dan penglihatan dikekalkan, sambil cemerlang dalam pertuturan dan interaksi multimodal. Pemerhati awal mendapati bahawa model teks sahaja daripada keluarga yang sama masih boleh mendahului dalam beberapa tugasan bahasa tulen, iaitu pertukaran yang lazim apabila beralih daripada latihan satu mod kepada susunan multimodal yang luas. Ujian sebenar ialah prestasi harian dalam aliran kerja pengeluaran.

Lesen terbuka, akses dan harga

Qwen3 Omni dikeluarkan di bawah Apache 2.0. Lesen itu membenarkan penggunaan komersial, pengubahsuaian dan pengedaran semula, serta merangkumi pemberian paten. Syarikat boleh menyepadukan model ini ke dalam produk, menggunakannya pada perkakasan sendiri atau dalam awan dipercayai, dan mengedarkan produk tertutup tanpa mendedahkan pengubahsuaian proprietari. Lesen ini menghapuskan halangan undang-undang paling lazim yang menghalang pasukan daripada menggunakan model termaju dalam persekitaran terkawal.

Keluarga model ini boleh dimuat turun daripada GitHub dan Hugging Face. Pasukan yang memilih pilihan terurus boleh menggunakan API Alibaba, yang turut menyediakan pilihan Flash untuk respons lebih pantas. Alibaba menawarkan kuota percuma sebanyak satu juta token merentas pelbagai mod selama 90 hari selepas pengaktifan, supaya pasukan boleh menilai keupayaannya sebelum mula membayar.

Cara harga token dikira

Caj dikenakan bagi setiap seribu token. Token ialah unit kecil teks atau perwakilan bersegmen bagi media lain, dan menjadi ukuran lazim untuk kos pengkomputeran merentas pelbagai mod. Alibaba menyenaraikan harga setiap token yang sama bagi mod Thinking dan Non Thinking, dengan satu pengecualian: output audio hanya tersedia dalam Mod Non Thinking.

Kos input: input teks berharga 0.00025 dolar bagi setiap seribu token, iaitu kira-kira 25 sen bagi setiap juta token. Input audio berharga 0.00221 dolar bagi setiap seribu token, kira-kira 2.21 dolar bagi setiap juta token. Input imej dan video berharga 0.00046 dolar bagi setiap seribu token, kira-kira 46 sen bagi setiap juta token.

Kos output: output teks berharga 0.00096 dolar bagi setiap seribu token apabila gesaan hanya mengandungi teks. Jika input merangkumi imej atau audio, output teks berharga 0.00178 dolar bagi setiap seribu token. Apabila anda meminta output teks dan audio serentak, bahagian audio berharga 0.00876 dolar bagi setiap seribu token. Dalam kes ini, bahagian teks adalah percuma.

Kegunaan yang sudah tersedia hari ini

Aplikasi yang berteraskan audio dan video berpotensi mendapat manfaat. Transkripsi dan terjemahan berbilang bahasa untuk khidmat pelanggan dan penyetempatan media boleh dijalankan menggunakan satu model yang mendengar, memahami konteks dan memberikan respons dalam bentuk pertuturan. Varian Captioner memfokuskan penerangan audio, yang berguna untuk penandaan media, pemantauan siaran dan carian semula maklumat muzik.

Tugasan visual seperti pengecaman aksara optik, penentuan lokasi objek serta soal jawab tentang imej atau video juga sesuai. Ejen sokongan boleh melihat suapan langsung kamera telefon yang menghala ke komputer riba, menerangkan kabel yang perlu diperiksa, kemudian menyampaikan langkah-langkahnya pada kelajuan semula jadi. Alibaba telah memperagakan terjemahan menu restoran masa nyata melalui peranti boleh pakai. Senario ini menunjukkan sebab kependaman penstriman dan kualiti pertuturan penting.

Qwen3 Omni turut menyokong dialog audiovisual. Model ini boleh mengendalikan perbualan yang merujuk kepada perkara yang didengar dan dilihatnya, mengekalkan konteks sepanjang sesi panjang serta memaparkan pengetahuan luaran yang berkaitan apabila disambungkan kepada alat. Pembangun boleh membentuk nada dan tingkah laku menggunakan gesaan sistem, membina pembantu khusus domain dan menyalurkan output Thinker melalui penapis keselamatan tersuai sebelum sebarang pertuturan dihasilkan.

Perbandingan dengan GPT 4o, Gemini 2.5 dan Gemma 3n

Qwen3 Omni menyertai kelompok model omni yang bertujuan memproses pelbagai jenis data dalam satu enjin. GPT 4o daripada OpenAI menyokong input teks, imej dan audio, serta disediakan sebagai perkhidmatan tertutup. Gemini 2.5 Pro daripada Google turut mengendalikan analisis video dan bersifat tertutup. Gemma 3n daripada Google menawarkan lesen terbuka dan menerima teks, imej, audio serta video sebagai input, namun hanya menghasilkan teks. Model Alibaba menerima empat jenis input yang sama dan menambah output pertuturan, yang penting untuk pembantu dan terjemahan langsung.

Sifat terbuka membawa perbezaan praktikal. Pemberat Qwen3 Omni tersedia di bawah Apache 2.0, membolehkan syarikat menjalankan model ini secara setempat, menyesuaikannya dengan peraturan industri dan mengawal aliran data. Model tertutup masih mendominasi sesetengah tugasan mewah, namun syarat lesen dan lokasi penyimpanan data boleh mengehadkan penggunaannya dalam sektor sensitif. Banyak organisasi akan memilih susunan gabungan, menggunakan model terbuka demi kos dan kawalan, serta perkhidmatan berbayar apabila prestasinya sukar ditandingi.

Satu lagi perbezaan ialah pendekatan terhadap penggunaan dalam pengeluaran. Alibaba telah membina keluarga Qwen yang luas dengan ratusan varian dan melaporkan penerimaan meluas dalam kalangan pembangun. Jika interaksi pertuturan langsung dan video Qwen3 Omni terus menepati penanda aras dalam penggunaan harian, model ini memberi pasukan alternatif yang meyakinkan apabila mereka memerlukan pembantu berbilang bahasa dengan kependaman rendah yang boleh dihoskan sendiri.

Penerimaan dan petunjuk pasaran

Penglibatan pembangun dapat dilihat. Qwen3 Omni telah menduduki tempat teratas dalam senarai sohor kini Hugging Face, dan model Alibaba yang lain kini mengisi beberapa kedudukan teratas. Momentum ini mencerminkan perubahan lebih luas, apabila model terbuka daripada makmal China semakin mendapat tempat dalam komuniti global.

Alibaba Cloud berkata keluarga Qwen telah dimuat turun lebih 400 juta kali di seluruh dunia, dan syarikat itu telah melancarkan lebih 300 model sejak keluarga ini diperkenalkan. Reaksi pelabur juga positif. Saham Alibaba di Hong Kong meningkat sedikit lebih 4 peratus pada hari Qwen3 Omni mendaki ke puncak carta komuniti, menandakan pasaran sedang memerhatikan kemajuan AI syarikat itu.

Terdapat juga perdebatan tentang maksud terbuka. Model ini dikeluarkan di bawah Apache 2.0 dan pemberatnya tersedia, namun resipi lengkap untuk menghasilkan semula latihan daripada data mentah tidak didedahkan kepada umum. Golongan yang mementingkan takrif ketat akan menyifatkannya sebagai pemberat terbuka. Bagi kebanyakan syarikat, syarat lesenlah yang penting, dan syarat itu membolehkan produk diedarkan tanpa bayaran bagi setiap pengguna atau tempat duduk.

Perkara yang perlu diperhatikan tentang keselamatan dan tadbir urus

Syarikat akan mempersoalkan sama ada peningkatan penanda aras yang dilaporkan menghasilkan tingkah laku yang boleh dijangka dan selamat ketika sistem menerima beban tinggi. Sistem pertuturan membawa risiko tersendiri, daripada arahan yang tersalah dengar hingga sintesis suara yang meyakinkan. Pasukan harus menetapkan perlindungan untuk pengesahan identiti, penapisan kandungan dan pengekalan data. Pengasingan Thinker dan Talker menyokong kawalan ini kerana lapisan keselamatan boleh memintas teks sebelum pertuturan dijana.

Kesiapsiagaan operasi juga akan diberi perhatian. Organisasi yang menggunakan model terbuka secara meluas sering melabur dalam MLOps, saluran paip penalaan halus dan penilaian. Qwen3 Omni mengurangkan keperluan mengendalikan beberapa model berasingan dengan menyatukan teks, audio, imej dan video. Ini dapat memudahkan infrastruktur serta mempercepat kitaran produk, khususnya bagi penggunaan di premis sendiri atau awan berdaulat yang perlu mematuhi peraturan serantau.

Alibaba telah menggariskan langkah seterusnya, termasuk pengecaman berbilang penutur yang lebih baik, pengecaman teks dalam video, pembelajaran lebih kukuh daripada gabungan audio dan video, serta ejen autonomi yang lebih berkeupayaan. Sasaran ini sejajar dengan bidang yang akan menjadi tumpuan pelanggan apabila mereka membawa projek perintis ke peringkat pengeluaran.

Perkara Utama

• Qwen3 Omni ialah satu model yang menerima teks, imej, audio dan video, serta menghasilkan teks dan pertuturan pada kelajuan penstriman.
• Alibaba mengeluarkan pemberatnya di bawah Apache 2.0, yang membenarkan penggunaan komersial, pengubahsuaian dan pengedaran semula serta pemberian paten.
• Tiga varian kini tersedia: Instruct untuk interaksi penuh, Thinking untuk penaakulan panjang dengan output teks, dan Captioner untuk penerangan audio yang meminimumkan halusinasi.
• Thinker dan Talker mengasingkan penaakulan daripada penjanaan pertuturan, dengan menggunakan Mixture of Experts untuk mengekalkan kependaman rendah ketika beban serentak tinggi.
• Kependaman paket pertama yang dilaporkan ialah kira-kira 234 milisaat untuk audio dan sekitar 547 milisaat untuk video, dalam satu faktor masa nyata.
• Model ini menyokong 119 bahasa teks, memahami pertuturan dalam 19 bahasa dan boleh bertutur dalam 10 bahasa, termasuk sokongan dialek seperti Kantonis.
• AuT, pengekod audio dengan 600 juta parameter yang dilatih menggunakan kira-kira 20 juta jam audio, menjadi teras pemahaman pertuturan.
• Penanda aras menunjukkan model ini mendahului 22 daripada 36 ujian dan memimpin dalam kalangan model terbuka bagi 32 ujian, dengan keputusan kukuh dalam pertuturan, muzik, penglihatan dan video.
• Harga API bermula pada 0.00025 dolar bagi setiap seribu token input teks dan 0.00096 dolar bagi setiap seribu token output teks, dengan percubaan percuma satu juta token selama 90 hari.
• Penerimaan di Hugging Face berkembang pesat, dan Alibaba melaporkan ratusan juta muat turun Qwen ketika syarikat menilai penggunaan model terbuka dalam pengeluaran.