Alibaba Memperkenalkan Qwen3-Omni: Model AI Pelbagai Modal Sumber Terbuka

Mengapa perkara ini penting sekarang: AI pelbagai modal sumber terbuka menjadi arus perdana

Alibaba telah melancarkan Qwen3-Omni, model kecerdasan buatan pelbagai modal yang tersedia secara percuma, boleh menerima teks, imej, audio dan video sebagai input, serta memberikan respons dalam bentuk teks atau pertuturan semula jadi secara masa nyata. Syarikat itu meletakkannya sebagai sistem omni modal natif hujung ke hujung yang pertama, dengan keempat-empat jenis input disepadukan dalam satu model dan bukannya ditambah kemudian. Pelancaran ini berlangsung dalam pasaran yang sistem terkemuka daripada OpenAI dan Google masih bersifat proprietari, sekali gus mewujudkan perbezaan ketara antara platform tertutup dengan alternatif sumber terbuka yang boleh dimuat turun, diubah suai dan digunakan oleh sesiapa sahaja di bawah lesen Apache 2.0.

Tawarannya mudah difahami. Perusahaan dan pembangun mendapat model yang berfungsi merentas modaliti dengan kependaman rendah, sokongan bahasa yang luas dan alat untuk membentuk respons. Implikasinya melangkaui penanda aras teknikal. Lesen terbuka yang mesra perusahaan menghapuskan kebergantungan kepada vendor dan memberi organisasi pilihan untuk menjalankan model itu pada infrastruktur sendiri. Perbezaan ini bermakna ketika banyak syarikat cuba mengimbangi kos, kawalan dan prestasi dalam susunan AI mereka.

Qwen3-Omni muncul selepas gelombang model omni. GPT-4o daripada OpenAI menggabungkan teks, imej dan audio. Gemini 2.5 Pro daripada Google pula menambah analisis video. Sistem-sistem itu kekal berbayar dan tertutup. Qwen3-Omni menghimpunkan pemahaman video, input pertuturan dan output pertuturan dalam satu pakej yang boleh diteliti dan dikembangkan oleh komuniti. Pelancaran ini juga mencerminkan kebangkitan projek AI sumber terbuka China yang mendapat sambutan besar di platform pembangun dan mengubah peta persaingan.

Apakah Qwen3-Omni dan cara ia berfungsi

Qwen3-Omni menggunakan reka bentuk dua bahagian yang dipanggil Thinker dan Talker, masing-masing dioptimumkan untuk peringkat saluran kerja yang berbeza. Thinker mengendalikan pemahaman pelbagai modal, penaakulan dan penjanaan teks. Talker menukarkan output yang diluluskan kepada pertuturan dan menyelaraskan pertuturan dengan visual. Kedua-dua komponen menggunakan seni bina Mixture of Experts, iaitu kaedah membahagikan model kepada kumpulan parameter khusus yang hanya diaktifkan apabila diperlukan. Ini menjadikan inferens lebih pantas dan mudah diskalakan kerana model tidak perlu menjalankan setiap parameter untuk setiap permintaan.

Thinker dan Talker, dijelaskan

Dalam Qwen3-Omni, Thinker menerima input, menggabungkan isyarat daripada teks, imej, audio dan video, lalu menghasilkan respons teras dalam bentuk teks. Penaakulan konteks panjang, penggunaan alat, pengambilan maklumat dan penapis keselamatan boleh dijalankan pada peringkat ini. Yang penting, Talker tidak diwajibkan bergantung pada token teks Thinker. Sebaliknya, ia bergantung secara langsung pada ciri audio dan visual. Pilihan ini membolehkan sistem menghasilkan pertuturan yang mengekalkan masa dan penekanan penutur asal semasa terjemahan, atau menyelaraskan rentak pertuturan dengan kandungan pada skrin. Ia juga membolehkan kawalan aliran kerja kerana modul luaran boleh menyemak atau melaraskan output Thinker sebelum Talker menukarkannya kepada audio.

Untuk pertuturan, Qwen3-Omni menggunakan pendekatan autoregresif berbilang codebook yang meramalkan token akustik padat, kemudian menukarkannya kepada bentuk gelombang menggunakan rangkaian Code2Wav yang ringan. Reka bentuk ini mengurangkan kependaman sambil mengekalkan perincian suara. Pengekod audio yang dinamakan Audio Transformer dilatih dari awal untuk menyokong penggunaan penstriman dan luar talian.

Direka untuk penstriman berkependaman rendah

Qwen3-Omni menyasarkan penggunaan secara langsung dan perbualan. Sistem ini melaporkan kependaman hujung ke hujung bagi paket pertama kira-kira 234 milisaat untuk audio dan kira-kira 547 milisaat untuk video. Ia kekal di bawah satu faktor masa nyata, bermakna ia boleh menjana output sepantas atau lebih pantas daripada kadar input diterima. Perkara ini penting untuk ejen suara, pembantu pusat panggilan, transkripsi mesyuarat dan apa-apa keadaan yang alirannya terganggu akibat kelewatan.

Sokongan bahasa dan had konteks

Model ini menyokong 119 bahasa dalam teks, 19 bahasa untuk input pertuturan dan 10 bahasa untuk output pertuturan. Ia boleh mengendalikan interaksi yang panjang. Thinking Mode menawarkan tetingkap konteks sebanyak 65,536 token dan rantaian penaakulan terpanjangnya mencecah 32,768 token. Non Thinking Mode menggunakan konteks 49,152 token. Had maksimum input dan output masing-masing ialah 16,384 token. Had ini menentukan jumlah kandungan yang boleh diproses dan dihasilkan oleh model dalam satu sesi, khususnya bagi transkrip video dan dokumen panjang.

Versi dan pilihan penggunaan

Alibaba melancarkan tiga versi Qwen3-Omni-30B-A3B, setiap satunya ditala untuk tugas yang berbeza.

Model Instruct menggabungkan Thinker dan Talker. Ia menerima teks, imej, audio dan video, serta memberikan respons dalam bentuk teks dan pertuturan. Model Thinking memfokuskan pada penaakulan dan tugasan yang memerlukan rantaian pemikiran panjang. Ia menerima input yang sama tetapi hanya mengeluarkan teks. Oleh itu, model ini sesuai untuk keadaan yang memerlukan respons bertulis terperinci berbanding suara. Model Captioner ditala khusus untuk memberikan kapsyen audio dan menghasilkan huraian teks terperinci dengan tumpuan pada pengurangan halusinasi. Secara keseluruhan, rangkaian ini meliputi interaksi pelbagai modal yang luas, penaakulan mendalam dan pemahaman audio khusus.

Qwen3-Omni tersedia untuk penggunaan tempatan dan melalui awan. Pembangun boleh memuat turun pemberat daripada repositori rasmi dan hab komuniti, atau menggunakan varian Flash yang lebih pantas melalui API Alibaba. Panduan permulaan pantas, buku panduan untuk tugasan seperti pengecaman pertuturan, terjemahan, analisis muzik, OCR dan dialog audiovisual, serta nota penggunaan Docker disediakan dalam dokumentasi projek. Repositori GitHub boleh diakses di sini: https://github.com/QwenLM/Qwen3-Omni.

Bagi pasukan yang mencuba API terhos, Alibaba menawarkan kuota percuma sebanyak satu juta token merentas modaliti, yang sah selama 90 hari selepas pengaktifan. Output audio hanya tersedia dalam Non Thinking Mode apabila menggunakan API. Butiran ini penting untuk merancang projek rintis dan menganggarkan kos semasa percubaan awal.

Gambaran ringkas saluran latihan

Qwen3-Omni dilatih melalui proses berbilang peringkat yang menggabungkan pralatihan berskala besar dengan pascalatihan bersasar. Audio Transformer berfungsi sebagai pengekod audio dengan kira-kira 0.6 bilion parameter. Ia dilatih menggunakan 20 juta jam audio berpenyeliaan. Campuran datanya terdiri daripada kira-kira 80 peratus pengecaman pertuturan bahasa Cina dan Inggeris, 10 peratus pengecaman pertuturan bahasa lain dan 10 peratus tugasan pemahaman audio. Pengekod ini direka untuk penggunaan cache masa nyata dan pemprosesan luar talian.

Pralatihan dilakukan dalam tiga peringkat. Pada peringkat pertama, yang dipanggil penjajaran pengekod, pengekod visual dan audio dilatih sementara teras model bahasa dibekukan. Ini menghalang keupayaan persepsi model daripada merosot semasa gabungan awal. Peringkat kedua, yang dipanggil latihan umum, menggunakan set data kira-kira 2 trilion token yang merangkumi teks, audio, imej dan bahagian lebih kecil video serta sampel audio video. Peringkat ketiga memanjangkan panjang token maksimum daripada 8,192 kepada 32,768, dengan lebih banyak kandungan audio dan video panjang untuk mengukuhkan keupayaan mengendalikan jujukan panjang.

Pascalatihan meningkatkan penaakulan dan mutu pertuturan. Thinker menjalani penalaan halus berpenyeliaan, penyulingan daripada model kuat kepada model lemah, serta pengoptimuman GSPO menggunakan gabungan maklum balas berasaskan peraturan dan pemarkahan model sebagai pengadil. Talker pula melalui proses empat peringkat dengan ratusan juta sampel pertuturan pelbagai modal dan pralatihan berterusan menggunakan data terpilih. Matlamatnya ialah mengurangkan kadar halusinasi dan meningkatkan keaslian pertuturan.

Prestasi dan kelebihannya

Berdasarkan penanda aras awam yang dilaporkan oleh syarikat itu, Qwen3-Omni menunjukkan prestasi kukuh dalam pemahaman pertuturan, audio dan video sambil mengekalkan skor tinggi dalam teks dan penglihatan komputer. Ia mendahului banyak papan pendahulu terbuka dan mencatat keputusan yang kompetitif berbanding sistem tertutup.

Dalam teks dan penaakulan, model ini mendapat skor 65.0 pada AIME25 dan 76.0 pada ZebraLogic. Skornya dalam WritingBench ialah 82.6. Dalam pertuturan dan audio, kadar ralat perkataan yang dicatat ialah 4.69 dan 5.89 pada Wenetspeech, serta 2.48 pada Librispeech other. Model ini juga menunjukkan prestasi kukuh dalam tugasan muzik, dengan skor 93.0 pada GTZAN dan 52.0 pada RUL MuchoMusic. Bagi imej dan penglihatan komputer, HallusionBench mencatat 59.7, MMMU pro 57.0 dan MathVision full 56.3. Untuk video, skornya ialah 75.2 pada MLVU. Jika disahkan melalui penilaian pihak luar, angka ini menunjukkan model yang mengimbangi tugasan teks tradisional dengan pemahaman audio dan video yang canggih.

Dua perkara perlu diberi perhatian. Pertama, banyak keputusan dilaporkan sendiri oleh syarikat. Pengesahan bebas merentas set ujian yang lebih luas akan memberikan gambaran lebih menyeluruh tentang prestasi dalam penggunaan harian. Kedua, membina satu model yang merangkumi empat jenis input boleh membawa kompromi. Bahan syarikat berusaha menunjukkan keseimbangan antara modaliti, namun sesetengah pengulas komuniti mendapati bahawa versi Qwen terdahulu yang mengutamakan teks menghasilkan output teks tulen yang sedikit lebih baik dalam tugasan khusus tertentu. Inilah pertentangan lazim antara model khusus dengan model serba guna. Keluaran semasa merapatkan jurang itu sambil membuka keupayaan merentas modaliti yang tidak dapat ditandingi model khusus.

Harga, kuota dan had penggunaan

Qwen3-Omni ialah model sumber terbuka untuk penggunaan tempatan di bawah lesen Apache 2.0. Akses terurus melalui API Alibaba dikenakan bayaran mengikut jumlah token. Thinking Mode dan Non Thinking Mode menggunakan kadar yang sama bagi setiap token. Output audio hanya ditawarkan dalam Non Thinking Mode.

Kos input bagi setiap 1,000 token

• Input teks: 0.00025 dolar Amerika Syarikat
• Input audio: 0.00221 dolar Amerika Syarikat
• Input imej atau video: 0.00046 dolar Amerika Syarikat

Kos output bagi setiap 1,000 token

• Output teks dengan input teks sahaja: 0.00096 dolar Amerika Syarikat
• Output teks apabila input merangkumi imej atau audio: 0.00178 dolar Amerika Syarikat
• Output teks bersama audio: 0.00876 dolar Amerika Syarikat untuk bahagian audio, teks adalah percuma

Pelan percuma: satu juta token merentas modaliti, sah selama 90 hari selepas pengaktifan. Had konteks adalah besar, dengan 65,536 token dalam Thinking Mode dan 49,152 dalam Non Thinking Mode. Input tunggal maksimum ialah 16,384 token dan output maksimum ialah 16,384 token. Rantaian penaakulan terpanjang mencecah 32,768 token. Had ini menjadi panduan untuk membahagikan media dan dokumen panjang semasa penggunaan dalam persekitaran produksi.

Kepentingannya kepada perusahaan

Lesen merupakan bahagian penting dalam kisah ini. Apache 2.0 memberikan hak untuk penggunaan komersial, pengubahsuaian dan pengedaran semula. Lesen ini turut merangkumi lesen paten, sekali gus mengurangkan risiko undang-undang apabila model itu menjadi sebahagian daripada sistem proprietari. Tiada kewajipan untuk menerbitkan hasil kerja terbitan, yang memudahkan penerimaan oleh syarikat yang perlu merahsiakan varian yang ditala halus. Ini berbeza sama sekali daripada sistem kotak hitam yang dikawal vendor, dengan kos, had kadar dan tingkah laku model yang boleh berubah tanpa sebarang jalan penyelesaian.

Pelancaran ini turut mempengaruhi keputusan seni bina. Banyak organisasi beralih kepada susunan berbilang model. Mereka menggabungkan model terbuka dan tertutup mengikut tugasan, mencampurkan model kecil dan pantas untuk kerja rutin dengan model lebih besar bagi penaakulan kompleks, serta mengekalkan beban kerja tertentu di premis sendiri untuk mengawal data. Keluasan keupayaan Qwen3-Omni menjadikannya calon untuk senario yang banyak menggunakan pertuturan, persekitaran berbilang bahasa dan aliran kerja yang sarat dengan video. Mengendalikan berbilang modaliti dalam satu model boleh mengurangkan bilangan sistem berasingan yang perlu dilatih dan diselenggara.

Penggunaan yang berjaya tetap memerlukan disiplin. Semakan keselamatan, kawalan privasi, rangka kerja penilaian dan saluran penalaan halus kekal sebagai keperluan asas. Sifat terbuka model ini memudahkan pengauditan dan pengoptimuman, tetapi tanggungjawab terhadap keselamatan dan pematuhan turut terletak pada pihak yang menggunakannya. Pasukan yang melabur dalam MLOps, penggunaan alat dan perlindungan akan memperoleh nilai paling besar.

Kegunaan: daripada pusat hubungan hingga perkhidmatan lapangan

Alibaba mengetengahkan pelbagai senario yang memanfaatkan kekuatan model ini. Transkripsi dan terjemahan berbilang bahasa boleh digabungkan dengan output pertuturan berkependaman rendah untuk perbualan langsung. Kapsyen audio menyokong penerbitan media dan kebolehcapaian kandungan. OCR dan pemahaman dokumen boleh digunakan pada imej borang, resit dan rajah. Penandaan muzik dan analisis bunyi membantu perpustakaan media serta alat kreatif. Pemahaman video membolehkan pengindeksan, navigasi dan pelaksanaan arahan daripada tutorial atau panduan penggunaan peralatan.

Satu contoh yang menggambarkan kegunaannya ialah sokongan teknikal. Pelanggan boleh menstrim video daripada telefon sementara model membaca teks pada skrin, mendengar audio persekitaran dan memberikan panduan langkah demi langkah melalui respons lisan. Satu lagi contoh ialah pembantu boleh pakai yang menterjemahkan menu atau papan tanda secara masa nyata. Pembangun juga boleh mengarahkan tingkah laku melalui gesaan sistem untuk menetapkan nada, persona dan sempadan domain, serta menghubungkan sistem dengan fungsi mendapatkan maklumat, kalkulator atau alat pihak ketiga bagi memperluas keupayaannya.

Petunjuk penerimaan dan konteks global

Sambutan awal menunjukkan minat tinggi daripada komuniti pembangun. Varian Qwen3-Omni mendaki ke tangga teratas senarai model sohor kini di hab AI popular, manakala model Qwen lain turut mengisi beberapa kedudukan teratas. Lonjakan ini menonjolkan peralihan lebih luas ke arah sistem terbuka daripada pasukan China yang bersaing secara langsung dengan pemain Barat sedia ada. Dalam pasaran, saham Alibaba di Hong Kong meningkat sedikit melebihi empat peratus pada hari pelancaran itu mendapat perhatian luas.

Alternatif terbuka ini akan memberi tekanan kepada strategi harga dan produk sistem tertutup, khususnya untuk kegunaan yang banyak melibatkan audio dan video. Perusahaan yang perlu menguji idea tanpa proses perolehan yang panjang kini boleh menjalankan model omni modal dengan kos yang rendah. Jika prestasi dunia sebenar sepadan dengan penanda aras yang dilaporkan, pelancaran ini boleh mempercepat penerimaan pembantu pelbagai modal merentas pusat hubungan, penerbitan media, pendidikan, transkripsi penjagaan kesihatan dan penyelenggaraan industri.

Kesimpulan

• Qwen3-Omni ialah model sumber terbuka yang menerima teks, imej, audio dan video serta memberikan respons dalam bentuk teks dan pertuturan, dan dioptimumkan untuk penggunaan masa nyata.
• Sistem ini menggunakan seni bina Thinker dan Talker dengan Mixture of Experts untuk kelajuan dan skala, selain Audio Transformer tersuai dan pemapar Code2Wav.
• Sasaran kependaman ialah kira-kira 234 milisaat untuk audio dan kira-kira 547 milisaat untuk video, dengan penstriman pada faktor masa nyata di bawah satu.
• Sokongan bahasa merangkumi 119 bahasa untuk teks, 19 untuk input pertuturan dan 10 untuk output pertuturan, dengan tetingkap konteks panjang sehingga 65,536 token.
• Tiga varian tersedia: Instruct untuk input dan output pelbagai modal sepenuhnya, Thinking untuk penaakulan teks sahaja dan Captioner untuk kapsyen audio terperinci.
• Sumber terbuka di bawah Apache 2.0, dengan kuota percuma satu juta token untuk percubaan API dan harga berasaskan token bagi akses terhos.
• Penanda aras yang dilaporkan syarikat menunjukkan keputusan kukuh merentas pertuturan, audio, video dan teks, termasuk beberapa skor bertaraf terkini.
• Perusahaan mendapat laluan tanpa kos untuk menggunakan, menyesuaikan dan menjalankan AI pelbagai modal tanpa terikat kepada vendor, dengan syarat mereka melabur dalam penilaian dan keselamatan.
• Penerimaan komuniti berkembang pesat, dengan model Qwen menjadi sohor kini di platform pembangun dan minat terhadap sistem AI terbuka China semakin meningkat.