Baidu memperkenalkan AI multimodal sumber terbuka yang menurutnya mengatasi GPT-5 dan Gemini dalam penanda aras penglihatan

Pencabar sumber terbuka baharu dalam AI multimodal

Baidu telah membuka sumber model multimodal baharu, ERNIE 4.5 VL 28B A3B Thinking, sebuah sistem dengan 28 bilion parameter yang memproses imej, video, dokumen dan teks. Syarikat itu berkata model berkenaan mengatasi model tertutup terkemuka dalam penanda aras yang banyak menumpukan penglihatan, sambil menggunakan sumber yang lebih sedikit. Model itu dilesenkan di bawah Apache 2.0 untuk penggunaan komersial tanpa sekatan. Jika dakwaan itu terbukti dalam ujian bebas, Baidu berpotensi menjadi pembekal utama model penaakulan visual gred perusahaan yang boleh dijalankan pada perkakasan yang mudah diakses.

ERNIE 4.5 VL 28B A3B Thinking mengaktifkan kira-kira 3 bilion parameter bagi setiap token, iaitu sebahagian kecil daripada jumlah keseluruhannya. Model ini menggunakan reka bentuk Mixture of Experts yang menghalakan setiap input kepada rangkaian pakar yang paling relevan. Pengaktifan terpilih ini mengurangkan keperluan pengiraan dan memori sambil mengekalkan kapasiti model yang jauh lebih besar. Baidu berkata model itu boleh menjalankan inferens pada satu GPU 80 GB dan masih memberikan hasil yang kukuh dalam pemahaman dokumen, tafsiran carta dan penaakulan visual yang kompleks.

Ciri utamanya ialah apa yang dipanggil Baidu sebagai Thinking with Images. Model ini boleh mengezum masuk dan keluar pada imej sambil membuat penaakulan, meneliti bahagian kecil untuk mencari petunjuk, dan menggabungkan dapatan setempat dengan gambaran keseluruhan. Tingkah laku itu menyerupai cara manusia menyelesaikan masalah visual dan meningkatkan prestasi dalam tugas seperti membaca rajah teknikal yang padat, mengesan kecacatan pada barisan pengeluaran atau mengenal pasti rujukan seperti penyambung biru di bawah bolt kedua.

Baidu turut mengetengahkan keupayaan grounding visual yang lebih baik, pematuhan arahan yang lebih tepat untuk tugas imej, penggunaan alatan termasuk carian imej, serta pemahaman video yang mantap dengan kesedaran temporal. Model ini disertakan kit integrasi yang serasi dengan Transformers, vLLM dan FastDeploy, serta kit latihan dan penalaan halus bernama ERNIEKit. Dalam bidang yang sesak, ketika kebanyakan sistem bahasa-penglihatan teratas masih tertutup, pelancaran ini memberikan pilihan terbuka baharu kepada pembangun dan syarikat dengan lesen yang mesra perniagaan.

Keupayaan yang didakwa dimiliki model ini

Baidu membahagikan keupayaan model ini kepada enam bidang: penaakulan visual, penyelesaian masalah STEM, grounding visual, integrasi alatan, pemahaman video dan analisis imej dinamik. Dalam praktiknya, sistem ini boleh membaca dan merumuskan invois atau penyata kewangan, menganalisis carta dan jadual, membuat penaakulan tentang rajah litar dan masalah geometri, menunjukkan objek atau kawasan tertentu dalam imej apabila diminta, menggunakan alatan luaran untuk mendapatkan gambar rujukan, serta menjejak peristiwa merentas segmen video.

Dalam papan pendahulu yang dipaparkan dalam dokumentasi Baidu, model ini dikatakan setanding atau mengatasi versi OpenAI GPT-5 High dan Google Gemini 2.5 Pro dalam beberapa ujian yang memfokuskan penglihatan. Ujian itu merangkumi soal jawab tentang carta, pemahaman dokumen dan penanda aras penaakulan visual berbilang langkah. Syarikat itu turut mengetengahkan kelebihan kelajuan, dengan mendakwa inferensnya dua hingga tiga kali lebih pantas berbanding model setara yang mempunyai ketepatan serupa.

Makmal bebas belum mengesahkan carta ini. Set penanda aras sering memberi ganjaran kepada keupayaan mengingat corak, pemformatan prompt atau helah khusus, bukannya kebolehpercayaan dalam penggunaan sebenar yang tidak menentu. Syarikat yang menilai ERNIE 4.5 VL 28B A3B Thinking perlu menjalankan projek rintis khusus menggunakan dokumen, keadaan pencahayaan, sudut kamera dan dasar keselamatan mereka sendiri sebelum membuat komitmen untuk penggunaan produksi.

Walaupun perlu berhati-hati, skop tugas yang diliputi model ini luas. Gabungan penaakulan, grounding dan penggunaan alatan menjadikannya calon untuk aliran kerja bergaya ejen, seperti membaca tuntutan yang diterima dalam sistem pengurusan insurans, menandai anomali dalam operasi gudang atau membantu juruteknik menyelesaikan masalah peralatan menggunakan foto beranotasi dan video pendek.

Cara model 28B beroperasi pada satu GPU 80 GB

Kuncinya ialah Mixture of Experts, iaitu reka bentuk yang menempatkan banyak subnet khusus di sebalik sebuah penghala. Bagi setiap token atau tampalan imej, penghala memilih sekumpulan kecil pakar untuk diaktifkan. Hanya pakar tersebut melakukan pengiraan, jadi sistem berfungsi seperti model kecil pada setiap langkah, sementara keseluruhan kumpulan pakar menyediakan kapasiti lebih besar apabila dilihat merentas banyak langkah dan tugas. Struktur ini meningkatkan daya pemprosesan kerana kebanyakan parameter tidak aktif dalam sesuatu operasi.

Pengaktifan terpilih mengurangkan keperluan memori dan kos pengiraan. Model padat dengan 28 bilion parameter memerlukan perkakasan yang jauh lebih berkuasa untuk beroperasi pada kelajuan yang berguna. Dengan mengaktifkan sekitar 3 bilion parameter bagi setiap token, Baidu boleh mendakwa model bahasa-penglihatan itu mampu membuat inferens pada satu GPU, sekali gus membuka peluang ujian kepada banyak makmal. Namun, reka bentuk ini lebih rumit. Jurutera memerlukan penghala yang pantas dan seimbang, pengimbangan beban yang teliti serta teknik latihan yang stabil supaya sebilangan kecil pakar tidak menanggung semua kerja.

Berfikir dengan imej dan grounding yang tepat

Model bahasa-penglihatan tradisional menerima imej pada resolusi tetap dan menghasilkan jawapan dalam bentuk teks. Thinking with Images menambah gelung perancangan. Model memecahkan soalan kepada beberapa langkah, mencadangkan bahagian yang perlu diteliti seterusnya, memotong kawasan pada resolusi tinggi, membaca teks atau mengukur geometri dalam kawasan itu, kemudian mengemas kini rancangannya. Gelung ini berulang sehingga bukti yang mencukupi dikumpulkan untuk menjawab soalan. Keupayaan ini juga berfungsi secara terbalik apabila tugas memerlukan model menunjukkan lokasi, dengan memadankan perkataan kepada kedudukan piksel dan melukis kotak atau topeng.

Grounding yang lebih baik penting apabila imej berserabut atau bersifat teknikal. Dalam pembuatan, dua bahagian mungkin kelihatan hampir serupa sehingga dizum. Dalam lukisan kejuruteraan, perubahan pada beberapa piksel dalam notasi boleh mengubah maksud simbol. Dalam pengimejan perubatan, artifak kecil boleh mempengaruhi diagnosis. Sistem yang boleh beralih antara konteks keseluruhan adegan dengan butiran halus, sambil menerangkan langkah yang diambil, memberi operator rekod audit yang lebih jelas dan cara untuk membetulkan kesilapan.

Penanda aras berbanding beban kerja sebenar

Carta vendor sering menggabungkan skor daripada banyak penilaian. Sesetengah penanda aras menggunakan imej bersih dengan pemotongan yang sempurna. Ada pula menggunakan soalan yang sudah diliputi set latihan. Penggunaan sebenar melibatkan silau, kabur akibat pergerakan, fon luar biasa, objek yang terlindung dan label berbilang bahasa. Prestasi boleh merosot apabila input berada di luar taburan latihan. Oleh itu, dakwaan utama bahawa model ini mengatasi GPT-5 atau Gemini dalam ujian terpilih wajar dianggap sebagai titik permulaan, bukan kesimpulan.

Pendekatan yang lebih boleh dipercayai ialah penilaian khusus mengikut tugas. Untuk dokumen, pasukan boleh mengumpulkan beberapa ratus fail yang mewakili penggunaan sebenar, kemudian mengukur ketepatan pengekstrakan medan dengan kunci jawapan yang diaudit manusia. Untuk tugas visual, mereka boleh mensimulasikan keadaan produksi, kemudian menjejak ketepatan dan dapatan semula bagi kotak atau topeng. Untuk carta, mereka boleh menghasilkan plot sintetik yang merangkumi kes pinggiran seperti skala log atau siri bertindan. Kaedah ini memberikan gambaran lebih jelas tentang tingkah laku dan mod kegagalan model.

Resipi latihan dan set alat pembangun

Model ERNIE 4.5 menggunakan laluan latihan yang menggabungkan pembelajaran terselia klasik dengan pembelajaran pengukuhan untuk tugas multimodal. Dokumentasi menyebut strategi bernama GSPO dan IcePop untuk menstabilkan penghala serta menambah baik pembentukan ganjaran ketika melatih MoE, digandingkan dengan pensampelan kesukaran dinamik supaya model menerima contoh yang lebih sukar apabila prestasinya meningkat. Hasilnya ialah sistem yang boleh merancang penaakulan berbilang langkah tentang gambar, carta dan video, bukannya meneka dalam satu laluan sahaja.

Keluarga model ini merangkumi varian teks sahaja dan bahasa-penglihatan, daripada model padat yang sangat kecil hingga sistem MoE besar dengan jumlah parameter mencecah ratusan bilion. Baidu berkata seni bina ini membolehkan perkongsian parameter merentas modaliti, supaya komponen teks dan penglihatan dapat saling memanfaatkan tanpa menjejaskan kualiti bahasa. Latihan dan inferens dijalankan pada platform syarikat, PaddlePaddle, yang menurut pasukan itu mencapai penggunaan perkakasan yang tinggi pada skala besar.

Baidu menyediakan beberapa alatan untuk pembangun. ERNIEKit menyokong penalaan halus, pengoptimuman keutamaan dan kuantisasi bagi penggunaan yang menjimatkan sumber. Model bahasa-penglihatan boleh digunakan melalui timbunan lazim seperti Transformers dan vLLM, manakala inferens produksi boleh dikendalikan dengan FastDeploy. Lesen Apache 2.0 menghapuskan banyak sekatan terhadap penggunaan komersial. Halaman model rasmi tersedia di Hugging Face dan kod serta resipinya boleh didapati dalam repositori GitHub Baidu.

Implikasi untuk perusahaan

Lesen terbuka dan keupayaan inferens pada satu GPU menjadikan model ini menarik bagi pasukan yang mahukan AI visual persendirian di premis sendiri tanpa menghantar data kepada penyedia awan. Sektor yang banyak mengendalikan dokumen boleh mencuba pengambilan data pintar untuk kontrak, invois dan tuntutan. Pengilang boleh membina stesen pemeriksaan kualiti yang menggabungkan panduan penglihatan dan bahasa untuk pekerja barisan pengeluaran. Pasukan peruncitan dan logistik boleh menggunakan grounding untuk mencari barangan serta mengesahkan label di gudang. Kumpulan khidmat pelanggan boleh memperkaya jawapan sembang dengan membaca carta atau tangkap layar yang disertakan.

Kos juga penting. Banyak organisasi tidak mampu memperuntukkan kelompok GPU kelas H100 untuk satu aplikasi sahaja. Sistem yang beroperasi pada satu kad 80 GB mengurangkan halangan untuk projek rintis dan penggunaan awal. Gabungan grounding, penggunaan alatan dan pemahaman video juga sesuai untuk aliran kerja bergaya ejen, apabila model membaca, mencari, mengklik dan membuat penaakulan merentas beberapa langkah untuk menyelesaikan tugas. Ini seiring dengan peralihan kepada ejen yang menggunakan komputer dan mengendalikan antara muka standard, bukannya API tersuai.

Persaingan lebih luas: model terbuka berbanding perkhidmatan tertutup

Pelancaran ini berlangsung dalam tahun yang sibuk bagi model terbuka. DeepSeek memperkenalkan model bahasa MoE yang sangat besar dengan jumlah parameter mencecah ratusan bilion, tetapi hanya beberapa puluh bilion diaktifkan bagi setiap token. Syarikat itu melaporkan skor kukuh dalam penanda aras umum pada sebahagian kecil kos latihan sistem tertutup. Alibaba Marco o1 pula memfokuskan penaakulan dengan teknik seperti penalaan halus rantaian pemikiran dan perancangan berpandukan carian untuk mengendalikan tugas terbuka yang tiada ganjaran berangka yang jelas.

Makmal China, termasuk Baidu, Alibaba dan yang lain, semakin banyak melancarkan model berkeupayaan tinggi di bawah lesen permisif. Akses terbuka memberi pembangun serantau peluang membina produk dengan kebergantungan yang lebih rendah pada perkhidmatan proprietari. Ia juga memberi tekanan kepada penyedia global supaya mewajarkan harga premium dengan menawarkan kelebihan yang jelas dalam kebolehpercayaan, alatan atau integrasi. Jurang prestasi antara model terbuka dengan tertutup semakin kecil dalam banyak bidang, khususnya tugas khusus seperti analisis carta dan pengekstrakan dokumen.

Had dan persoalan yang belum terjawab

Terdapat beberapa pertimbangan. Model bahasa-penglihatan ini masih memerlukan GPU 80 GB untuk hasil terbaik, sekali gus mengehadkan penggunaannya pada banyak peranti pengguna. Tetingkap konteksnya disenaraikan pada 128K token, berguna untuk PDF panjang tetapi masih terbatas apabila banyak imej, teks OCR dan arahan digabungkan. Penghalaan MoE boleh merumitkan penggunaan pada skala besar kerana jurutera perlu memantau keseimbangan pakar dan mengelakkan lonjakan kependaman akibat tumpuan penghalaan pada titik tertentu.

Keselamatan kekal sebagai isu utama. Sistem imej boleh diperdaya oleh corak adversarial atau korelasi palsu. Model yang aktif memotong dan mengezum imej perlu mengelakkan bias pengesahan, iaitu keadaan apabila rancangan terus meneliti bahagian yang salah. Perusahaan akan menjangkakan log audit yang jelas bagi setiap langkah dalam rantaian pemikiran apabila model berada dalam mod pemikiran, atau sekurang-kurangnya jejak berstruktur bagi panggilan alatan dan kotak sempadan. Baidu berkata model ini telah menjalani pembelajaran pengukuhan multimodal dan penjajaran grounding, namun penilaian pihak ketiga yang meluas diperlukan untuk membina kepercayaan.

Perkara utama

• Baidu melancarkan ERNIE 4.5 VL 28B A3B Thinking, model multimodal sumber terbuka di bawah Apache 2.0 untuk kegunaan komersial.
• Model ini mendakwa mengatasi GPT-5 High dan Gemini 2.5 Pro dalam penanda aras yang banyak menumpukan penglihatan, sementara menunggu pengesahan bebas.
• Model ini menggunakan reka bentuk Mixture of Experts, dengan mengaktifkan kira-kira 3 bilion daripada 28 bilion parameter bagi setiap token untuk mengurangkan pengiraan dan penggunaan memori.
• Inferens boleh dijalankan pada satu GPU 80 GB, sekali gus mengurangkan halangan untuk projek rintis dan ujian di premis sendiri.
• Ciri utama termasuk Thinking with Images untuk aliran kerja mengezum dan meneliti imej, grounding visual yang lebih baik serta pemahaman video.
• Enam keupayaan terasnya menyasarkan penaakulan visual, tugas STEM, grounding, penggunaan alatan, analisis video dan perancangan imej dinamik.
• Latihan merangkumi pembelajaran pengukuhan multimodal dengan GSPO dan IcePop serta pensampelan kesukaran dinamik untuk menstabilkan MoE.
• Alatan pembangun termasuk ERNIEKit, keserasian dengan Transformers, vLLM dan FastDeploy, serta halaman model dan repositori kod awam.
• Kegunaannya merangkumi pemprosesan dokumen, kawalan kualiti pembuatan, operasi gudang dan sokongan pelanggan.
• Hadnya termasuk keperluan GPU 80 GB, tetingkap konteks 128K, kerumitan penghalaan MoE serta persoalan yang belum terjawab tentang keteguhan dan keselamatan.