DeepSeek OCR memampatkan teks menjadi imej untuk mengurangkan kos AI dan meluaskan konteks

Cara baharu memadatkan dokumen panjang ke dalam konteks AI

DeepSeek telah melancarkan DeepSeek-OCR, sistem bahasa penglihatan yang memampatkan petikan teks panjang dengan menukarkannya kepada imej, kemudian mendapatkan semula kandungannya apabila model memerlukannya. Pendekatan ini mengurangkan bilangan token yang perlu diproses oleh model bahasa besar sebanyak tujuh hingga 20 kali, bergantung pada tetapan dan jenis dokumen, sambil mengekalkan ketepatan tinggi pada tahap pemampatan sederhana. DeepSeek berkata sistem itu mencapai ketepatan penyahkodan kira-kira 97 peratus pada kadar pemampatan sekitar 10 kali ganda, dan masih menghasilkan keputusan berguna pada nisbah lebih tinggi. Projek ini disertakan dengan kod dan pemberat model, tersedia untuk pembangun, serta menyasarkan antara cabaran paling mahal dalam AI moden: mengendalikan konteks panjang pada kos yang berpatutan.

Sistem ini berfungsi dalam dua peringkat. Pengekod penglihatan yang dipanggil DeepEncoder menukar halaman teks, jadual, carta dan susun atur lain menjadi set token penglihatan yang padat. Model bahasa ringan, DeepSeek3B MoE A570M, kemudian menyahkod token tersebut kembali menjadi teks berstruktur. Persediaan ini mengekalkan susun atur dan pemformatan apabila diperlukan, menyokong banyak bahasa, serta boleh menghasilkan teks biasa atau hasil berstruktur seperti jadual Markdown.

Kepentingannya berkait dengan token, iaitu unit asas yang dibaca dan ditulis oleh model bahasa. Lebih banyak token bermakna penggunaan memori dan kependaman lebih tinggi, sekali gus meningkatkan kos. Model juga mempunyai had keras terhadap jumlah konteks yang boleh dilihat pada satu-satu masa. Dengan menyimpan konteks sebagai imej dan merujuknya semula melalui token penglihatan, DeepSeek-OCR menawarkan lapisan memori yang lebih murah untuk sesi panjang dan dokumen besar, dengan potensi meluaskan tetingkap konteks berkesan jauh melebihi kemampuan teks semata-mata.

Skala merupakan dakwaan utama sistem ini. Latihan menggunakan kira-kira 30 juta halaman PDF dalam hampir 100 bahasa, dengan data sintetik tambahan untuk carta, formula dan rajah. Dari segi operasi, pasukan itu melaporkan bahawa satu GPU Nvidia A100 boleh memproses lebih 200,000 halaman sehari. Gugusan 20 pelayan serupa boleh meningkatkan jumlah itu kepada kira-kira 33 juta halaman sehari. Angka ini menunjukkan potensi aliran kerja pantas untuk pendigitalan dokumen dan penjanaan data latihan secara besar-besaran.

Bagaimana penukaran teks kepada imej mengurangkan token

Model bahasa membaca input sebagai token, bukannya perkataan atau aksara. Sebuah artikel atau laporan biasa boleh bertukar menjadi ribuan token. Mekanisme perhatian dalam kebanyakan transformer membandingkan banyak pasangan token, dan beban kerja itu meningkat dengan cepat apabila jujukan semakin panjang. Konteks panjang menaikkan penggunaan memori dan masa pemprosesan, yang pada skala besar menjadi isu belanjawan.

Apakah token dan tetingkap konteks

Token ialah cebisan bahasa yang difahami model. Perkataan pendek mungkin terdiri daripada satu token, perkataan lebih panjang mungkin dipecahkan kepada beberapa token, dan tanda baca juga dikira. Jumlah maksimum token yang boleh dipertimbangkan model pada satu-satu masa ialah tetingkap konteks. Banyak fail sebenar melebihi had itu, jadi pengguna sama ada memotong dokumen atau menanggung kos tinggi untuk model konteks panjang khusus.

Mengapa piksel boleh menjadi pilihan storan yang lebih murah berbanding teks

Pengekod penglihatan menukar imej kepada grid petak kecil, kemudian memadatkan grid itu menjadi set token penglihatan. Pengekod DeepSeek menggunakan blok pemampatan untuk mengurangkan bilangan token sebelum menyerahkan ciri kepada penyahkod. Satu contoh dalam nota teknikal menerangkan imej berukuran 1,024 kali 1,024 piksel yang bermula dengan 4,096 token petak, kemudian dikurangkan kepada 256 token termampat sebelum melalui rangkaian bahasa penglihatan. Jika 256 token itu menangkap inti halaman padat yang sebaliknya memerlukan 1,500 token teks atau lebih, penjimatan dapat diperoleh serta-merta.

Pertukarannya mudah. Daripada menyimpan konteks panjang sebagai token teks, sistem menyimpan petikan sebagai token penglihatan padat, kemudian membina semula maknanya apabila diperlukan. Ini membantu mengawal penggunaan memori, mengekalkan susun atur dan rajah, serta mengelakkan beberapa kelemahan tokenizer teks. Kosnya ialah langkah pengekodan dan penyahkodan tambahan serta kehilangan ketepatan secara beransur-ansur pada nisbah pemampatan yang sangat tinggi.

Di sebalik model DeepEncoder dan penyahkod

DeepEncoder menggabungkan dua idea yang sudah dikenali, iaitu persepsi setempat dan pemahaman menyeluruh. Ia menggunakan rangka kerja Segment Anything Model untuk mengesan kawasan dan tepi secara terperinci, serta modul seakan CLIP untuk memahami susun atur semantik yang lebih luas. Di antaranya terdapat pemampat konvolusi yang mengurangkan bilangan token penglihatan sebelum menyerahkannya kepada rangkaian bahasa. Pengekod ini menyokong pelbagai mod resolusi, membolehkan pengguna menetapkan belanjawan token yang sepadan dengan kerumitan setiap halaman. Slaid ringkas boleh menggunakan sedikit token. Halaman berita yang padat atau rajah saintifik terperinci mungkin memerlukan lebih banyak token.

Penyahkodnya ialah model bahasa Mixture of Experts yang berasaskan reka bentuk tiga bilion parameter, dengan kira-kira 570 juta parameter aktif bagi setiap token. Penghalaan pakar membantu model memberi tumpuan kepada jenis kandungan yang berbeza tanpa mengaktifkan kesemua tiga bilion parameter untuk setiap token. Ini menjimatkan pengiraan sambil mengekalkan kualiti yang tinggi. Sistem ini boleh menghasilkan teks biasa, mengekalkan struktur dalam format Markdown, malah mengekstrak data daripada jadual dan carta ke dalam format yang boleh dibaca mesin. Ia menyokong OCR berbilang bahasa serta boleh mentafsir rajah, struktur kimia dan rajah geometri.

Pratetapan konfigurasi merangkumi Tiny, Small, Base dan Large, serta mod dinamik untuk halaman yang sangat kompleks. Pratetapan ini mengimbangi saiz imej dengan bilangan token. DeepSeek mengesyorkan agar pengguna bermula dengan Small untuk halaman biasa, kemudian beralih kepada mod lebih tinggi hanya apabila kandungannya padat atau susun aturnya mencabar.

Perkara yang ditunjukkan oleh penanda aras dan angka ketepatan

Pemampatan hanya berguna jika penyahkod dapat mendapatkan semula teks dengan ketepatan tinggi. Pada nisbah pemampatan di bawah 10 kali ganda, DeepSeek melaporkan ketepatan kira-kira 97 peratus dalam ujian penyahkodan. Angka itu turun kepada kira-kira 60 peratus pada pemampatan sekitar 20 kali ganda. Pasukan itu turut menunjukkan contoh 100 token penglihatan mewakili dokumen yang sebaliknya memerlukan 700 hingga 800 token teks, dengan ketepatan masih sekitar 97 peratus dalam penanda aras khusus. Angka ini selaras dengan dakwaan bahawa pemampatan sederhana memberikan gabungan terbaik antara penjimatan dan ketepatan.

Dalam OmniDocBench, ujian pemahaman dokumen yang lazim digunakan, model ini mengatasi sistem OCR terkenal sambil menggunakan lebih sedikit token. Keperluan token berbeza mengikut kategori dokumen. Slaid dan brosur ringkas mungkin memerlukan sekitar 64 token penglihatan bagi setiap halaman. Majalah atau akhbar dengan banyak lajur dan imej boleh memerlukan beberapa ratus token. Sistem ini boleh mengekalkan atau membuang pemformatan, bergantung pada tetapan pengguna.

Metrik operasi yang dilaporkan adalah tinggi. Pasukan itu menyatakan lebih 200,000 halaman diproses sehari menggunakan satu kad Nvidia A100, dan kira-kira 33 juta halaman sehari menggunakan gugusan 20 pelayan. Kod latihan dan inferens, bersama pemberat model, tersedia di bawah lesen permisif. Gabungan ini membuka ruang untuk eksperimen pantas dalam penyelidikan dan persekitaran produksi.

Perubahan yang mungkin dibawa kepada kos, memori dan reka bentuk produk AI

Banyak produk AI menemui had apabila perbualan atau rangkaian dokumen menjadi panjang. Menyimpan konteks terdahulu sebagai token penglihatan memberikan model lapisan memori yang lebih murah. Sistem boleh meringkaskan atau memampatkan perbualan lama menjadi imej, kemudian menyahkod butirannya hanya apabila diperlukan. Ini memastikan konteks teks aktif kekal ringkas sambil mengekalkan keupayaan mengingati fakta, petikan dan susun atur daripada peringkat terdahulu. Kaedah ini juga membantu model mengendalikan halaman dengan jadual kompleks atau formula matematik yang sukar diproses oleh tokenizer tradisional.

Bagi pengguna, ini membuka aliran kerja yang praktikal. Pembantu boleh memproses PDF penuh, kontrak dan hamparan elektronik, menyimpan memori padat, kemudian mendapatkan semula bahagian tepat berserta strukturnya apabila diminta. Menyalin baris daripada jadual atau mengekstrak kapsyen rajah menjadi mudah kerana penyahkod membina semula struktur, bukan sekadar aksara mentah. Ini juga membayangkan sistem carian perusahaan yang cekap, dengan mengindeks petikan halaman termampat dan menyahkod petikan teks apabila diperlukan.

Bagi pembangun dan penyelidik, kadar pemprosesan penting. Sistem ini boleh menjana korpus latihan besar untuk model bahasa dan penglihatan, dengan menghasilkan ratusan ribu halaman bagi setiap GPU sehari. Kelajuan itu membantu menghasilkan data terselia pada kos lebih rendah. Industri yang bergantung pada carta dan borang, seperti kewangan, penjagaan kesihatan dan sains, mungkin memperoleh aliran kerja pendigitalan yang lebih pantas dengan struktur yang lebih terpelihara. Namun, penjagaan tetap diperlukan apabila hasil termampat digunakan dalam latihan seterusnya, kerana kesilapan penyahkodan kecil boleh menghasilkan label bising pada skala besar.

Batasan, risiko dan persoalan terbuka

Pemampatan lebih tinggi mengurangkan belanjawan token tetapi menurunkan ketepatan. Pada pemampatan sekitar 20 kali ganda, ketepatan yang dilaporkan jatuh kepada kira-kira 60 peratus. Banyak tugasan boleh menerima kesilapan kecil. Namun, nama, angka dan klausa undang-undang memerlukan pemulihan yang hampir sempurna. Pengguna perlu menetapkan dasar yang menggunakan mod pemampatan lebih rendah untuk halaman kritikal dan mengehadkan pemampatan agresif kepada konteks yang tidak memerlukan penghasilan semula secara tepat.

Persoalan tentang penaakulan juga timbul. Model dapat membuat penaakulan dengan baik menggunakan token teks kerana dilatih sedemikian. Token penglihatan mempunyai bias induktif yang berbeza. Penyahkod perlu membina semula teks terlebih dahulu sebelum membuat penaakulan. Langkah tambahan itu mungkin menjejaskan tugasan yang bergantung pada rangkaian pemikiran yang panjang. Pasukan perlu menguji penaakulan berbilang langkah apabila konteks penting tersimpan di sebalik lapisan imej, serta mempertimbangkan pilihan sandaran bagi tugasan yang memerlukan ketepatan tinggi.

Kependaman dan perancangan infrastruktur masih perlu dipertimbangkan. Langkah pengekodan dan penyahkodan tambahan menambah beban kerja. Penjimatan mula terserlah apabila dokumen atau perbualan menjadi panjang. Pelaksanaan perlu menanda aras masa sebenar, memori dan kos bagi beberapa jenis dokumen untuk menetapkan ambang bila hendak memampatkan dan bila hendak menggunakan teks mentah. Format storan juga berubah. Imej atau tensor seakan imej menggantikan fail teks mentah, yang mungkin menjejaskan sistem dapatan semula dan aliran kerja pematuhan.

Privasi dan keselamatan memerlukan perhatian. Memampatkan fail sensitif menjadi imej atau token penglihatan tidak menghapuskan risiko. Kawalan akses, penyulitan dan jejak audit mesti turut melindungi storan termampat. Sesetengah dokumen, seperti imbasan beresolusi rendah atau tulisan tangan yang sukar dibaca, masih mencabar model. Pemilihan mod dinamik dan semakan manusia kekal wajar untuk aliran kerja kritikal.

Cara mencuba DeepSeek OCR hari ini

Halaman projek di Hugging Face menyediakan kad model, nota mula pantas dan muat turun. Kod dan pemberat model turut tersedia di GitHub di bawah lesen permisif yang meliputi penggunaan akademik dan komersial. Pembangun boleh bermula di sini: halaman model Hugging Face dan di sini: repositori GitHub.

Persediaan rujukan menyenaraikan Python 3.12.9 dan CUDA 11.8, dengan kebergantungan termasuk PyTorch, Transformers, Tokenizers, Einops, Addict, Easydict dan Flash Attention. GPU Nvidia disyorkan untuk kelajuan. Mod pratetap membolehkan pengguna mengimbangi perincian dengan kos. Untuk dokumen perniagaan standard, mod Small ialah titik permulaan yang munasabah. Halaman saintifik atau undang-undang yang padat mungkin mendapat manfaat daripada resolusi lebih tinggi atau mod dinamik.

Aliran kerja biasa menukar PDF kepada imej halaman, memasukkan setiap halaman ke dalam DeepEncoder dengan resolusi yang dipilih, kemudian menyahkod token penglihatan yang terhasil menggunakan model bahasa. Hasilnya boleh berupa teks biasa untuk carian atau Markdown yang mengekalkan jadual dan tajuk bahagian. Repositori GitHub menyertakan skrip untuk pemprosesan kelompok dan petua kadar pemprosesan. Pasukan perlu memantau ketepatan apabila meningkatkan nisbah pemampatan dan mengekalkan tetapan konservatif bagi halaman kritikal.

Perkara utama

• DeepSeek-OCR memampatkan teks panjang dengan menyimpannya sebagai imej, kemudian mendapatkan semula kandungannya apabila diperlukan menggunakan penyahkod.
• Penggunaan token berkurangan kira-kira tujuh hingga 20 kali, bergantung pada tetapan dan kerumitan dokumen.
• Ketepatan penyahkodan yang dilaporkan ialah kira-kira 97 peratus pada pemampatan hampir 10 kali ganda, dan kira-kira 60 peratus pada sekitar 20 kali ganda.
• Seni binanya menggabungkan DeepEncoder dengan penyahkod Mixture of Experts yang mengaktifkan kira-kira 570 juta parameter bagi setiap token.
• Modnya merangkumi Tiny hingga Large, serta pilihan dinamik untuk halaman yang sangat kompleks, membolehkan pengguna menetapkan belanjawan token tertentu.
• Penanda aras menunjukkan prestasi kukuh dalam OmniDocBench sambil menggunakan lebih sedikit token berbanding sistem OCR popular.
• Dakwaan kadar pemprosesan termasuk lebih 200,000 halaman sehari menggunakan satu GPU Nvidia A100 dan kira-kira 33 juta halaman sehari menggunakan gugusan 20 pelayan.
• Hasil berstruktur merangkumi jadual Markdown dan data carta, dengan sokongan untuk rajah, formula dan banyak bahasa.
• Kod sumber terbuka dan pemberat model tersedia di Hugging Face dan GitHub di bawah lesen permisif.
• Kegunaan terbaik termasuk memori konteks panjang yang lebih murah, pendigitalan dokumen secara besar-besaran dan penjanaan data latihan, dengan tetapan teliti bagi tugasan yang memerlukan ketepatan tinggi.