Huawei Memperkenalkan SINQ: Pengkuantitian Sumber Terbuka untuk LLM yang Cekap

Mengapa SINQ penting untuk penggunaan LLM harian

Model bahasa besar memerlukan banyak memori. Itulah salah satu sebab model canggih sering memerlukan GPU pusat data premium dan nod awan yang mahal. Makmal Sistem Pengkomputeran Huawei di Zurich memperkenalkan SINQ, kaedah pengkuantitian baharu yang bertujuan mengubah keadaan itu. Pendekatan yang dikenali sebagai Sinkhorn Normalized Quantization ini menyasarkan penggunaan memori yang lebih rendah dengan kehilangan kualiti output yang minimum, dan dikeluarkan sebagai sumber terbuka di bawah lesen Apache 2.0. Pasukan itu menyifatkan SINQ sebagai pantas, tidak memerlukan penentukuran dan mudah disepadukan dalam aliran kerja model sedia ada.

Pengkuantitian mengurangkan bilangan bit yang digunakan untuk mewakili pemberat model. Peralihan daripada apungan 16 bit atau 8 bit kepada integer 4 bit boleh mengurangkan penggunaan memori lebih daripada separuh. Penjimatan itu sukar dicapai tanpa menjejaskan ketepatan, khususnya di bawah 8 bit. Teras kelebihan SINQ ialah keupayaannya mengekalkan kualiti yang tinggi pada ketepatan rendah, termasuk 4 bit dan dalam sesetengah kes 3 bit, selain lebih pantas digunakan berbanding banyak kaedah yang diketahui.

Merentas model dan seni bina yang diuji oleh penulis, SINQ mengurangkan penggunaan memori kira-kira 60 hingga 70 peratus. Pengurangan sebesar itu membolehkan banyak model dijalankan pada satu GPU pengguna, contohnya Nvidia GeForce RTX 4090 dengan memori 24 GB, tanpa memerlukan GPU perusahaan seperti A100 atau H100. Untuk beban kerja awan, instans yang lebih murah boleh mengendalikan tugas inferens berpanjangan, sekali gus menjimatkan ribuan dolar dari semasa ke semasa. Bagi makmal, syarikat pemula dan peminat yang menggunakan perkakasan sendiri, halangan untuk menjalankan model berkemampuan pada stesen kerja menjadi lebih rendah.

Perbezaan SINQ berbanding kaedah pengkuantitian terdahulu

Kebanyakan pengkuantitian LLM yang digunakan secara meluas hanya melibatkan pemberat. Pemberat ialah parameter terlatih dalam setiap lapisan dan merupakan sebahagian besar saiz model. Pengkuantitian pengaktifan juga boleh dilakukan, tetapi sering menambah kerumitan dan boleh menjejaskan masa jalan. Banyak pendekatan yang digunakan secara meluas mengorbankan masa pengiraan semasa fasa persediaan yang dipanggil penentukuran untuk mencari faktor skala yang meminimumkan ralat akibat pengkuantitian. Penentukuran itu menggunakan sampel data dan laluan tambahan melalui model. Ia boleh membantu meningkatkan kualiti, tetapi mengambil masa, memerlukan pemilihan prompt yang teliti dan merumitkan saluran kerja.

SINQ mengambil pendekatan berbeza. Ia memperkenalkan dua idea yang saling berkait untuk memastikan taburan pemberat kekal terkawal sebelum dibundarkan kepada ketepatan rendah. Pertama, penskalaan dwi paksi menggunakan vektor penskalaan berasingan merentas baris dan lajur matriks pemberat. Ini memberikan kawalan yang lebih terperinci berbanding satu skala bagi setiap tensor atau saluran. Ralat diagihkan dengan cara yang mengurangkan kesan nilai terpencil dan ketidakseimbangan setempat.

Kedua, SINQ menggunakan prosedur yang diinspirasikan oleh normalisasi Sinkhorn Knopp. Algoritma ini berselang-seli antara normalisasi ringkas untuk mengimbangkan statistik baris dan lajur. Dalam SINQ, kaedah ini menormalkan sisihan piawai baris dan lajur supaya tiada bahagian matriks pemberat yang mendominasi. Langkah pengimbangan ini meningkatkan tindak balas pemberat terhadap pengkuantitian dan mengurangkan jumlah ralat tanpa memerlukan data penentukuran yang mahal bagi setiap lapisan.

Penjimatan memori, kelajuan dan kualiti dalam ujian

Penulis melaporkan penjimatan memori yang konsisten, dalam julat 60 hingga 70 peratus berbanding pemberat ketepatan penuh, dengan ketepatan yang hampir menyamai model asal merentas pelbagai seni bina. Dalam praktiknya, model yang sebelum ini memerlukan lebih daripada 60 GB memori boleh menggunakan kira-kira 20 GB sahaja. Pada GPU biasa, perubahan itu boleh menentukan sama ada model muat dalam memori atau perlu menggunakan RAM hos yang perlahan.

Kelajuan pengkuantitian penting dalam penyelidikan dan pengeluaran. Dalam ujian yang dilaporkan, SINQ mengkuantitikan model kira-kira dua kali lebih pantas daripada HQQ dan lebih 30 kali lebih pantas daripada AWQ. Bagi pasukan yang melakukan iterasi pada model, perbezaan masa itu boleh memendekkan prapemprosesan berjam-jam menjadi langkah lebih pantas yang boleh diselesaikan dalam kitaran pembangunan.

Kualiti dinilai menggunakan metrik seperti perplexity dan kadar flip. Perplexity mengukur sejauh mana model bahasa meramalkan teks. Kadar flip mengira kekerapan token teratas berubah selepas pengkuantitian. Merentas penanda aras, SINQ mengurangkan perplexity berbanding kaedah asas lain yang tidak memerlukan penentukuran serta menurunkan kadar flip, yang menunjukkan output lebih stabil. Kaedah ini turut berfungsi dengan skim pengkuantitian tidak seragam dan boleh digabungkan dengan penentukuran jika sesuatu projek mahu meningkatkan ketepatan dengan lebih lanjut.

Kesan terhadap perkakasan dan kos awan

Kos inferens meningkat seiring dengan penggunaan memori. Model yang muat pada satu GPU tidak memerlukan persediaan selari model yang mahal atau beban komunikasi rangkaian. Pengurangan SINQ membolehkan banyak model sederhana hingga besar dijalankan pada satu kad pengguna dengan memori tinggi. Bagi pengendali yang sebelum ini bergantung pada nod A100 atau H100, keupayaan menjalankan model pada GPU yang lebih mampu milik boleh mengurangkan bil bulanan dan membebaskan perkakasan utama untuk latihan.

Pengguna awan boleh memilih instans GPU yang lebih kecil atau menjalankan lebih banyak model serentak pada setiap nod. Untuk tugas berpanjangan seperti pembantu sembang atau perkhidmatan penjanaan diperkukuh dapatan, penggunaan GPU yang lebih murah boleh menjimatkan ribuan dolar dalam tempoh beberapa minggu atau bulan. Kluster setempat yang lebih kecil juga menjadi pilihan praktikal bagi pasukan yang mahu menyimpan data di premis sendiri.

Terdapat juga manfaat sampingan dari segi kependaman dan tenaga. Bilangan peranti yang lebih sedikit, kurang panggilan antara nod dan kurang trafik memori antara hos dengan peranti boleh mengurangkan masa tindak balas serta penggunaan kuasa. Kesannya, tindanan perkhidmatan menjadi lebih cekap dan mempunyai lebih sedikit komponen.

Perkara yang boleh digunakan pembangun hari ini

SINQ tersedia sebagai sumber terbuka di bawah lesen Apache 2.0. Keluaran ini merangkumi kod pelaksanaan, arahan untuk mengkuantitikan model daripada hab popular serta utiliti untuk menyimpan dan memuatkan semula pemberat yang telah dikuantitikan. Pakej ini menyediakan alat penilaian supaya pasukan boleh mengukur perplexity dan kadar flip sebelum pelaksanaan. Ia turut menyediakan parameter yang boleh dilaraskan oleh pengamal untuk perkakasan dan sasaran ketepatan yang berbeza.

Penulis berkata mereka merancang untuk mengeluarkan model yang telah dikuantitikan terlebih dahulu dan menyasarkan integrasi dengan ekosistem Hugging Face Transformers. Ini akan memudahkan penggunaan dengan membolehkan pembangun memuatkan checkpoint yang telah dikuantitikan menggunakan API yang biasa. Pasukan yang mengurus tindanan inferens sendiri boleh bermula dengan mengkuantitikan pemberat, kemudian menghubungkan hasilnya kepada kernel yang menyokong format storan 4 bit atau 3 bit pada masa jalan pilihan mereka.

Penjelasan sorotan teknikal

SINQ direka sebagai langkah pasang dan guna dalam saluran persediaan model. Matlamatnya ialah membentuk matriks pemberat supaya perwakilan ketepatan rendah mengekalkan struktur penting untuk inferens, kemudian memetakan pemberat yang telah dibentuk itu kepada format integer padat.

Penskalaan dwi paksi

Penskalaan tradisional mengikut tensor atau saluran menggunakan satu faktor dalam satu arah. Penskalaan dwi paksi menggunakan satu vektor merentas baris dan satu lagi merentas lajur bagi setiap matriks pemberat. Pemisahan ini membantu apabila sesetengah baris mengandungi nilai terpencil atau lajur tertentu mempunyai varians lebih tinggi. Dengan menormalkan kedua-dua arah, kaedah ini mengagihkan ralat pengkuantitian dengan lebih sekata merentas matriks. Hasilnya, lonjakan ralat yang ketara berkurang dan magnitud relatif pemberat dapat dikekalkan dengan lebih baik.

Normalisasi Sinkhorn Knopp

Sinkhorn Knopp ialah prosedur lelaran klasik yang berselang-seli antara normalisasi ringkas untuk mencapai keadaan seimbang. Dalam SINQ, matlamatnya bukan menghasilkan matriks dwistokastik, tetapi mengimbangkan sisihan piawai merentas baris dan lajur. Algoritma ini berulang kali menskalakan semula baris dan lajur untuk menyelaraskan sisihan piawainya dengan nilai sasaran. Setelah matriks seimbang dalam erti kata ini, pengkuantitian dilakukan pada taburan pemberat yang mempunyai lebih sedikit nilai ekstrem, sekali gus mengurangkan ralat pembundaran. Prosedur ini pantas, menambah sedikit beban berbanding proses penentukuran yang lebih panjang dan tidak memerlukan set data penentukuran.

Reka bentuk tanpa penentukuran

Fasa penentukuran memerlukan pemilihan set prompt, menjalankan model untuk mengumpulkan statistik dan kemudian mengira skala. Ini menambah kerumitan dan boleh memesongkan hasil jika set penentukuran tidak sepadan dengan penggunaan sebenar. SINQ melangkaui langkah itu dengan menggunakan statistik pemberat secara langsung. Bagi banyak pasukan, penghapusan penentukuran memudahkan automasi dan kebolehulangan. Jika sesuatu projek masih memerlukan penentukuran, pembentukan SINQ boleh digabungkan dengan carian penentukuran untuk meningkatkan ketepatan.

Batasan dan pertimbangan praktikal

Kebanyakan peningkatan yang dilaporkan datang daripada pengkuantitian pemberat sahaja. Pengaktifan dan cache nilai kunci masih menggunakan memori semasa penjanaan, khususnya bagi prompt dan output yang panjang. Sesetengah masa jalan menawarkan pengkuantitian pengaktifan dan pemampatan cache KV, tetapi langkah ini turut membawa kompromi tersendiri. Pasukan perlu mengukur penggunaan memori dan kependaman dari hujung ke hujung, bukan sekadar saiz model pada cakera.

Sokongan masa jalan juga penting. Untuk memperoleh peningkatan kelajuan semasa inferens, kernel perlu membaca pemberat 4 bit atau 3 bit yang dipadatkan dengan cekap. Enjin popular seperti llama.cpp, TensorRT LLM, vLLM dan lain-lain berkembang pesat, namun tidak semua gabungan ketepatan, kernel perhatian dan seni bina GPU sama matangnya. Sebelum memindahkan perkhidmatan ke pengeluaran, uji daya pemprosesan, kependaman dan kestabilan menggunakan konfigurasi tepat, termasuk saiz kelompok dan panjang konteks.

Ketepatan yang sangat rendah boleh menjejaskan sesetengah tugasan. Penjanaan kod, penggunaan alat dan output berstruktur mungkin lebih sensitif berbanding sembang santai. Metrik seperti perplexity berguna, tetapi ujian pengeluaran perlu merangkumi ketepatan tugasan, gaya respons dan semakan keselamatan. Jika sesuatu kes penggunaan benar-benar mencabar had, ketepatan campuran atau penggunaan ketepatan lebih tinggi secara terpilih pada lapisan sensitif boleh mengekalkan kualiti sambil mengekalkan sebahagian besar penjimatan memori.

Mengapa ia penting melangkaui satu syarikat

Pengkuantitian kini menjadi asas kepada penggunaan LLM secara praktikal. Kaedah sumber terbuka yang pantas, tidak memerlukan penentukuran dan berkesan pada ketepatan rendah membantu seluruh ekosistem. Penggunaan memori yang lebih kecil meluaskan akses kepada model berkemampuan untuk pendidikan, projek kemasyarakatan dan perniagaan kecil. Pendekatan ini juga mengurangkan tekanan terhadap GPU kelas atasan yang terhad, sekali gus membebaskan kapasiti untuk latihan dan penyelidikan.

Persaingan dalam peralatan inferens semakin rancak. Kaedah seperti SINQ boleh digabungkan dengan kernel perhatian cekap, cache KV berpaginasi dan penjadual yang dioptimumkan untuk menghasilkan lebih banyak token sesaat bagi setiap dolar. Hasilnya bukan sekadar kos perkhidmatan yang lebih rendah. Pasukan juga mendapat lebih banyak pilihan jika mengutamakan privasi, penggunaan setempat dan kawalan terhadap tindanan mereka.

Perkara utama

• SINQ daripada Huawei ialah kaedah pengkuantitian sumber terbuka untuk pemberat LLM yang dikeluarkan di bawah lesen Apache 2.0
• SINQ melaporkan pengurangan memori 60 hingga 70 peratus dengan kualiti yang tinggi pada 4 bit dan dalam sesetengah kes 3 bit
• Kaedah ini tidak memerlukan penentukuran dan bertujuan untuk mudah disepadukan dalam aliran kerja sedia ada
• SINQ menggunakan penskalaan dwi paksi dan normalisasi ala Sinkhorn Knopp untuk mengimbangkan matriks pemberat
• Dalam ujian yang dilaporkan, kelajuan pengkuantitian kira-kira 2 kali lebih pantas daripada HQQ dan lebih 30 kali lebih pantas daripada AWQ
• Metrik kualiti meningkat berbanding kaedah asas tanpa penentukuran, dengan perplexity dan kadar flip yang lebih rendah
• Model yang sebelum ini memerlukan lebih daripada 60 GB boleh dijalankan dengan kira-kira 20 GB, membolehkan penggunaan pada satu GPU perkakasan pengguna seperti RTX 4090
• Kemas kini yang dirancang termasuk integrasi dengan Hugging Face Transformers dan keluaran model yang telah dikuantitikan terlebih dahulu