Alibaba Cloud Kurangkan Penggunaan GPU Nvidia dengan Sistem Pengumpulan Aegaeon

Di sebalik Aegaeon, cara Alibaba Cloud mengurangkan keperluan GPU untuk AI

Alibaba Cloud berkata pihaknya telah mengurangkan dengan ketara bilangan pemproses grafik Nvidia yang diperlukan untuk menyediakan model bahasa besar pada skala besar, hasil sistem baharu yang dinamakan Aegaeon. Dalam beta pengeluaran di pasaran modelnya, syarikat itu melaporkan Aegaeon mengurangkan bilangan GPU Nvidia H20 yang diperlukan untuk mengendalikan puluhan model, termasuk model sehingga 72 bilion parameter, daripada 1,192 kepada 213. Ini bersamaan pengurangan 82 peratus dalam pemecut yang digunakan untuk tahap perkhidmatan yang sama. Hasil itu dibentangkan di Simposium Prinsip Sistem Operasi di Seoul, sebuah forum utama bagi penyelidikan sistem komputer. Bagi pembeli perkhidmatan awan, dakwaan itu bermakna potensi penjimatan kos dan tenaga, ketersediaan cip yang terhad dengan lebih baik, serta pengalaman lebih konsisten apabila menggunakan model berlainan melalui platform yang sama.

Pencapaian ini menyasarkan masalah yang semakin ketara dalam era pasaran model. Penyedia awan kini menyediakan ribuan model kepada pembangun serentak. Beberapa model, seperti keluarga Qwen Alibaba dan model terbuka DeepSeek, menerima sebahagian besar trafik. Banyak model lain tidak digunakan untuk tempoh yang lama, kemudian menerima lonjakan permintaan yang singkat. Sistem penyediaan tradisional memperuntukkan GPU penuh atau sebahagian besar GPU kepada setiap instans model. Apabila model tidak aktif, GPU yang dikhaskan untuknya kurang digunakan. Apabila permintaan tiba tanpa replika sedia yang mencukupi, platform menambah kapasiti dan menanggung kos masa pemuatan serta daya pemprosesan yang lebih rendah. Aegaeon cuba mengubah pengiraan ini dengan mengumpulkan sumber GPU untuk pelbagai model, kemudian menjadualkan kerja dalam sela masa yang lebih kecil supaya setiap pemecut sentiasa sibuk.

Alibaba Cloud menggambarkan Aegaeon sebagai cara untuk menyediakan beban kerja LLM serentak tanpa pembaziran. Sistem ini menggabungkan penjadualan berbilang model yang agresif dengan mekanisme untuk mengekalkan data dalam memori dan menukar kerja antara model dengan kelewatan minimum. Menurut pasukan penyelidik dari Universiti Peking dan Alibaba Cloud, hasilnya ialah daya pemprosesan lebih tinggi, masa menunggu lebih singkat dan lebih sedikit cip yang terbiar pada perkhidmatan yang kurang digunakan.

Apakah masalah yang ingin diselesaikan oleh Aegaeon?

Platform AI moden berdepan permintaan yang bertaburan pada hujung ekor. Sekumpulan kecil model popular menarik sebahagian besar trafik inferens. Model yang kurang popular tetap penting kepada pembangun, tetapi hanya menerima permintaan sekali-sekala. Alibaba Cloud mengukur bahawa 17.7 peratus GPU dalam pasarannya diperuntukkan untuk mengendalikan hanya 1.35 peratus permintaan. Apabila model dikunci pada pemecut khusus, penyedia awan akhirnya menanggung kos masa terbiar dan permulaan sejuk yang kerap, khususnya apabila corak trafik datang secara mendadak atau sukar dijangka.

Penyediaan inferens kelihatan mudah dari luar, tetapi proses dalamannya rumit. Model bahasa besar menyimpan pemberat dan keadaan masa jalan dalam memori GPU. Semasa penjanaan, sistem mengekalkan cache nilai kunci yang menyimpan pengaktifan perantaraan bagi token yang telah dihasilkan. Memuatkan pemberat model daripada cakera atau melalui rangkaian mengambil masa. Menyediakan cache nilai kunci juga memerlukan masa. Secara tradisinya, menukar GPU daripada satu model kepada model lain memerlukan proses nyahmuat dan muat semula yang mahal. Kos tambahan ini tidak menggalakkan perkongsian kerap, menyebabkan kebanyakan pemecut dikhususkan kepada paling banyak satu atau dua model. Aegaeon direka untuk mengurus peralihan ini dengan jauh lebih cekap supaya GPU dapat dikongsi mengikut masa oleh banyak model tanpa penalti besar.

Cara sistem ini berfungsi

Aegaeon ialah sistem penyediaan berbilang model yang menganggap GPU sebagai kumpulan sumber bersama dan menentukan tugas yang perlu dijalankan pada tahap yang sangat terperinci. Daripada meningkatkan skala pada peringkat permintaan atau replika model, sistem ini membuat keputusan bagi setiap token. Penjadual boleh menyelang-selikan penjanaan token untuk pengguna dan model berbeza pada GPU yang sama, sambil memastikan struktur data bernilai tinggi tersedia dalam memori. Matlamatnya adalah memaksimumkan kerja berguna setiap saat tanpa menjejaskan masa respons melebihi had yang ketat.

Penskalaan automatik pada peringkat token

Idea terasnya ialah meningkatkan kapasiti pada peringkat token. Ini bermakna Aegaeon boleh mula mengendalikan permintaan bagi satu model, kemudian menjadualkan token untuk model lain apabila terdapat kapasiti lebihan, semuanya dalam proses kelompok dan pelancaran kernel yang sama. Makalah itu melaporkan bahawa Aegaeon mengekalkan kadar ketibaan permintaan 2 hingga 2.5 kali lebih tinggi, atau menghasilkan antara 1.5 hingga 9 kali lebih banyak output berguna, berbanding kumpulan alternatif yang hanya memultiplekskan dua atau tiga model bagi setiap GPU. Dengan beroperasi pada resolusi token, sistem ini mengelakkan jeda panjang yang berkaitan dengan permulaan replika baharu dan dapat bertindak balas dengan pantas terhadap lonjakan pada mana-mana model.

Penggunaan semula memori dan penyelarasan cache KV

Aegaeon mengurangkan kos tambahan dengan menggunakan semula komponen, mengurus memori secara jelas dan menyegerakkan cache nilai kunci antara model pada tahap terperinci. Para penyelidik berkata pendekatan ini mengurangkan kos tambahan penskalaan automatik sebanyak 97 peratus berbanding kaedah naif. Dengan pengurusan memori dan cache yang lebih cekap, GPU yang sama boleh memastikan beberapa model sedia untuk dijalankan tanpa perlu dimuatkan semula secara berterusan. Ini membolehkan satu pemecut menyokong sehingga tujuh model serentak, berbanding had lazim dua atau tiga model dalam sistem berbilang model terdahulu.

Hasil yang diukur daripada beta pengeluaran

Alibaba Cloud berkata pihaknya menguji Aegaeon dalam versi beta di pasaran modelnya selama lebih tiga bulan. Pelaksanaan itu menyediakan puluhan model, termasuk model sehingga 72 bilion parameter. Dalam tempoh tersebut, pasukan itu melaporkan bahawa bilangan GPU yang diperlukan untuk memenuhi beban perkhidmatan yang sama turun daripada 1,192 unit Nvidia H20 kepada 213, menghasilkan penjimatan sumber sebanyak 82 peratus. Sistem ini turut mengurangkan penalti kependaman ketika bertukar antara model sebanyak 97 peratus, sekali gus membantu apabila beban kerja bertukar-tukar antara model popular dengan model yang menerima permintaan terpencil sepanjang hari.

Persekitaran pasaran model menjadi tapak ujian yang berkesan kerana ia melibatkan permintaan serentak sebenar, gabungan saiz permintaan dan pelbagai jenis model. Dalam keadaan ini, Aegaeon memastikan pemecut digunakan dengan lebih cekap, mengurangkan masa terbiar pada perkhidmatan yang jarang digunakan dan mengekalkan tindak balas pantas bagi model yang mendapat permintaan tinggi melalui penjadualan yang lebih terperinci. Gabungan penjadualan setiap token dan penggunaan semula memori yang cermat nampaknya menjadi kunci untuk menghasilkan lebih banyak kerja berguna bagi setiap jam penggunaan GPU.

Pasukan penyelidik dari Universiti Peking dan Alibaba Cloud berhujah bahawa amalan industri selama ini menyebabkan peluang penjimatan terlepas kerana GPU dikhususkan kepada model yang permintaannya tidak menentu. Mereka menyatakan kesimpulan itu secara langsung dalam makalah tersebut.

Aegaeon ialah hasil kajian pertama yang mendedahkan kos berlebihan berkaitan penyediaan beban kerja LLM serentak di pasaran.

Dakwaan itu selari dengan corak yang dilihat di seluruh pasaran model. Penyedia sudah lama menyedari bahawa permintaan pada hujung ekor mengikat kapasiti dan meningkatkan kos untuk semua pihak. Pendekatan Aegaeon menunjukkan bahawa reka bentuk penjadualan dan memori yang ditala untuk perkhidmatan berbilang model dapat menangani pembaziran tersebut.

Maksudnya bagi pelanggan awan dan pembangun

Bagi pelanggan, bilangan GPU yang lebih sedikit bagi setiap unit daya pemprosesan boleh membawa kepada harga lebih rendah, kuota lebih baik dan prestasi lebih mudah dijangka. Jika penyedia awan dapat mengendalikan trafik yang sama dengan kira-kira satu perlima daripada jumlah pemecut, kapasiti boleh dibuka untuk waktu puncak dan senarai menunggu bagi pelaksanaan baharu dapat dipendekkan. Pembangun yang menggabungkan beberapa model dalam satu aplikasi juga mungkin menghadapi kurang kesesakan akibat permulaan sejuk dan pertukaran replika apabila trafik beralih antara titik akhir.

Terdapat pertimbangan praktikal yang penting bagi pembeli. Perkongsian berbilang model mesti mengekalkan pengasingan supaya beban kerja seorang pengguna tidak menjejaskan pengalaman pengguna lain atau membocorkan data kepadanya. Penjadual mesti mematuhi peraturan keutamaan dan kesaksamaan supaya model popular kekal pantas, sementara model yang lebih perlahan juga terus diproses. Makalah itu menunjukkan bahawa keputusan Aegaeon pada peringkat token direka dengan mengambil kira sasaran kualiti perkhidmatan. Walaupun begitu, penyedia awan memerlukan kebolehcerapan dan pendikitan yang mantap untuk mengawal kependaman hujung ekor apabila perkongsian diperluas merentasi kelompok yang lebih besar.

Nvidia, China dan latar belakang cip AI

Aegaeon muncul ketika bekalan global pemecut berprestasi tinggi terhad dan kawalan eksport cip AI termaju ke China masih berterusan. Nvidia membangunkan H20 untuk pasaran China bagi mematuhi peraturan tersebut, dan ramai penyedia China bergantung pada peranti itu untuk inferens. Pada masa yang sama, pereka cip China seperti Huawei dan Cambricon melabur dalam alternatif domestik. Kecekapan perisian yang membolehkan setiap GPU mengendalikan lebih banyak kerja bernilai di mana-mana pasaran, tetapi lebih berguna khususnya apabila akses kepada cip paling maju terbatas.

Pihak kepimpinan Nvidia menyatakan bahawa panduan kewangan jangka pendek syarikat itu mengandaikan hasil minimum atau sifar daripada segmen cip termaju China akibat sekatan dasar. Latar belakang itu menjadikan hasil Alibaba Cloud lebih penting. Jika penyedia besar boleh memaksimumkan penggunaan perkakasan sedia ada melalui perisian, mereka dapat terus mengembangkan perkhidmatan walaupun bekalan pemecut kelas tertinggi terhad.

Perbandingan Aegaeon dengan pendekatan lain

Sehingga baru-baru ini, kebanyakan sistem penyediaan berbilang model hanya dapat memultiplekskan dua atau tiga model dengan selamat pada satu GPU sebelum kos tambahannya melebihi manfaat. Setiap model tambahan meningkatkan pertukaran konteks dan cache luput, serta risiko turun naik prestasi yang boleh menyebabkan sasaran kependaman tidak tercapai. Reka bentuk Aegaeon memberi tumpuan kepada pengurangan kos pertukaran tersebut dan memastikan struktur data teras kekal dalam memori merentasi model. Sebab itulah satu pemecut kini boleh mengekalkan sehingga tujuh model dalam keadaan yang dilaporkan.

Instans khusus masih sesuai untuk titik akhir dengan daya pemprosesan tertinggi atau beban kerja yang memerlukan pengasingan ketat. Sebaliknya, inferens tanpa pelayan yang memulakan replika model penuh apabila diminta boleh menjimatkan kos bagi model dengan trafik rendah, tetapi masa permulaannya lebih panjang. Aegaeon mengambil pendekatan pertengahan. Sistem ini mengumpulkan kapasiti dan memastikan model sedia digunakan, kemudian menjadualkan kerja dalam cebisan kecil supaya penggunaan keseluruhan meningkat tanpa pertukaran besar dari segi kependaman.

Persoalan teknikal terbuka dan langkah seterusnya

Beta itu dijalankan di pasaran model Alibaba Cloud, sebuah persekitaran yang besar tetapi bukan keseluruhan jejak perkhidmatannya. Pelaksanaan Aegaeon di lebih banyak rantau dan rangkaian produk berbeza, seperti kelompok khusus perusahaan atau sistem di premis, akan menguji reka bentuk ini dalam keadaan yang berlainan. Persoalan lain ialah prestasi penjadual apabila panjang konteks model meningkat dan apabila model multimodal menggabungkan bahasa dengan penglihatan serta audio. Senario ini akan menguji dasar memori dan cache dengan cara baharu.

Terdapat juga ruang penyelidikan untuk perkongsian merentasi pemecut heterogen dan nod. Jika penjadual boleh mengumpulkan bukan sekadar satu GPU, tetapi sekumpulan GPU yang disambungkan melalui rangkaian, manfaat tambahan mungkin dapat dicapai, dengan syarat kos tambahan sambungan kekal rendah dan penempatan memori boleh dijangka. Bukti yang diterbitkan setakat ini menunjukkan manfaat besar daripada pengumpulan sumber pada satu peranti, yang sudah pun menjadi kemajuan praktikal utama bagi beban kerja inferens masa kini.

Fakta Ringkas

• Aegaeon mengurangkan bilangan GPU untuk perkhidmatan pasaran Alibaba Cloud daripada 1,192 unit Nvidia H20 kepada 213, iaitu pengurangan 82 peratus.
• Sistem ini menyediakan puluhan model, termasuk model sehingga 72 bilion parameter, sepanjang tempoh beta lebih tiga bulan.
• Satu GPU menyokong sehingga tujuh model dalam ujian yang dilaporkan, berbanding dua atau tiga model bagi sistem terdahulu.
• Penjadualan setiap token, penggunaan semula memori dan penyegerakan cache nilai kunci mengurangkan kos tambahan penskalaan automatik sebanyak 97 peratus.
• Eksperimen menunjukkan kadar ketibaan yang dapat dikekalkan 2 hingga 2.5 kali lebih tinggi, atau output berguna 1.5 hingga 9 kali lebih banyak berbanding alternatif.
• Pendekatan ini menyasarkan masalah permintaan pada hujung ekor dalam pasaran model, apabila sebahagian kecil permintaan menggunakan sebahagian besar GPU.
• Hasil ini diumumkan ketika kawalan eksport mengehadkan akses kepada cip AI termaju di China dan usaha pembangunan GPU domestik semakin pesat.