Samsung menyasarkan kos token AI yang lebih rendah dengan meningkatkan kecekapan memori pelayan

Lebih banyak permintaan AI tanpa menambah GPU

Samsung Electronics telah membangunkan kaedah untuk mengendalikan lebih banyak permintaan serentak kepada pelayan kecerdasan buatan dengan mengubah cara pelayan memperuntukkan memori dan memindahkan data antara pemproses. Permohonan paten yang diterbitkan menerangkan perisian yang menimbang masa menunggu, kos pemindahan dan keperluan memori pada masa hadapan untuk menentukan permintaan yang perlu diproses terlebih dahulu oleh model bahasa besar.

Matlamatnya adalah untuk mengurangkan kelewatan apabila memori unit pemprosesan grafik (GPU) penuh, sekali gus membolehkan pelayan sedia ada memberikan perkhidmatan kepada lebih ramai pengguna. Samsung menyifatkan ciptaan ini sebagai teknologi infrastruktur untuk inferens AI, iaitu proses menjalankan model terlatih untuk menjawab soalan, bukannya ciri bagi produk pengguna tertentu.

Penyelidikan Samsung yang berkaitan memberikan gambaran konkrit tentang potensi penjimatan hasil pengurusan memori yang lebih baik. Dalam eksperimen storan berasingan yang menggunakan lapan GPU NVIDIA H100 NVL dan sepuluh pemacu keadaan pepejal Samsung, Samsung mengekalkan masa menunggu kurang daripada satu saat untuk token output pertama sehingga 240 pengguna serentak. Tanpa pemunggahan ke storan, masa menunggu itu mula meningkat apabila jumlah pengguna melebihi 140.

Paten itu, eksperimen storan dan satu lagi projek daripada Samsung SDS menangani aspek berlainan bagi masalah yang sama: pemproses AI yang mahal mungkin menghabiskan terlalu banyak masa untuk memindahkan atau membina semula maklumat. Bagi pengendali, pengurangan kerja itu boleh menghasilkan lebih banyak jawapan daripada peralatan sedia ada dan menurunkan kos bagi setiap token, iaitu cebisan kecil teks yang diproses dan dijana oleh model bahasa.

Mengapa memori boleh melambatkan jawapan

GPU melakukan banyak pengiraan serentak, menjadikannya berguna untuk menjana respons AI. Namun, kapasiti memori setempatnya yang pantas adalah terhad. Beberapa perbualan bersaing untuk ruang itu, terutamanya apabila pengguna menghantar dokumen panjang atau mengemukakan soalan yang memerlukan jawapan terperinci.

Model bahasa menyimpan rekod sementara bagi pengiraan terdahulu dalam struktur yang dipanggil cache nilai kunci, lazimnya disingkatkan sebagai cache KV. Anggaplah ia sebagai nota kerja: menyimpan nota ini membolehkan model meneruskan jawapan tanpa perlu mengira semula berulang kali segala yang telah diprosesnya.

Eksperimen storan Samsung memerlukan kira-kira 3 GB cache KV bagi setiap sesi. Untuk 240 sesi, jumlahnya kira-kira 720 GB data cache bagi keseluruhan beban kerja. Angka itu membantu menjelaskan mengapa memberikan perkhidmatan kepada ramai pengguna boleh menjadi masalah memori walaupun kuasa pengkomputeran yang besar telah dipasang.

Apabila memori GPU pantas tidak mencukupi, pelayan boleh memindahkan sebahagian data ke memori yang dikaitkan dengan unit pemprosesan pusat (CPU), kemudian membawanya kembali apabila diperlukan. Pemindahan ini mengambil masa. Membina semula pengiraan yang telah dibuang juga menggunakan sumber. Paten Samsung memberi tumpuan kepada pengurusan persaingan ini dengan lebih teliti.

Cara kaedah penjadualan yang dipatenkan berfungsi

Permohonan Samsung yang bertajuk Kaedah dan Pelayan untuk Memproses Pelbagai Permintaan Pengguna bagi Model Bahasa Besar menerangkan penjadual yang mengambil kira kos untuk memenuhi setiap permintaan. Inputnya termasuk tempoh pengguna menunggu, masa yang diperlukan untuk pemindahan data dan jumlah memori yang diperlukan oleh permintaan itu.

Pelayan menggunakan pengiraan tersebut untuk memilih urutan pemprosesan. Hal ini penting kerana permintaan yang kelihatan sedia untuk dijalankan mungkin memerlukan pemindahan data yang besar terlebih dahulu, sedangkan permintaan lain mungkin boleh menggunakan data yang sudah tersedia berdekatan. Penyelarasan pilihan ini boleh mengurangkan masa yang digunakan untuk menyusun semula memori.

Kaedah itu turut menyemak sama ada maklumat yang sebelum ini dipindahkan ke memori CPU masih berada di situ. Jika salinan yang boleh digunakan tersedia, pelayan boleh memindahkan bahagian yang diperlukan sahaja dan bukannya menyalin semuanya sekali lagi. Pelayan juga boleh memindahkan data untuk seorang pengguna ketika GPU menjana respons untuk pengguna lain, sekali gus membolehkan kerja berguna dan persediaan berlangsung serentak.

Samsung turut menerangkan penggunaan memori yang tersedia sebahagiannya. Jika permintaan baharu memerlukan lima unit ruang tetapi hanya tiga yang kosong, sistem boleh memulakan bahagian yang muat dan bukannya menunggu sehingga kelima-lima unit tersedia. Matlamat praktikalnya adalah untuk memastikan sumber terhad terus digunakan secara produktif ketika waktu sibuk. Butiran penggunaan komersial serta peningkatan masa respons dan daya pemprosesan yang diukur bagi kaedah yang dipatenkan ini belum didedahkan.

Hasil pengukuran Samsung dengan pemunggahan ke storan

Kertas putih cache KV Samsung Electronics meneliti pendekatan yang berbeza: menyimpan data cache yang boleh digunakan semula pada pemacu keadaan pepejal NVMe. NVMe ialah teknologi yang membolehkan peranti storan berkomunikasi dengan pantas dengan komputer melalui sambungan PCIe.

Ujian itu menggunakan lapan GPU NVIDIA H100 NVL, lapan perkhidmatan inferens LLaMA-3.1 8B selari, perisian penyajian vLLM dan LMCache, iaitu lapisan sumber terbuka yang mengurus data cache KV yang boleh digunakan semula. Sepuluh pemacu Samsung PM1753 digabungkan dalam tatasusunan RAID-0, yang mengagihkan data merentasi pemacu untuk meningkatkan prestasi pemindahan.

Samsung mengukur beban pengguna dalam peningkatan sebanyak 20 orang, sehingga mencapai 280 pengguna serentak. Setiap pengguna menghantar pertanyaan setiap 20 saat, menghasilkan beban kerja antara satu hingga 14 pertanyaan sesaat. Oleh itu, eksperimen itu menguji corak permintaan berulang dan pemindahan cache yang ditetapkan.

Pendekatan storan berguna apabila sesi beralih antara GPU. GPU destinasi boleh memuatkan semula pengiraan yang disimpan dan bukannya mengulangi pemprosesan awal bagi gesaan yang panjang. Dalam satu mesin, cache luaran boleh disimpan dalam memori CPU atau storan. Antara mesin pula, Samsung menjelaskan bahawa cache memerlukan sumber kongsi yang boleh diakses oleh pelayan berkaitan.

Permulaan lebih pantas dan lebih banyak teks dijana

Samsung mengukur dua aspek prestasi perkhidmatan: masa hingga token pertama dan token sesaat. Ukuran pertama menunjukkan tempoh seseorang menunggu sebelum jawapan mula dipaparkan. Ukuran kedua menunjukkan jumlah teks yang dihasilkan sistem dalam suatu tempoh.

Dengan pemunggahan ke storan diaktifkan, ujian itu mengekalkan masa hingga token pertama di bawah satu saat sehingga 240 pengguna serentak, berbanding peningkatan kependaman apabila jumlah pengguna melebihi 140 tanpa pemunggahan. Samsung menyifatkan pencapaian ini sebagai sokongan kepada 1.7 kali lebih ramai pengguna pada kependaman yang setanding. Dalam julat 20 hingga 140 pengguna, konfigurasi yang menggunakan pemunggahan mengekalkan masa menunggu awal pada kira-kira setengah saat.

Pada 240 pengguna, sistem dengan pemunggahan menjana kira-kira 1.5 kali lebih banyak token output. Konfigurasi tanpa pemunggahan mula mencapai had kapasiti pada kira-kira 160 pengguna, manakala sistem yang menggunakan semula cache tersimpan terus meningkatkan output apabila permintaan bertambah.

Samsung mengaitkan peningkatan itu dengan pengurangan pemprosesan semula gesaan. Model bahasa memproses input terlebih dahulu dalam peringkat yang dikenali sebagai praisi, kemudian menjana responsnya token demi token dalam peringkat yang dipanggil penyahkodan. Penggunaan semula pengiraan tersimpan membebaskan lebih banyak kapasiti GPU untuk menghasilkan jawapan.

Apabila storan tambahan berbaloi

Analisis kos Samsung menunjukkan bahawa perkakasan tambahan tetap mempunyai harga, walaupun dapat meningkatkan kecekapan ketika permintaan tinggi. Dalam julat sifar hingga 160 pengguna serentak, kedua-dua konfigurasi menghasilkan kadar pemprosesan token yang serupa, manakala konfigurasi yang menggunakan pemunggahan menelan kos kira-kira 4% lebih tinggi disebabkan komponen NVMe tambahan.

Apabila jumlah pengguna melebihi 180, output yang lebih tinggi mengimbangi kos storan tambahan itu. Pada 240 pengguna, Samsung mengira kecekapan kos kira-kira 1.5 kali lebih baik, yang diukur sebagai token sesaat bagi setiap dolar dalam tempoh operasi tiga tahun.

Dengan kata lain, peningkatan output bagi setiap dolar sebanyak 1.5 kali bersamaan dengan kos kira-kira satu pertiga lebih rendah bagi setiap unit output berdasarkan pengiraan itu. Perbandingan tersebut merujuk kepada peralatan dan beban kerja yang diuji Samsung. Ekonomi sebenar sesuatu perkhidmatan turut bergantung pada model, panjang perbualan, trafik dan kos peralatan.

Bagi pengendali awan, pilihan praktikal bergantung pada permintaan. Storan tambahan boleh meningkatkan kos awal apabila kapasiti GPU sedia ada masih mampu mengendalikan beban kerja dengan selesa. Ketika kesesakan berterusan, penggunaan semula cache boleh membolehkan pemasangan GPU yang sama menyokong lebih banyak aktiviti sebelum pelayan lain diperlukan.

Penjimatan kuasa turut mengurangkan penggunaan kipas penyejuk

Samsung turut mengukur penggunaan elektrik yang lebih rendah dalam eksperimen storannya. Pada 240 pengguna, prestasi bagi setiap watt meningkat kira-kira 2.9 kali. Jumlah kuasa sistem turun kepada kira-kira 53% berbanding konfigurasi tanpa pemunggahan, iaitu pengurangan sekitar 47%.

Menurut kertas putih itu, pemacu NVMe tambahan meningkatkan penggunaan kuasa kira-kira 6%. Pengurangan keperluan kuasa GPU dan penyejukan lebih daripada mengimbangi peningkatan tersebut. Samsung merekodkan penggunaan GPU kira-kira 49% apabila beban kerja beralih daripada pengiraan praisi intensif yang berulang.

Kipas penyejuk turut mencerminkan perubahan itu. Tanpa pemunggahan, semua kipas sistem beroperasi pada kelajuan maksimum yang dijangkakan, iaitu 15,000 putaran seminit. Dengan pemunggahan, kipas yang menyejukkan CPU, memori dan storan beroperasi pada kira-kira 7,800 putaran seminit, manakala kipas di bahagian GPU beroperasi pada kira-kira 9,800 putaran seminit.

Hasil ini menunjukkan sebab sesuatu komponen boleh menambah penggunaan elektrik pada peringkat setempat, tetapi mengurangkan penggunaan di seluruh pelayan. Dalam eksperimen ini, tenaga yang digunakan untuk mendapatkan semula pengiraan tersimpan mengurangkan penggunaan tenaga yang lebih besar untuk mengulangi pengiraan dan menyingkirkan haba yang terhasil.

Storan perlu mengendalikan lonjakan permintaan

Pengukuran Samsung turut menunjukkan bahawa pendekatan ini memerlukan lebih daripada kapasiti pemacu yang tidak digunakan. Daya pemprosesan storan agregat purata mencecah sehingga 37 GB sesaat, dan permintaan GPU serentak boleh meningkatkan permintaan puncak kepada hampir dua kali ganda paras purata.

Bilangan operasi storan yang sedang berlangsung biasanya sekitar 160 tetapi boleh melonjak kepada 800. Samsung mengesyorkan lebar jalur storan sekurang-kurangnya dua kali ganda keperluan purata bagi menampung lonjakan itu sambil mengekalkan daya respons.

PM1753 mempunyai spesifikasi daya pemprosesan berjujukan sehingga 14.5 GB sesaat dan 3.3 juta operasi bacaan rawak sesaat. Dalam beban kerja yang diuji, bacaan merangkumi kira-kira 92% aktiviti storan, manakala penulisan merangkumi 8%. LMCache memindahkan blok cache besar berukuran kira-kira 33 MB.

Beberapa perkhidmatan yang membaca blok besar secara serentak boleh menghasilkan aliran permintaan berselang-seli. Oleh itu, subsistem storan perlu mengekalkan prestasi pemindahan apabila ramai pengguna aktif pada masa yang sama. Kapasiti cache, kelajuan pemindahan dan penjadualan semuanya mempengaruhi sama ada maklumat tersimpan dapat sampai ke GPU dengan cukup pantas untuk digunakan.

Samsung SDS membawa pengiraan ke dalam memori

Samsung SDS menangani pemindahan data melalui pendekatan lain. Penerangan penyelidikan PAISE menerangkan Enjin Penjadualan Inferens Dipercepat PIM, yang dibentangkan di IEEE HPCA 2025. PAISE menggunakan pemprosesan dalam memori (PIM), iaitu unit pengkomputeran diletakkan di dalam cip memori supaya sesetengah pengiraan boleh dilakukan di tempat data disimpan.

Samsung SDS melaksanakan dan mengesahkan sistem itu pada perkakasan PIM Aquabolt-XL Samsung, dengan menilai model GPT-2, OPT dan Llama2. Syarikat itu melaporkan peningkatan kelajuan inferens sehingga 48.3% dan pengurangan penggunaan kuasa kira-kira 11.5%.

PAISE menentukan operasi yang patut dijalankan dalam memori dan menyusun data agar sesuai dengan perkakasan. Sistem itu turut mengumpulkan pengiraan perhatian yang kecil supaya dapat dijalankan dengan lebih cekap secara selari. Samsung SDS melaporkan kemas kini cache KV yang lebih pantas dan peningkatan lebih ketara pada saiz kelompok yang lebih besar, iaitu kumpulan permintaan yang diproses bersama.

Ketiga-tiga projek ini berfungsi pada bahagian pelayan yang berlainan. Paten itu menjadualkan permintaan dan pemindahan antara memori GPU dan CPU. Eksperimen storan mengekalkan cache pada pemacu untuk digunakan semula kemudian. PAISE memindahkan pengiraan terpilih ke perkakasan memori. Secara keseluruhan, usaha ini menunjukkan Samsung meneroka beberapa cara untuk mengurangkan masa dan tenaga yang digunakan bagi memindahkan atau membina semula maklumat di sebalik respons AI.

Perkara Utama

• Permohonan paten Samsung yang diterbitkan menjadualkan permintaan AI berdasarkan masa menunggu, kos pemindahan dan keperluan memori yang dijangka.
• Kaedah yang dipatenkan itu bertujuan memberikan perkhidmatan kepada lebih ramai pengguna dengan GPU sedia ada; angka prestasi komersial belum didedahkan.
• Ujian storan Samsung yang berasingan menyokong 240 pengguna serentak dengan masa menunggu respons awal di bawah satu saat, berbanding peningkatan kependaman apabila jumlah pengguna melebihi 140 tanpa pemunggahan.
• Pada 240 pengguna, pemunggahan ke storan menghasilkan kira-kira 1.5 kali lebih banyak token dan kecekapan kos, di samping prestasi bagi setiap watt 2.9 kali lebih baik.
• Storan tambahan meningkatkan kos kira-kira 4% ketika beban lebih ringan, menjadikan tahap permintaan faktor penting dalam pengiraan ekonomi.
• Samsung SDS melaporkan sistem PAISE yang berasingan meningkatkan kelajuan inferens sehingga 48.3% dengan menjalankan pengiraan di dalam memori.