Samsung Perluas Strategi Memori AI dengan HBM5, Pengumpulan Memori AMD dan Storan Lebih Pantas

Samsung meletakkan kapasiti memori seiring dengan kelajuan pemprosesan

Samsung Electronics memperluas strategi infrastruktur AInya melangkaui memori lebar jalur tinggi, dengan menggabungkan HBM5 dan memori tersuai bersama kerjasama AMD dalam teknologi memori pelayan kongsi serta storan yang memindahkan sebahagian pemprosesan data ke dalam SSD. Syarikat itu membentangkan pendekatan tersebut di Sidang Kemuncak Global OCP 2026, yang dijadualkan berlangsung pada 12 hingga 15 Oktober di Pusat Konvensyen San Jose McEnery, California.

Dakwaan prestasi paling konkrit melibatkan teknologi lain dalam hierarki memori. Samsung melaporkan masa sehingga 38% lebih singkat sebelum model AI menghasilkan token pertamanya melalui peruntukan memori CXL elastik, prestasi inferens sehingga tiga kali ganda dengan pemprosesan LPDDR5X dalam memori, serta bacaan SSD berjujukan yang mencapai 28.4 GB/s. Angka ini ialah hasil penilaian atau demonstrasi tertentu, bukannya jaminan bagi setiap pemasangan AI.

Halaman rasmi sidang kemuncak Samsung menyusun strateginya berasaskan kelajuan, peluasan memori dan pengekalan data. Produk yang diketengahkan termasuk HBM4E, LPDDR5X-PIM, modul memori CMM-D MD310, memori pelayan SOCAMM2 serta SSD PM1763 dan BM1773.

Hojun Shim, yang dikenal pasti Samsung sebagai naib presiden korporat dan ketua Pasukan Kejuruteraan Aplikasi Perniagaan Memori, dijadual membentangkan tiga keutamaan itu dalam sesi eksekutif pada 12 Oktober. Laporan menyifatkan pembentangan itu sebagai pelancaran usaha lebih luas untuk mengoptimumkan pemproses, memori dan storan secara bersama, bukannya menambah baik setiap komponen secara berasingan.

Perbezaan ini penting semasa inferens, iaitu apabila model terlatih menjana jawapan. Pemecut pantas masih boleh membuang masa menunggu data, kehabisan memori apabila perbualan semakin panjang, atau mengalami kelewatan ketika mendapatkan maklumat daripada storan. Samsung mencadangkan teknologi berbeza untuk setiap kekangan tersebut.

HBM5 menjadi tumpuan strategi kelajuan yang lebih luas

Laporan mengenai pameran itu menyenaraikan HBM5, yang digambarkan sebagai memori lebar jalur tinggi generasi kelapan, HBM tersuai dan zHBM sebagai antara inisiatif kelajuan Samsung. Memori lebar jalur tinggi membekalkan sejumlah besar data kepada pemecut melalui banyak sambungan selari. Versi tersuai pula bertujuan memenuhi keperluan sistem pelanggan tertentu.

Senarai produk rasmi menamakan HBM4E, bukannya HBM5. Laporan lain menyebut model konsep HBM4E dan HBM5 dipamerkan. Perbezaan ini penting: pameran atau pembentangan konsep tidak membuktikan sesuatu produk sudah dipasarkan, dan halaman sidang kemuncak Samsung tidak menyatakan tarikh pelancaran komersial HBM5 atau spesifikasi prestasi terperinci.

Bukti berangka paling kukuh berkaitan kelajuan pemprosesan datang daripada LPDDR5X-PIM. Pemprosesan dalam memori meletakkan sebahagian pengiraan dalam peranti memori, sekali gus mengurangkan pemindahan berulang antara memori dengan pemproses berasingan. Samsung berkata reka bentuknya mengintegrasikan unit pemprosesan ke dalam setiap bank memori.

Dalam penilaian menggunakan Llama 3.1 8B pada Pemecut AI Edge Samsung, Samsung melaporkan lebar jalur berkesan sehingga lapan kali ganda berbanding LPDDR5X konvensional, token dijana sesaat sehingga tiga kali ganda, serta masa jalan sehingga 2.2 kali lebih singkat. Angka ini merujuk kepada pemecut dan model tersebut, bukannya HBM5 atau demonstrasi memori AMD.

SOCAMM2, yang turut diketengahkan, ialah modul memori pelayan berasaskan LPDDR. Secara keseluruhan, pameran itu menunjukkan strategi kelajuan Samsung merangkumi memori pemecut dan teknologi memori berkuasa rendah, walaupun halaman sidang kemuncak tidak menyediakan hasil penanda aras yang boleh dibandingkan bagi setiap produk.

Kerjasama AMD menyasarkan kapasiti memori yang fleksibel

Samsung dan AMD menunjukkan peluasan memori CXL menggunakan teknologi CMM-D Samsung. CXL, singkatan bagi Compute Express Link, menghubungkan pemproses dan peranti lain dengan memori tambahan, membolehkan sistem menambah kapasiti melebihi memori yang dipasang secara langsung.

CMM-D ialah modul memori DRAM berasaskan CXL. Dalam konfigurasi terkumpul, beberapa sistem boleh menggunakan kapasiti daripada sumber memori yang disambungkan, tanpa menetapkan kapasiti itu secara kekal kepada pelayan individu. Samsung berkata kerjasamanya dengan AMD mengesahkan CXL sebagai cara meningkatkan kapasiti dan lebar jalur memori, sambil mengurangkan tempoh teras CPU menunggu data.

Cabaran ini semakin ketara apabila ejen AI menjalankan berbilang model atau tugasan. Huraian rasmi Samsung menyatakan beban kerja ejen boleh meningkatkan penggunaan CPU dengan mendadak, sedangkan kapasiti memori tidak berkembang seiring dengan bilangan teras pemproses.

Demonstrasi pengumpulan CMM-D yang berasingan menggunakan peruntukan elastik merentas beberapa contoh model bahasa besar pada pelayan GPU. Samsung melaporkan masa ke token pertama, atau TTFT, sehingga 38% lebih rendah dan goodput sehingga 3.3 kali lebih tinggi berbanding peruntukan statik. TTFT mengukur tempoh menunggu sebelum respons bermula; goodput pula mengukur jumlah kerja berguna yang disampaikan berdasarkan kriteria penilaian.

Hasil tersebut tidak harus dianggap sebagai angka daripada demonstrasi AMD itu sendiri. Halaman rasmi menghuraikan pengesahan AMD dan penanda aras peruntukan elastik secara berasingan. Halaman itu juga tidak memberikan butiran mencukupi untuk menentukan perubahan prestasi bagi model, konfigurasi pelayan atau sasaran perkhidmatan yang berbeza.

Cache KV menghubungkan peluasan memori dengan storan

Cache key-value, yang lazimnya dipanggil cache KV, menjadi penghubung utama antara rancangan memori dan storan Samsung. Cache ini menyimpan maklumat perantaraan yang dijana ketika model bahasa memproses teks, membolehkan model menggunakan semula hasil kerja dan bukannya mengiranya semula bagi setiap token baharu.

Perbualan panjang, konteks lebih besar dan ramai pengguna serentak boleh menyebabkan cache ini menggunakan memori yang banyak. Samsung mencadangkan hierarki yang menggunakan memori CXL untuk menambah kapasiti tersedia, sementara SSD menyimpan data cache yang tidak perlu kekal dalam lapisan memori terpantas.

Halaman rasmi sidang kemuncak itu menerangkan penggunaan dalam pengeluaran di kampus Samsung Semiconductor di AS, yang menyokong ejen pengekodan AI dalaman dan aplikasi lain. Samsung berkata penambahan lapisan memori boleh gubah L3.5 melalui penyelesaian AI Memory Node meningkatkan penggunaan cache KV sebanyak lima hingga tujuh kali ganda.

L3.5 ialah label bagi lapisan tambahan itu, bukannya dakwaan bahawa semua pelayan berkongsi seni bina cache yang serupa. Penggunaan tersebut melibatkan Memory Solutions Lab Samsung, pasukan Integrasi Platform AI DSA dan SGLang. Hasil penggunaan itu berbeza daripada penanda aras peruntukan elastik serta angka prestasi LPDDR5X-PIM.

Jadual sidang kemuncak turut merangkumi sesi pada 13 Oktober mengenai gabungan pengumpulan CXL dengan storan SSD untuk pemindahan cache KV, yang dibentangkan oleh arkitek sistem Jinin So dan jurutera utama Youngha Choi. Gabungan itu menjadikan strategi berkenaan lebih daripada sekadar peningkatan kapasiti: perisian perlu meletakkan dan mendapatkan semula data merentas memori dan storan tanpa menyebabkan kelewatan berlebihan.

SSD menangani kapasiti, penyejukan dan penempatan data

Strategi pengekalan data Samsung bertumpu pada SSD perusahaan dan denyar NAND berkapasiti tinggi. Pengekalan data bermaksud menyimpan data melangkaui keadaan kerja sementara sesuatu pengiraan, supaya sistem AI boleh mendapatkan set data, fail model dan maklumat cache tersimpan apabila diperlukan.

PM1763 diketengahkan sebagai SSD perusahaan PCIe Gen6 dengan kelajuan bacaan berjujukan sehingga 28.4 GB/s dan kecekapan kuasa sehingga 1.8 kali ganda berbanding pendahulunya. Demonstrasi penyejukan cecair Samsung meletakkan versi E1.S bersentuhan terus dengan plat penyejuk untuk menyingkirkan haba. Halaman rasmi tidak memberikan set lengkap keadaan ujian bagi perbandingan prestasi itu.

BM1773 disenaraikan sebagai SSD E3.S dengan storan QLC 256TB. QLC, atau sel empat aras, menyimpan empat bit dalam setiap sel denyar, sekali gus menyokong kapasiti tinggi. Laporan turut menyebut pembangunan berterusan Samsung bagi denyar QLC berkapasiti tinggi dan teknologi penempatan data fleksibel.

Samsung menunjukkan pengoptimuman cache KV yang diintegrasikan ke dalam LMCache. Penempatan Data Fleksibel, atau FDP, membantu menyusun lokasi penulisan data bagi mengurangkan penguatan penulisan, iaitu penulisan dalaman tambahan yang dilakukan SSD melebihi data yang dihantar oleh hos.

Demonstrasi itu turut menggunakan Saiz Pemindahan Data Maksimum NVMe yang lebih besar untuk mengurangkan beban kerja CPU hos. Samsung menyifatkan teknik ini sebagai relevan untuk storan cache dalam satu nod dan sumber cache yang dikongsi merentas sekumpulan pelayan. Halaman acara tidak memberikan angka peningkatan bagi pengoptimuman khusus ini.

Mendekatkan pengiraan kepada data tersimpan

Demonstrasi pangkalan data vektor Samsung menawarkan satu lagi cara untuk mengurangkan pemindahan data. Pangkalan data vektor menyimpan perwakilan berangka bagi maklumat dan membandingkannya untuk mencari item yang serupa, iaitu langkah lazim apabila aplikasi AI mendapatkan dokumen yang berkaitan dengan sesuatu permintaan.

Bukti konsep NCVS memindahkan pengiraan jarak vektor ke dalam SSD. Daripada menghantar vektor 4KB kepada hos untuk dibandingkan, peranti itu mengembalikan hasil jarak empat bait. Samsung melaporkan trafik hos sehingga 22 kali lebih rendah berbanding laluan pemprosesan hos konvensional, dengan kadar pemprosesan carian meningkat apabila lebih banyak SSD ditambah.

Angka empat bait dan 4KB menerangkan saiz hasil dan vektor individu; ia tidak bermaksud keseluruhan aplikasi mengurangkan trafik pada nisbah yang sama. Pengurangan sehingga 22 kali ganda yang dilaporkan ialah perbandingan ukuran yang lebih luas. Samsung mengenal pasti NCVS sebagai bukti konsep, bukannya produk yang tersedia secara umum.

Demonstrasi AiSIO menangani input dan output storan melalui antara muka perisian umum untuk operasi yang dimulakan GPU, rakan ke rakan dan CPU konvensional. Samsung melaporkan 100 juta operasi input/output sesaat serta pemuatan model bahasa sehingga sepuluh kali lebih pantas daripada keadaan mula sejuk, menggunakan OpenDS.

Ukuran ini merujuk kepada tugasan yang berbeza. Kelajuan bacaan berjujukan merujuk kepada pemindahan data berterusan, operasi input/output sesaat mengira permintaan storan, manakala pemuatan mula sejuk mengukur kepantasan model bersedia digunakan. Tiada satu pun boleh menggantikan penanda aras yang menunjukkan jumlah permintaan pengguna yang dapat dikendalikan oleh perkhidmatan AI secara keseluruhan.

Ujian pelanggan dan pameran faundri memperluas tumpuan

Samsung MAX Lab bertujuan melibatkan pelanggan lebih awal dalam pembangunan. Pelanggan boleh menguji teknologi seperti PIM, CMM-D dan SSD generasi akan datang sebelum pengkomersialan, menggunakan beban kerja AI sebenar, kemudian menyalurkan keperluan sistem ke dalam reka bentuk produk.

Pendekatan ini menangani isu praktikal yang ketara dalam demonstrasi sidang kemuncak tersebut: komponen yang lebih pantas hanya memberi manfaat jika perisian dan perkakasan sekeliling mampu menggunakannya. Pasukan Ekosistem Terbuka Global Samsung mengambil bahagian dalam pembangunan sumber terbuka dan penstandardan industri, manakala agenda acara merangkumi sesi tentang rangka kerja perisian, pengendalian arahan storan dan pengurusan memori.

Samsung turut menunjukkan storan boleh gubah dengan pemindahan langsung dan pengurusan SSD maya melalui NVMe standard. Huraian rasminya menyifatkan teknologi ini sebagai laluan kepada storan yang dikongsi oleh berbilang penyewa, dengan kualiti perkhidmatan yang boleh dikuatkuasakan, iaitu kawalan terhadap perkhidmatan yang diterima setiap beban kerja.

Pameran itu turut merangkumi teknologi selain memori. Laporan menyebut wafer unit pemprosesan bahasa Groq yang dihasilkan menggunakan proses 4nm Samsung Foundry, sistem Groq 3 LPX yang digambarkan dalam beberapa laporan sebagai sistem Nvidia, serta wafer menggunakan proses gate-all-around 2nm Samsung. Pameran tersebut mengetengahkan keupayaan pembuatan bersama memori dan storan, tetapi tidak membuktikan wujudnya kontrak pengeluaran baharu atau jumlah penghantaran tertentu.

Kerjasama dibangunkan selama beberapa bulan

Demonstrasi AMD itu menyusuli kerjasama terdahulu, bukannya usaha yang berdiri sendiri. Laporan menyebut memorandum persefahaman pada Mac mengenai teknologi memori dan pengkomputeran AI generasi akan datang, diikuti perbincangan semasa lawatan ketua pegawai eksekutif AMD Lisa Su ke Korea Selatan pada 7 Oktober.

Perkembangan yang dilaporkan dan sesi sidang kemuncak yang dijadualkan adalah seperti berikut:

• Mac 2026: Samsung dan AMD menandatangani memorandum kerjasama; Samsung turut membentangkan teknologi di Nvidia GTC.
• Jun dan Ogos 2026: Samsung membuat pembentangan di COMPUTEX dan persidangan Future of Memory and Storage.
• 7 Oktober 2026: Lisa Su melawat Korea Selatan dan bertemu Naib Pengerusi Bahagian DS Samsung, Jeon Young-hyun, untuk membincangkan kerjasama memori dan pengkomputeran; laporan turut menyebut perbincangan faundri.
• 12 Oktober 2026: Sidang kemuncak bermula, dengan pembentangan eksekutif Shim dijadualkan pada hari itu.
• 13 hingga 15 Oktober 2026: Program Samsung merangkumi sesi tentang pengelompokan cache KV, pengoptimuman storan dan seni bina memori CXL kongsi.

Samsung menyertai acara itu sebagai Penaja Berlian. Laporan berbeza tentang sama ada pengumuman strategi itu bertarikh 12 Oktober waktu tempatan atau kenyataan syarikat pada 13 Oktober. Tarikh tersebut mungkin merujuk kepada peringkat berbeza dalam acara yang sama. Satu laporan menyatakan sidang kemuncak itu diadakan di San Francisco, manakala jadual rasmi Samsung menyenaraikan pusat konvensyen di San Jose.

Skala pasaran tidak menentukan kesiapsiagaan komersial

Penyelidikan industri yang dilaporkan meletakkan Samsung di tempat pertama pada suku kedua 2026 dengan 39% hasil DRAM global dan 29.3% pasaran denyar NAND. Counterpoint Research dikenal pasti sebagai sumber angka DRAM, manakala TrendForce ialah sumber angka NAND. Ini ialah ukuran bahagian pasaran, bukannya bahagian dalam pasaran CXL atau pemprosesan dalam memori yang sedang berkembang.

Omdia disebut sebagai peramal bahawa Samsung akan mencatat pengeluaran wafer DRAM dan NAND terbesar dalam industri sepanjang tahun ini. Anggaran berasingan meletakkan kapasiti DRAM tahunannya pada kira-kira 8.175 juta wafer setara wafer 300mm. Kapasiti tidak sama dengan pengeluaran sebenar, dan kedua-dua angka itu tidak menunjukkan jumlah pengeluaran yang diperuntukkan kepada teknologi yang dipamerkan di OCP.

Satu laporan turut memberikan angka awal suku ketiga yang luar biasa besar, bertarikh 8 Oktober: hasil sebanyak 195 trilion won dan keuntungan operasi 107.4 trilion won, dengan keuntungan meningkat 782.5% berbanding tahun sebelumnya. Angka ini tidak disokong oleh pengumuman kewangan rasmi di sini dan tidak harus dianggap sebagai bukti kukuh pendapatan daripada teknologi yang dipamerkan di sidang kemuncak itu.

Persaingan turut berkembang melangkaui HBM. Laporan menyifatkan Sistem Rak AI Berpusatkan Memori SK hynix, atau MARS, sebagai kumpulan memori CXL yang dikongsi merentas satu rak. Pendekatan itu sejajar dengan usaha Samsung untuk membolehkan memori lebihan diakses merentas sistem, namun tiada penanda aras setara yang membuktikan pendekatan mana lebih baik.

Matlamat yang dinyatakan Samsung ialah mengukuhkan daya saing HBM, DDR5 pelayan dan SSD perusahaan. Butiran komersial yang masih belum dipastikan termasuk ketersediaan HBM5, harga, penerimaan pelanggan yang lebih meluas dan pengesahan bebas terhadap dakwaan prestasi. Program sidang kemuncak memberikan tarikh demonstrasi dan perbincangan, bukannya tarikh pelancaran pasti bagi setiap teknologi.

Perkara Utama

• Strategi Samsung di OCP 2026 menggabungkan memori lebih pantas, peluasan kapasiti CXL dan storan SSD yang mengekalkan data.
• Kerjasama AMD menggunakan teknologi memori CMM-D untuk menangani permintaan memori AI yang semakin meningkat.
• Demonstrasi pengumpulan elastik yang berasingan melaporkan masa ke token pertama sehingga 38% lebih rendah dan goodput 3.3 kali lebih tinggi.
• Hasil penilaian LPDDR5X-PIM merangkumi prestasi inferens sehingga tiga kali ganda pada Pemecut AI Edge Samsung.
• Storan PM1763, pengoptimuman cache KV dan pengiraan dalam SSD menyasarkan kekangan pemindahan data yang berbeza.
• Tarikh penghantaran HBM5 dan ketersediaan komersial secara meluas belum dipastikan melalui pendedahan di sidang kemuncak.