AMA Reddit Kimi K2.5 Moonshot AI Mendedahkan Realiti Rumit Model AI Barisan Hadapan Sumber Terbuka

Apabila 595 Gigabait Bertembung dengan Realiti Pembangun

Dua hari selepas mengeluarkan model kecerdasan buatan sumber terbuka yang menurut penganalisis industri paling berkuasa pernah dicipta, penyelidik Moonshot AI melayari Reddit untuk berdepan dengan khalayak yang sama-sama teruja dan kecewa. Syarikat pemula yang berpangkalan di Beijing itu mempunyai banyak sebab untuk meraikannya. Kimi K2.5 mencetuskan tajuk berita tentang usaha merapatkan jurang keupayaan dengan gergasi AI Amerika dan menguji had kawalan eksport cip Amerika Syarikat. Namun, pembangun yang menunggu di r/LocalLLaMA, forum tempat jurutera bertukar-tukar nasihat tentang cara menjalankan model bahasa besar pada pelbagai perkakasan, daripada GPU pengguna tunggal hingga rak kecil perkakasan prosumer, mempunyai kebimbangan yang lebih mendesak. Mereka mahu tahu bila mereka boleh benar-benar menggunakannya.

Sesi Ask Me Anything selama tiga jam itu menjadi jendela yang tidak dijangka kepada pembangunan AI barisan hadapan pada 2026, bukan versi yang digilap dalam bahan pemasaran korporat, tetapi realiti serabut ketika menyahpepijat kegagalan, mengurus perubahan personaliti dan menangani ketegangan asas yang mentakrifkan AI sumber terbuka hari ini. Moonshot menerbitkan pemberat model itu untuk dimuat turun dan disesuaikan oleh sesiapa sahaja. Saiz failnya kira-kira 595 gigabait. Bagi kebanyakan pembangun dalam perbincangan itu, keterbukaan tersebut kekal sebagai teori semata-mata.

Tiga anggota pasukan Moonshot menyertai sesi itu menggunakan nama pengguna ComfortableAsk4494, zxytim dan ppwwyyxx. Dalam kira-kira 187 komen, mereka menjawab soalan tentang seni bina, kaedah latihan dan persoalan falsafah mengenai perkara yang membentuk karakter model AI. Mereka turut memberikan gambaran tentang sumber kemajuan seterusnya, dan ia bukan sekadar menambah parameter.

Masalah Saiz yang Tidak Hilang

Gelombang soalan pertama menganggap Kimi K2.5 bukan sebagai satu kejayaan besar, tetapi lebih sebagai masalah logistik. Seorang pengguna bertanya secara terus terang mengapa Moonshot tidak menghasilkan model lebih kecil bersama model utamanya. "Saiz kecil seperti 8B, 32B, 70B ialah pilihan yang bagus untuk kepadatan kecerdasan," tulisnya, merujuk kepada bilangan parameter dalam unit bilion. Seorang lagi berkata model besar sukar diraikan kerana ramai pembangun tidak mampu menjalankannya. Pengguna ketiga menjadikan pesaing Amerika sebagai penanda aras saiz, dengan meminta versi yang berfokus pada pengekodan dan boleh dijalankan pada GPU sederhana.

Pasukan Moonshot tidak mengumumkan model lebih kecil ketika itu. Namun, mereka mengakui permintaan tersebut dengan ungkapan yang menunjukkan aduan itu sudah biasa didengar. "Permintaan diterima dengan baik!" tulis seorang hos bersama. Seorang lagi menyatakan bahawa koleksi model Moonshot sudah pun merangkumi beberapa model campuran pakar yang lebih kecil di Hugging Face, sambil mengingatkan bahawa model kecil dan besar selalunya memerlukan pelaburan kejuruteraan yang berbeza.

Jawapan paling mendedahkan diberikan apabila seorang pengguna bertanya sama ada Moonshot mungkin membina model sekitar 100 bilion parameter yang dioptimumkan untuk kegunaan setempat. Pasukan Kimi sebaliknya mengemukakan satu kompromi: model 200 bilion atau 300 bilion parameter yang mampu kekal melepasi apa yang mereka sebut sebagai "ambang kebolehgunaan" untuk pelbagai tugas. Jawapan itu menggambarkan kekangan yang dihadapi makmal pemberat terbuka. Model 200 hingga 300 bilion parameter akan meluaskan akses berbanding sistem satu trilion parameter, tetapi masih memerlukan persediaan berbilang GPU atau teknik pengkuantitian agresif yang mengurangkan ketepatan untuk menjimatkan memori.

Pembangun dalam perbincangan itu bukan sekadar meminta model yang sedikit lebih kecil. Mereka mahukan model yang sesuai dengan perkakasan milik mereka dan pelan hala tuju yang menganggap pelaksanaan setempat sebagai kekangan utama, bukannya perkara sampingan untuk penggemar. Pertukaran pandangan itu menonjolkan perpecahan yang semakin ketara dalam komuniti AI sumber terbuka antara makmal yang mengeluarkan model besar dan memerlukan infrastruktur berskala pusat data dengan pengamal yang mahu menjalankan sistem pada peralatan sendiri.

Adakah Hukum Penskalaan Sudah Terhenti?

Selepas perbincangan beralih daripada rungutan tentang perkakasan, tumpuan beralih kepada persoalan yang kini dianggap ramai penyelidik sebagai persoalan utama model bahasa besar: adakah hukum penskalaan mula mendatar? Hukum penskalaan merujuk kepada hubungan yang boleh diramal antara saiz model, jumlah data dan prestasi, yang selama ini mendorong kemajuan AI. Seorang peserta bertanya secara langsung sama ada penskalaan telah "terhenti".

Wakil Kimi menjawab dengan diagnosis yang semakin lazim di seluruh industri. "Jumlah data berkualiti tinggi tidak berkembang sepantas kuasa pengkomputeran yang tersedia," tulis mereka, "jadi penskalaan menerusi ramalan token seterusnya konvensional dengan data Internet akan memberikan peningkatan yang lebih kecil." Pemerhatian ini menyentuh kekangan asas: jumlah teks berkualiti di internet terhad, dan makmal AI sudah pun melatih model menggunakan sebahagian besarnya.

Kemudian, pasukan itu mengemukakan jalan keluar pilihan mereka. Mereka merujuk kepada Agent Swarm, keupayaan Kimi K2.5 menyelaraskan sehingga 100 sub-ejen yang bekerja serentak, sebagai satu bentuk "penskalaan semasa inferens" yang boleh membuka laluan baharu kepada peningkatan keupayaan. Penskalaan semasa inferens bermaksud menambah jumlah pengiraan ketika inferens, iaitu apabila model sedang menjawab soalan, bukannya semasa fasa latihan awal.

Dalam kerangka pasukan itu, penskalaan tidak semestinya bermaksud hanya latihan pralatih yang lebih besar. Ia juga boleh bermaksud meningkatkan jumlah kerja berstruktur ketika inferens, kemudian memasukkan semula dapatan tersebut ke dalam latihan melalui pembelajaran pengukuhan. "Mungkin ada paradigma penskalaan baharu yang boleh muncul," tulis seorang hos bersama. "Ke hadapan nanti, kemungkinan kita akan mempunyai model yang belajar dengan lebih sedikit atau langsung tanpa pengetahuan awal daripada manusia."

Dakwaan itu membayangkan bahawa ukuran kemajuan mungkin beralih daripada bilangan parameter dan lengkung kehilangan pralatih kepada sistem yang boleh merancang, mengagihkan tugas dan membuat pengesahan, dengan menggunakan alat dan sub-ejen sebagai komponen asas, bukannya bergantung pada satu laluan hadapan besar tunggal melalui rangkaian neural.

Di Sebalik Agent Swarm: Cara 100 Sub-ejen Berkongsi Memori

Pada zahirnya, Agent Swarm kedengaran seperti idea biasa dengan pembungkus baharu: ramai ejen AI bekerjasama dalam satu tugas. Sesi AMA itu menyingkap butiran yang lebih penting tentang lokasi memori disimpan, cara penyelarasan berlaku dan sebab orkestrasi tidak berubah menjadi hingar-bingar.

Seorang pembangun membangkitkan kebimbangan klasik tentang sistem berbilang ejen. Apabila terdapat 100 sub-ejen, ejen penyelaras sering menjadi kesesakan, dari segi kependaman dan perkara yang disebut komuniti sebagai "kemerosotan konteks". Kemerosotan konteks ialah penurunan prestasi yang berlaku apabila sejarah perbualan dipenuhi celoteh dalaman dan rekod penggunaan alat sehingga model hilang jejak tentang perkara yang cuba dicapainya.

Seorang hos bersama Kimi menjawab dengan pilihan reka bentuk yang penting bagi sesiapa yang membina sistem ejen untuk kegunaan perusahaan.

Sub-ejen beroperasi dengan memori kerja masing-masing dan menghantar hasil kembali kepada ejen penyelaras, dan bukannya menstrim semuanya ke dalam konteks bersama. Ini membolehkan kami meningkatkan jumlah panjang konteks melalui dimensi baharu!

Seorang lagi pembangun mempersoalkan dakwaan prestasi. Moonshot secara terbuka menyatakan bahawa Agent Swarm mampu mencapai peningkatan kelajuan kira-kira 4.5 kali ganda bagi aliran kerja yang sesuai, tetapi golongan skeptik bertanya sama ada angka itu sekadar mencerminkan sejauh mana sesuatu tugas boleh diparalelkan. Pasukan itu bersetuju: semuanya bergantung pada keadaan. Dalam sesetengah kes, sistem memutuskan bahawa sesuatu tugas tidak memerlukan ejen selari lalu mengelakkan penggunaan kuasa pengkomputeran tambahan. Mereka turut menjelaskan bahawa bajet token sub-ejen perlu diurus oleh ejen penyelaras yang menetapkan tugasan bersaiz sesuai kepada setiap sub-ejen.

Jika dibaca sebagai penerangan kejuruteraan dan bukannya pemasaran, Moonshot sedang menerangkan corak perusahaan yang biasa: pastikan satah kawalan tidak berserabut, hadkan output daripada proses pekerja dan elakkan membanjiri penyelaras dengan log yang tidak mampu diprosesnya. Seni bina ini membayangkan bahawa sistem AI masa hadapan akan lebih menyerupai kluster pengkomputeran teragih berbanding bot sembang monolitik.

Peralihan daripada Sistem 1 kepada Sistem 2

Peralihan paling besar yang dibayangkan dalam sesi AMA itu bukanlah skor penanda aras baharu. Sebaliknya, ia merupakan kenyataan tentang keutamaan penyelidikan. Satu soalan bertanya sama ada Moonshot mengalihkan kuasa pengkomputeran daripada pralatih "Sistem 1" kepada pembelajaran pengukuhan "Sistem 2". Istilah ini merujuk kepada mod kognitif yang dipopularkan ahli psikologi Daniel Kahneman: Sistem 1 ialah pemikiran pantas dan intuitif, manakala Sistem 2 ialah penaakulan lebih perlahan dan teliti.

Dalam konteks AI, ini bermaksud peralihan daripada pembelajaran corak secara luas kepada latihan yang secara jelas mengutamakan penaakulan dan tingkah laku yang betul dalam tugas berbilang langkah. Wakil Kimi menjawab bahawa kuasa pengkomputeran untuk pembelajaran pengukuhan akan terus meningkat dan mencadangkan fungsi objektif RL baharu berkemungkinan muncul, "terutamanya dalam ruang ejen".

Kenyataan itu kedengaran seperti pelan hala tuju. Apabila model semakin banyak menggunakan alat dan memecahkan tugas kepada bahagian-bahagian kecil, makmal akan membelanjakan lebih banyak sumber untuk melatih model supaya berfungsi dengan baik sebagai ejen, bukan sekadar meramal token. Bagi perusahaan, perkara ini penting kerana penambahbaikan berasaskan RL sering datang dengan kompromi. Model mungkin menjadi lebih tegas, lebih gemar menggunakan alat atau lebih sejajar dengan isyarat ganjaran yang tidak semestinya menepati jangkaan syarikat.

Apabila ditanya tentang jurang kuasa pengkomputeran antara Moonshot dengan makmal Amerika yang memiliki armada GPU jauh lebih besar, pasukan itu berterus terang. "Saya rasa jurang itu tidak semakin kecil," tulis seorang hos bersama. "Tetapi berapa banyak kuasa pengkomputeran diperlukan untuk mencapai AGI? Kita akan lihat." Seorang lagi memberikan sudut pandang yang lebih falsafah: "Terlalu banyak faktor mempengaruhi kuasa pengkomputeran yang tersedia. Namun, apa pun keadaannya, inovasi berkembang dengan adanya kekangan."

Mengapa Kimi Kadangkala Menggelarkan Dirinya Claude

Keluaran pemberat terbuka kini sering disertai syak wasangka: adakah model itu belajar terlalu banyak daripada pesaing? Syak wasangka tersebut mudah bertukar menjadi tuduhan pendistilan, iaitu apabila satu AI belajar dengan berlatih menggunakan output AI lain. Seorang pengguna membangkitkan dakwaan yang paling tidak selesa dalam kalangan komuniti model terbuka: K2.5 kadangkala mengenal pasti dirinya sebagai "Claude", model utama Anthropic. Dakwaan itu membayangkan bahawa model banyak meminjam daripada pesaing.

Moonshot tidak menafikan tingkah laku itu. Sebaliknya, mereka menerangkan keadaan yang menyebabkannya berlaku. Dengan arahan sistem yang sesuai, kata pasukan itu, model mempunyai kebarangkalian tinggi untuk menjawab "Kimi", khususnya dalam mod pemikiran. Namun, dengan arahan sistem yang kosong, model menyimpang ke dalam apa yang disebut pasukan itu sebagai "kawasan tidak ditentukan", yang mencerminkan taburan data pralatih dan bukannya pilihan latihan yang disengajakan.

Kemudian, mereka memberikan penjelasan khusus yang berkait dengan keputusan latihan. Moonshot berkata mereka telah meningkatkan kadar pensampelan data pengekodan internet yang lebih baharu semasa pralatih, dan data itu kelihatan lebih banyak dikaitkan dengan token "Claude", kemungkinan kerana pembangun yang membincangkan pembantu pengekodan AI kerap merujuk kepada model Anthropic tersebut. Pasukan itu menolak tuduhan pendistilan dengan mengemukakan keputusan penanda aras.

Malah, K2.5 nampaknya mengatasi Claude dalam banyak penanda aras. HLE, BrowseComp, MMMU Pro, MathVision, antara beberapa contohnya.

Bagi pengguna perusahaan, perkara penting bukanlah drama internet. Sebaliknya, perubahan identiti ialah mod kegagalan sebenar, yang sering boleh dikurangkan oleh organisasi dengan mengawal arahan sistem dan bukannya membiarkan model menentukan sendiri penerangan tentang identitinya. Sesi AMA itu menganggap tadbir urus arahan bukan sekadar ciri tambahan pengalaman pengguna, tetapi amalan operasi penting untuk pelaksanaan yang boleh dipercayai.

Pencarian Jiwa dalam Model Ganjaran

Satu tema yang kerap timbul dalam perbincangan itu ialah gaya penulisan K2.5 terasa lebih umum berbanding model Kimi terdahulu. Pengguna menyifatkannya lebih mirip "pembantu yang suka membantu" biasa, nada yang kini dianggap ramai pembangun sebagai personaliti lalai model yang melalui proses pascalatihan intensif. Seorang pengguna berkata mereka menyukai personaliti Kimi K2 dan bertanya apa yang berlaku.

Seorang hos bersama Kimi mengakui bahawa setiap keluaran baharu membawa perubahan personaliti dan menyifatkan personaliti sebagai sesuatu yang subjektif serta sukar dinilai. "Ini masalah yang agak sukar," tulisnya. Pasukan itu berkata mereka mahu memperbaiki isu tersebut dan menjadikan personaliti lebih mudah disesuaikan mengikut pengguna.

Dalam pertukaran berasingan tentang sama ada peningkatan keupayaan pengekodan menjejaskan penulisan kreatif dan kecerdasan emosi, wakil Kimi berhujah bahawa tiada pertentangan semula jadi jika model itu cukup besar. Namun, kata mereka, mengekalkan "cita rasa penulisan" antara versi sukar kerana model ganjaran sentiasa berubah. Pasukan itu menggunakan penanda aras dalaman, sejenis penilaian meta, untuk menjejak kemajuan penulisan kreatif dan melaraskan model ganjaran sewajarnya.

Satu lagi jawapan melangkah lebih jauh dengan menggunakan bahasa yang mungkin kedengaran luar biasa dalam spesifikasi AI korporat tetapi biasa bagi mereka yang menggunakan alat ini setiap hari. Pasukan itu bercakap tentang "jiwa" model ganjaran dan mengemukakan kemungkinan menyimpan "keadaan" pengguna yang mencerminkan cita rasanya, lalu menggunakannya untuk membentuk output model. Pertukaran itu menunjukkan satu bidang pembangunan produk yang sering dipandang rendah oleh perusahaan. Perubahan gaya bukan sekadar soal estetika. Ia boleh mengubah cara model menerangkan keputusan, menyatakan keraguan, mengendalikan kekaburan dan berinteraksi dengan pelanggan serta pekerja.

Penyahpepijatan sebagai Kerja Sebenar Penyelidikan AI

Wawasan budaya paling mendedahkan muncul sebagai jawapan kepada soalan tentang kejutan semasa latihan dan pembelajaran pengukuhan. Seorang hos bersama menjawab dengan satu perkataan yang ditebalkan untuk penekanan: penyahpepijatan.

Sama ada pralatih atau pascalatih, satu perkara sentiasa terserlah sebagai keutamaan tertinggi: penyahpepijatan.

Komen itu menjelaskan tema yang berulang sepanjang sesi tersebut. Apabila ditanya tentang kaedah "tangga penskalaan" mereka untuk menilai idea baharu pada saiz model yang berbeza, zxytim berkongsi anekdot tentang kegagalan. Pasukan itu pernah tergesa-gesa memasukkan Kimi Linear, seni bina perhatian linear eksperimental, ke dalam generasi model terdahulu. Ia gagal melepasi tangga penskalaan pada skala tertentu. Mereka berundur dan menjalani apa yang disebut hos bersama itu sebagai "proses penyahpepijatan yang sukar", lalu selepas berbulan-bulan akhirnya berjaya mengatasinya.

"Dari sudut statistik, kebanyakan idea yang berkesan pada skala kecil tidak akan melepasi tangga penskalaan," sambung mereka. "Idea yang berjaya biasanya ringkas, berkesan dan berasaskan matematik. Penyelidikan kebanyakannya berkisar tentang mengurus kegagalan, bukan meraikan kejayaan."

Bagi pemimpin teknikal yang menilai vendor AI, pengakuan itu memberikan pengajaran. Keupayaan barisan hadapan bukan hanya terhasil daripada kejayaan besar yang elegan. Ia muncul melalui usaha mengenal pasti punca kerosakan tanpa henti dan budaya organisasi yang sanggup meluangkan masa berbulan-bulan untuk masalah yang mungkin tidak dapat diselesaikan. Semakan realiti ini berbeza ketara daripada naratif digilap yang sering diketengahkan semasa pelancaran produk.

Pelan Hala Tuju K3 dan Pembelajaran Berterusan

Sesi AMA itu juga menjadi bayangan halus kepada generasi Kimi seterusnya. Pembangun bertanya sama ada Kimi K3 akan menggunakan penyelidikan perhatian linear Moonshot, yang bertujuan mengendalikan konteks panjang dengan lebih cekap berbanding mekanisme perhatian tradisional. Anggota pasukan mencadangkan pendekatan linear ialah pilihan yang serius. "Kemungkinan besar Kimi Linear akan menjadi sebahagian daripada K3," tulis seorang daripada mereka. "Kami juga akan memasukkan pengoptimuman lain."

Dalam pertukaran lain, seorang hos bersama meramalkan K3 "akan jauh lebih baik, mungkin sehingga 10 kali ganda, berbanding K2.5." Pasukan itu turut mengetengahkan pembelajaran berterusan sebagai hala tuju yang sedang giat diterokai, dengan membayangkan masa depan apabila ejen dapat bekerja dengan berkesan dalam jangka masa lebih panjang. Ini keperluan kritikal bagi perusahaan jika ejen mahu mengendalikan projek berterusan dan bukannya tugas satu pusingan sahaja.

"Kami percaya pembelajaran berterusan akan meningkatkan keupayaan ejen dan membolehkan mereka bekerja dengan berkesan untuk tempoh yang jauh lebih panjang," tulis seorang hos bersama. Berkenaan Agent Swarm secara khusus, pasukan itu berkata mereka merancang untuk menyediakan rangka orkestrasi kepada pembangun apabila sistem itu lebih stabil. "Mudah-mudahan tidak lama lagi," tambah mereka.

Gambaran AI Terbuka pada 2026

Sesi itu tidak menjawab setiap persoalan. Beberapa soalan paling teknikal tentang resipi latihan multimodal, pertahanan terhadap manipulasi ganjaran dan tadbir urus data ditangguhkan kepada laporan teknikal yang bakal diterbitkan. Itu perkara biasa. Banyak makmal kini menganggap butiran paling penting dari segi operasi sebagai maklumat sensitif.

Namun, perbincangan itu tetap mendedahkan ke mana persaingan sebenar AI telah beralih. Jurang paling penting bukan antara China dengan Amerika Syarikat, atau antara model terbuka dengan tertutup. Sebaliknya, jurang itu wujud antara janji model dengan perkara yang benar-benar mampu disampaikan oleh sistem. Orkestrasi semakin menjadi produk itu sendiri. Moonshot bukan sekadar mengeluarkan model. Mereka mengetengahkan pandangan bahawa kemajuan seterusnya datang daripada ejen yang boleh membahagikan kerja, menggunakan alat dan memulangkan hasil berstruktur dengan pantas.

Pemberat terbuka bertembung dengan realiti perkakasan, apabila pembangun menuntut keterbukaan yang boleh dijalankan secara setempat, bukannya keterbukaan yang memerlukan pusat data. Medan persaingan pula beralih daripada kecerdasan mentah kepada kebolehpercayaan, daripada mengatasi penanda aras dengan dua mata kepada menyahpepijat disiplin penggunaan alat, mengurus memori dalam aliran kerja berbilang ejen dan mengekalkan "cita rasa" yang sukar diukur tetapi menentukan sama ada pengguna mempercayai output.

Moonshot muncul di Reddit selepas pelancaran berprofil tinggi dan ketika naratif geopolitik semakin berkembang. Namun, pembangun yang menunggu di sana mengambil berat tentang soalan yang lebih praktikal: Bilakah sesuatu yang terbuka benar-benar boleh digunakan? Dari sudut itu, sesi AMA tersebut bukan sekadar memasarkan Kimi K2.5. Ia memberikan gambaran tentang industri yang sedang berubah, daripada model lebih besar kepada pengiraan yang lebih berstruktur, daripada API tertutup kepada pemberat terbuka yang masih memerlukan kejuruteraan serius untuk dilaksanakan, serta daripada meraikan kejayaan kepada mengurus kegagalan.

Sekilas Pandang

• Moonshot AI mengeluarkan Kimi K2.5, model sumber terbuka bersaiz 595GB, kemudian mengadakan sesi AMA Reddit di r/LocalLLaMA yang berdepan soalan tentang kebolehgunaan praktikal
• Pembangun menuntut model lebih kecil (8B-70B parameter) untuk perkakasan setempat, tetapi Moonshot mencadangkan 200B-300B parameter sebagai saiz minimum untuk kegunaan meluas
• Pasukan itu mengakui hukum penskalaan semakin mendatar kerana data latihan berkualiti tinggi terhad, lalu beralih kepada "penskalaan semasa inferens" melalui Agent Swarm yang menyelaraskan 100 sub-ejen
• Agent Swarm menggunakan memori kerja berasingan bagi setiap sub-ejen untuk mengelakkan kemerosotan konteks, sementara ejen penyelaras mengurus bajet token dan pembahagian tugas
• Kuasa pengkomputeran untuk pembelajaran pengukuhan akan meningkat, mengalihkan tumpuan daripada padanan corak Sistem 1 kepada penaakulan Sistem 2 dan latihan tingkah laku ejen
• Moonshot menjelaskan perubahan identiti (model menggelarkan dirinya "Claude") sebagai kesan peningkatan kadar pensampelan data pengekodan yang banyak mengandungi rujukan kepada Claude, bukannya pendistilan
• Personaliti dan "jiwa" masih sukar diukur serta dikekalkan antara versi, dengan rancangan untuk membina keadaan cita rasa khusus bagi setiap pengguna
• Kimi K3 dijangka merangkumi seni bina perhatian linear dan keupayaan pembelajaran berterusan untuk tugas ejen jangka panjang