Penyelidik MIT berkata GPT-6 Astra meningkatkan skor matematik Qwen dengan menyunting pemberatnya secara langsung

Tampalan berangka kecil menghasilkan peningkatan skor yang besar

Penyelidik di Makmal Sains Komputer dan Kecerdasan Buatan MIT berkata GPT-6 Astra daripada OpenAI menaikkan skor matematik model Qwen kecil daripada 7.9% kepada 48.1% dengan mengubah hanya 131,072 daripada kira-kira 800 juta parameter berangkanya. Campur tangan itu menyasarkan kegagalan khusus: model berulang kali menjana teks sehingga kehabisan ruang untuk menjawab.

Rikiya Takehi, Jayden Teoh, Alex Zhang dan Omar Khattab menghuraikan eksperimen itu dalam hantaran penyelidikan bertarikh 2 November bertajuk Sparks of Weight-Space Programming, yang kemudian dilaporkan pada 3 November 2026. Pendekatan mereka meminta model bahasa memeriksa, mentafsir dan menulis semula secara langsung pemberat rangkaian neural lain, iaitu nombor yang menentukan cara rangkaian memproses maklumat.

Keputusan paling kukuh melibatkan Qwen3.5-0.8B. Ketepatannya dalam MATH-500 meningkat sebanyak 40.2 mata peratusan, atau kira-kira enam kali ganda skor asal, selepas Astra mengubah sekitar 0.016% pemberatnya. Ketepatan bagi soalan matematik GSM8K meningkat daripada 13.8% kepada 67.1%, manakala skor pematuhan arahan IFEval naik daripada 21.0% kepada 62.3%, hampir tiga kali ganda keputusan awal.

Eksperimen itu melangkaui matematik. Astra mengenal pasti tujuan rangkaian kecil, membaiki pengawal pemanduan simulasi dan menulis rangkaian permainan secara langsung berdasarkan peraturan dan kod sumber. Ujian lain mendedahkan batasannya: Astra sukar mengenal pasti kecenderungan berlebihan untuk bersetuju dengan pengguna hanya daripada pemberat, dan suntingannya hampir tidak meningkatkan keupayaan matematik model bahasa lain.

Bagi pembangun, peluang segera ialah satu bentuk baharu pembaikan model. Daripada melatih rangkaian melalui satu lagi pusingan latihan konvensional, pembantu AI boleh menyiasat kegagalan dan mengubah mekanisme berangka yang menyebabkannya. Keputusan Qwen juga menunjukkan sebab sifat kegagalan sama pentingnya dengan besarnya peningkatan skor.

Apakah maksud sebenar pengaturcaraan pemberat?

Rangkaian neural menukar input kepada output melalui lapisan pengiraan. Pemberatnya mengawal kekuatan isyarat yang dihantar antara komponen. Latihan biasanya melaraskan nombor tersebut berulang kali, dengan menggunakan contoh dan ukuran ralat matematik untuk menentukan perubahan yang berguna.

Penurunan kecerunan ialah kaedah lazim untuk mengira pelarasan tersebut. Kaedah ini menganggarkan arah perubahan pemberat yang dapat mengurangkan ralat. Dalam eksperimen ini, Astra sebaliknya menaakul tentang rangkaian sasaran dan menulis perubahan itu sendiri, tanpa gelung latihan yang mengira suntingan berkenaan.

Takehi, pelajar PhD di MIT CSAIL, menerangkan aliran kerja yang dicadangkan itu dalam kenyataan di media sosial:

Daripada menjalani latihan, model mungkin menganggap pemberat mentah seperti kod yang boleh dibaca dan disunting: mendiagnosis kegagalan dan membaikinya secara langsung.

Perbandingan dengan pembaikan perisian ini berguna. Pengatur cara yang menyiasat aplikasi rosak mungkin mencari fungsi yang bermasalah lalu menulisnya semula. Dalam hal ini, Astra mencari corak berangka yang berkaitan dengan tingkah laku yang tidak diingini. Pemberat rangkaian neural lebih sukar ditafsir berbanding perisian biasa kerana biasanya tiada nama yang mudah difahami manusia untuk menerangkan fungsinya.

Eksperimen itu menawarkan tahap bantuan yang berbeza. Dalam sesetengah ujian, Astra hanya diberikan pemberat dan penerangan seni bina model. Ujian lain turut menyediakan persekitaran Python, contoh atau kebenaran untuk menjalankan model sasaran. Dalam kes Qwen, walaupun tanpa latihan konvensional, proses itu masih memerlukan pengiraan yang banyak, soalan latihan dan pengujian.

Bagaimana Astra menghentikan pengulangan Qwen

Tingkah laku awal Qwen memberikan Astra masalah yang luar biasa jelas untuk disiasat. Dalam kelompok awal 96 soalan, 85 jawapan mencapai had maksimum output sebanyak 32,768 token. Token ialah cebisan teks yang dibaca dan dihasilkan oleh model bahasa, selalunya perkataan atau sebahagian perkataan. Kira-kira 95% jawapan yang terpotong itu berakhir dengan pengulangan.

Penilaian MATH-500 yang lebih luas menunjukkan masalah sama: 93.0% jawapan asas mencapai had token. Astra mengaitkan tingkah laku berulang itu dengan arah berangka yang dikaitkan dengan output komponen suap hadapan dalam lapisan 15 dan 19. Komponen ini, yang sering dipanggil perceptron berbilang lapisan atau MLP, mengubah maklumat dalam setiap lapisan.

Arah berangka ialah corak yang tersebar merentasi banyak nilai, bukannya satu suis. Astra menolak arah yang dikaitkan dengan pengulangan itu daripada 64 lajur output dalam setiap dua lapisan berkenaan. Perubahan itu melibatkan 131,072 pemberat dan mengurangkan bahagian jawapan MATH-500 yang mencapai had token kepada 33.1%.

Corak jawapan yang berjaya diperbetulkan membantu menjelaskan peningkatan itu. Daripada 1,152 soalan yang diketepikan, 579 jawapan berubah daripada salah kepada betul, manakala lima berubah daripada betul kepada salah. Daripada 579 peningkatan itu, 576 jawapan asalnya terpotong apabila mencapai had output. Maka, kebanyakan peningkatan berlaku apabila model yang disunting dapat melengkapkan jawapan yang sebelum ini terganggu oleh pengulangan.

Kira-kira satu pertiga jawapan MATH-500 masih menggunakan sepenuhnya had output selepas tampalan itu. Rangkaian yang disunting jauh lebih berguna dalam keadaan ujian tersebut, tetapi pengulangan masih menjadi masalah besar.

Mencari tampalan memerlukan siasatan berjam-jam

Usaha terbaik Astra untuk Qwen menggunakan peruntukan 50 permintaan penilaian, dengan setiap permintaan berpotensi meliputi ratusan contoh. Siasatan itu melibatkan 158 giliran perbualan, 80 pelaksanaan Python dan 20.3 jam, termasuk 4.7 jam menunggu ketika gangguan perkhidmatan.

Persekitaran kerja itu menyediakan lebih 14,000 soalan latihan daripada set latihan GSM8K dan MATH, akses kepada pemberat Qwen serta kotak pasir Python yang berjalan pada CPU. Kotak pasir itu membenarkan sehingga 300 pelaksanaan kod. Percubaan lain menggunakan peruntukan 10 atau 25 permintaan penilaian.

Angka ketepatan yang dilaporkan juga bergantung pada tetapan penjanaan tertentu. Penilaian menggunakan mod penaakulan, had output 32,768 token dan suhu 0.6. Suhu mengawal jumlah kerawakan dalam pemilihan token seterusnya; kad model mengesyorkan suhu 1.0 untuk tugasan teks dalam mod penaakulan. Perbezaan ini penting apabila menghasilkan semula tingkah laku awal dan membandingkan keputusan.

Urutan praktikalnya ialah:

• Penyelidik memberikan model sasaran, soalan latihan dan alat untuk memeriksa pemberat serta menguji tingkah laku kepada Astra.
• Astra menyiasat output berulang dan merangka suntingan khusus pada lapisan 15 dan 19.
• Penilaian mengukur peningkatan dalam matematik dan pematuhan arahan, serta pengurangan jawapan yang mencapai had output.
• Pasukan itu menghuraikan kerja tersebut pada 2 November dan berkata mereka sedang membangunkan penanda aras serta rangka kerja pengujian.

Suntingan akhirnya kecil, tetapi proses untuk menemuinya jauh lebih besar. Sama ada pendekatan ini menjimatkan masa atau sumber pengkomputeran berbanding penalaan halus konvensional masih menjadi persoalan praktikal yang belum terjawab.

Membaca permainan, bentuk dan bahasa daripada nombor

Ujian pemeriksaan Astra bermula dengan empat rangkaian permainan yang dilatih menggunakan pengoptimuman dasar proksimal, atau PPO, iaitu kaedah pembelajaran pengukuhan yang meningkatkan tingkah laku melalui ganjaran. Rangkaian itu berkongsi struktur, input dan pilihan tindakan yang sama. Tanpa senarai permainan yang mungkin, Astra mengenal pasti permainan tersebut sebagai Breakout, Pong, Pac-Man dan Freeway.

Menurut penyelidik, Astra meneliti corak dalam lapisan pertama serta perbezaan cara lapisan output memilih tindakan. Dalam contoh pengenalpastian Breakout, Astra memberikan keyakinan 99% terhadap jawapannya. Tahap keyakinan itu ialah penilaian Astra sendiri terhadap pengenalpastian tersebut.

Tiga model resapan kecil menawarkan satu lagi ujian. Setiap model telah belajar menjana bulatan, segi tiga atau segi empat sama. Tanpa menjalankannya, Astra mengenal pasti bentuk berkenaan dengan mencari garis luar dalam pemberat lapisan outputnya. Lukisan Astra berongga walaupun model menghasilkan bentuk pejal, satu perincian luar biasa yang mengaitkan tafsirannya dengan struktur berangka yang diperiksa.

Pengenalpastian bahasa diuji menggunakan tiga model, setiap satunya mengandungi 7.2 juta parameter dan dilatih untuk meramalkan aksara seterusnya dalam kod Python, bahasa Jepun berhuruf Latin atau bahasa Inggeris. Astra hanya diberikan lapisan pertengahan dan berjaya mengenal pasti bahasa latihan dalam kedua-dua percubaan.

Astra juga menemui kepala salin model, iaitu komponen perhatian yang membantu mengulang teks yang pernah ditemui. Model Python mempunyai lebih banyak kepala sedemikian, selaras dengan penggunaan berulang nama pemboleh ubah dan fungsi yang sama dalam kod. Model bahasa Jepun berhuruf Latin mempunyai lebih sedikit arah yang ditulis oleh modul terakhirnya, selaras dengan set aksara lazim yang lebih kecil.

Membaiki kereta dan membina pemain permainan

Sebuah kereta simulasi dalam persekitaran Kinetix telah mempelajari tabiat yang tidak membantu: kereta itu memandu ke arah cerun lalu tersekat. Mengundur terlebih dahulu akan menyediakan ruang yang mencukupi untuk memecut naik dengan jayanya. Dengan pemberat pengawal, penerangan senario dan satu rakaman kegagalan, Astra menghasilkan pembaikan dalam satu respons tanpa menggunakan alat.

Tampalan itu mengubah 3.5% pemberat dan berjaya dalam kesemua 1,024 ujian. Astra menambah laluan kecil dalam rangkaian untuk menjejak kedudukan dan kelajuan, kemudian menyerahkan kawalan kembali kepada rangkaian asal selepas kereta melepasi penanda.

Bagi permainan MinAtar Breakout, Seaquest dan Asterix, Astra menghadapi tugasan berbeza: menulis rangkaian dasar dari awal. Rangkaian dasar menukar keadaan permainan kepada tindakan. Astra diberikan peraturan, kod sumber dan seni bina yang diperlukan, tetapi tidak diberikan contoh latihan, pengiraan kecerunan, alat atau peluang untuk bermain sebelum penilaian.

Rangkaiannya mengatasi garis dasar PPO yang dilatih selama 100 juta langkah dalam ketiga-tiga permainan. Breakout menunjukkan perbezaan angka paling besar: Astra mendapat skor 517.4, berbanding 15.8 bagi garis dasar yang dilatih selama 100 juta langkah dan 25.3 bagi model yang dilatih selama 500 juta langkah. Perbandingan terakhir itu bersamaan dengan kelebihan kira-kira 20 kali ganda.

Kelebihan itu berbeza mengikut permainan. Berbanding model PPO yang dilatih selama 500 juta langkah, Astra hampir menyamai prestasi dalam Asterix dan mencapai kira-kira 60% daripada skor Seaquest. Reka bentuk Breakoutnya menterjemahkan strategi yang dinyatakan secara jelas kepada pemberat: anggarkan tempat bola akan mendarat, kemudian gerakkan pemukul ke arah kedudukan itu.

Rangkaian Go yang lebih besar memerlukan aliran kerja berbeza

Eksperimen Go menggunakan rangkaian dengan kira-kira 1.5 juta parameter, terlalu besar untuk dimasukkan terus ke dalam tetingkap konteks Astra, iaitu jumlah maklumat yang boleh dikendalikannya pada satu-satu masa. Sebaliknya, penyelidik menyediakan kotak pasir Python untuk memeriksa dan menyunting pemberat tersebut.

Seni binanya mempunyai 243 input, enam lapisan tersembunyi dengan 512 unit setiap satu dan 82 output. Astra menyusunnya seperti program Go yang ringkas: lapisan awal mewakili batu dan kebebasan, iaitu titik kosong bersebelahan yang memastikan kumpulan batu terus hidup. Lapisan pertengahan menyampaikan maklumat antara kumpulan yang bersambung untuk mengenal pasti bahaya.

Lapisan akhir memberikan skor kepada gerakan untuk menangkap batu lawan, menyelamatkan kumpulan yang terancam, melindungi mata dan mengelakkan atari, iaitu keadaan apabila sesebuah kumpulan hanya mempunyai satu kebebasan yang tinggal. Strategi ini dibentuk melalui pemberat berangka, bukannya dipelajari daripada permainan berulang kali.

Tanpa sebarang penilaian prestasi, rangkaian Astra memenangi lebih separuh daripada permainannya menentang dua rangkaian PPO yang lebih kecil. Dengan peruntukan 50 penilaian, rangkaian itu mengatasi rangkaian bersaiz sama yang dilatih menggunakan 20 juta permainan. Maklum balas membolehkan Astra meneliti kekalahan dan mengekalkan perubahan yang meningkatkan permainan.

Dua ujian sukar mendedahkan batasan

Gemma 3 270M memberikan perbandingan yang berguna dengan Qwen. Model itu jarang terperangkap dalam gelung pengulangan. Sebaliknya, Astra menemui kesilapan penaakulan biasa, termasuk kesilapan aritmetik dan langkah algebra yang tidak sah. Suntingan kecil, termasuk menggandakan kekuatan neuron yang bertindak balas terhadap nombor, meningkatkan ketepatan MATH-500 tidak lebih daripada kira-kira satu mata peratusan.

Perbandingan ini menunjukkan perbezaan praktikal. Menghapuskan tingkah laku berulang boleh membolehkan model menggunakan keupayaan yang sudah dimilikinya. Membetulkan pelbagai kesilapan matematik yang berbeza memerlukan penyelesaian lebih luas daripada menghapuskan satu corak berangka yang dikongsi.

Sikap menjilat, iaitu kecenderungan bersetuju dengan pengguna walaupun pengguna itu salah, terbukti sukar diperiksa secara langsung. Penyelidik menala halus pasangan model Gemma 3 270M menggunakan data soalan dan jawapan yang sama. Satu model dilatih untuk menjawab dengan betul; model yang satu lagi dilatih untuk bersetuju dengan cadangan pengguna.

Astra tidak dapat membezakan kedua-duanya dengan andal berdasarkan pemberat sahaja. Apabila dibenarkan memeriksa corak perhatian pada teks yang ditulisnya, tanpa melihat jawapan model, Astra berjaya mengenal pasti model yang bersikap menjilat dalam ketiga-tiga pasangan. Model tersebut menumpukan lebih banyak perhatian lapisan pertengahan pada kandungan yang dicadangkan pengguna.

Ukuran perhatian menunjukkan bahagian yang menerima tumpuan sebahagian daripada pemprosesan model ketika mengendalikan teks. Kegunaannya dalam kes ini menjadikan pemeriksaan berasaskan pelaksanaan penting untuk diagnosis yang berjaya. Mengesan sikap bersetuju secara berlebihan ialah tugasnya; mengubah tingkah laku itu merupakan aplikasi berasingan yang dicadangkan.

Perkara yang mahu diuji oleh penyelidik seterusnya

Pasukan MIT melihat kemungkinan kegunaan dalam pemeriksaan model, pembaikan bersasar, mengubah keupayaan tanpa data latihan konvensional dan memindahkan komponen berguna antara seni bina berbeza. Penyuntingan model secara langsung sudah lama dikaji, termasuk ROME yang dibentangkan di NeurIPS pada 2022 dan MEMIT yang dibentangkan di ICLR pada 2023. Kajian ini meneroka penggunaan model bahasa serba guna untuk menaakul dan melaksanakan suntingan itu sendiri.

Peningkatan diri secara rekursif ialah satu lagi hala tuju yang dicadangkan: sistem AI boleh membantu menambah baik model yang kemudiannya menjadi lebih baik dalam melaksanakan penambahbaikan seterusnya. Eksperimen ini menggunakan tugasan, alat dan peruntukan penilaian yang ditetapkan manusia, dengan Astra bekerja pada rangkaian lain. Kitaran berulang yang andal memerlukan eksperimen lanjut.

Pasukan itu menerbitkan log eksperimen dan artifak penyuntingan, manakala repositori awamnya dikatakan mengandungi rekod 1,125 panggilan model. Langkah seterusnya yang dinyatakan ialah membangunkan penanda aras dan rangka kerja eksperimen untuk penilaian yang konsisten. Tarikh keluaran tidak diberikan.

Bagi mereka yang membina aplikasi AI, dapatan paling konkrit lebih khusus dan mudah difahami: pembaikan berangka kecil boleh menghasilkan peningkatan besar apabila kerosakan berulang menghalang model daripada menyelesaikan tugas berguna. Keputusan berbeza bagi Gemma dan sikap menjilat menunjukkan sebab setiap pembaikan yang dicadangkan memerlukan diagnosis dan pengujian tersendiri.

Perkara Utama

• Astra mengubah 131,072 pemberat Qwen, kira-kira 0.016% daripada model itu, lalu meningkatkan ketepatan MATH-500 daripada 7.9% kepada 48.1%.
• Ketepatan GSM8K meningkat daripada 13.8% kepada 67.1%, manakala IFEval meningkat daripada 21.0% kepada 62.3%.
• Pembaikan utama mengurangkan output berulang; bahagian jawapan MATH-500 yang mencapai had token turun daripada 93.0% kepada 33.1%.
• Percubaan Qwen yang paling berjaya menggunakan 50 permintaan penilaian dan mengambil masa 20.3 jam, termasuk tempoh gangguan perkhidmatan.
• Astra turut membaiki pengawal kereta simulasi dan menulis rangkaian untuk permainan ringkas serta Go.
• Gemma menunjukkan sedikit peningkatan dalam matematik, manakala pengenalpastian sikap menjilat memerlukan ukuran perhatian.
• Penyelidik sedang membangunkan penanda aras dan rangka kerja pengujian untuk pengaturcaraan ruang pemberat.