Akurasi GPT-5,4 Turun dari 100% ke 54% pada ARC-AGI Setelah Ringkasan Memori Berulang

Menurut Beating, studi memori Agent terbaru oleh Dylan Zhang, mahasiswa PhD di University of Illinois, menemukan bahwa merangkum pengalaman model secara berulang dapat menurunkan performa, bukan meningkatkannya. Pada tugas ARC-AGI, GPT-5.4 mencapai akurasi 100% pada 19 soal tanpa memori, tetapi setelah beberapa putaran kompresi memori berdasarkan lintasan solusi yang benar, akurasi turun menjadi 54%. Demikian pula, pada tugas belanja WebShop, metode memori AWM meraih skor 0,64 dengan 8 lintasan ahli namun turun menjadi 0,20 dengan 128 lintasan, lalu kembali ke baseline. Riset ini menyarankan masalah berasal dari terlalu banyak peringkasan: setiap langkah abstraksi kehilangan detail spesifik dan menggabungkan aturan yang khusus untuk tugas menjadi panduan generik, yang pada akhirnya menurunkan performa model.
Penafian: Informasi di halaman ini mungkin berasal dari sumber pihak ketiga dan hanya untuk referensi. Ini tidak mewakili pandangan atau pendapat Gate dan bukan merupakan nasihat keuangan, investasi, atau hukum. Perdagangan aset virtual melibatkan risiko tinggi. Mohon jangan hanya mengandalkan informasi di halaman ini saat membuat keputusan. Untuk detailnya, lihat Penafian.
Komentar
0/400
Tidak ada komentar