انخفاض دقة GPT-5.4 من 100% إلى 54% على ARC-AGI بعد عمليات تلخيص متكررة للذاكرة

وفقاً لـ Beating، كشفت دراسة حديثة للذاكرة لدى الوكلاء أجراها ديلان تشانغ، طالب دكتوراه في جامعة إلينوي، أن تلخيص تجارب النموذج بشكل متكرر يمكن أن يُضعف الأداء بدل أن يحسّنه. في مهام ARC-AGI، حقق GPT-5.4 دقة 100% على 19 مسألة دون ذاكرة، لكن بعد عدة جولات من ضغط الذاكرة استناداً إلى مسارات الحل الصحيحة انخفضت الدقة إلى 54%. وبالمثل، في مهام التسوق عبر WebShop، سجّل أسلوب AWM للذاكرة 0.64 مع 8 مسارات خبراء، لكنه تراجع إلى 0.20 مع 128 مساراً، وعاد إلى مستوى الأساس. تشير نتائج البحث إلى أن المشكلة تنبع من الإفراط في التلخيص: إذ تفقد كل خطوة تجريد تفاصيل محددة وتدمج القواعد الخاصة بالمهمة ضمن إرشادات عامة، ما يؤدي في النهاية إلى تدهور أداء النموذج.
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة مستمدة من مصادر خارجية وهي للمرجعية فقط. لا تمثل هذه المعلومات آراء أو وجهات نظر Gate ولا تشكل أي نصيحة مالية أو استثمارية أو قانونية. ينطوي تداول الأصول الافتراضية على مخاطر عالية. يرجى عدم الاعتماد حصرياً على المعلومات الواردة في هذه الصفحة عند اتخاذ القرارات. لمزيد من التفاصيل، يرجى الرجوع على إخلاء المسؤولية.
تعليق
0/400
لا توجد تعليقات