La précision de GPT-5.4 chute de 100 % à 54 % sur ARC-AGI après un résumé répété de la mémoire

D’après Beating, une récente étude sur la mémoire d’agents par Dylan Zhang, doctorant à l’Université de l’Illinois, a révélé que la répétition de la résumation des expériences du modèle peut dégrader les performances plutôt que les améliorer. Dans des tâches ARC-AGI, GPT-5.4 a atteint 100% de précision sur 19 problèmes sans mémoire, mais après plusieurs tours de compression de la mémoire basés sur des trajectoires de solution correctes, la précision est tombée à 54%. De même, dans des tâches d’achat WebShop, la méthode de mémoire AWM a obtenu 0,64 avec 8 trajectoires d’experts, mais est retombée à 0,20 avec 128 trajectoires, revenant au niveau de base. La recherche suggère que le problème vient d’une sur-résumation : chaque étape d’abstraction fait perdre des détails spécifiques et fusionne des règles propres à la tâche en directives génériques, ce qui finit par dégrader les performances du modèle.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire