Augment Code teste l'impact d'AGENTS.md sur la génération de code : le meilleur équivaut à une mise à niveau du modèle, le pire vaut moins que rien.

robot
Création du résumé en cours
ME News消息,4月23日(UTC+8),据动察Beating监测,AI编程工具公司Augment Code从自家monorepo中抽取数十份AGENTS.md,用内部评测套件AuggieBench测量它们对编码agent产出的实际影响。做法是拿已合并的高质量PR当基准,让agent在有和没有AGENTS.md两种条件下重做同一任务,对比评分。差距比预期大得多。写得最好的AGENTS.md带来的质量提升相当于把模型从Haiku换成Opus,写得最差的还不如完全没有。而且同一份文件在不同任务上效果可以相反:它让一个bug修复的规范符合度升了25%,却让同模块一个复杂功能的完成度掉了30%。管用的写法有几条:主文件控制在100到150行、配几份聚焦参考文档,在百来个核心文件的中等模块里能带来10%到15%的全面提升。把流程写成编号步骤效果最好,一个6步部署流程将漏文件的PR从40%砍到10%,正确率升了25%。用决策表帮agent在动手前选对方案,规范符合度也升了25%。写禁令必须配替代方案,光写「不要」会让agent犹豫不决,15条以上连续警告效果明显恶化。最容易翻车的是文档太多。agent一旦被拽进大量架构文档,加载几十万token之后产出反而变差。有个模块攒了226份文档超过2MB,AGENTS.md再好也没用。另外AGENTS.md是agent 100%会读的唯一文档位置,_docs/下没被引用的文档发现率不到10%。(来源:动察Beating)
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire