Selon Diana Hu, partenaire de Y Combinator, sur X, l’avenir du développement de l’IA réside dans la création de couches logicielles fines par-dessus des modèles de base qui permettent aux systèmes d’IA d’écrire et d’améliorer le code de manière autonome, plutôt que de se contenter d’étendre uniquement les paramètres des modèles. Cette approche permet à l’IA de tester, de modifier et de simplifier du code en fonction des résultats d’exécution, sans exiger un fine-tuning coûteux du modèle de base lui-même.
La vision de Hu fait écho à des recherches récentes de Wen Jiayue, membre clé de l’équipe de post-formation d’OpenAI, qui a montré que de grands modèles peuvent maîtriser des tâches en écrivant du code Python et en le déboguant, sans ajuster aucun paramètre du modèle — illustré par un entraînement réussi sur la performance de jeux Atari.