Según la socia de Y Combinator Diana Hu en X, el futuro del desarrollo de IA pasa por construir capas de software delgadas sobre modelos fundacionales que permitan a los sistemas de IA escribir y perfeccionar código de forma autónoma, en lugar de limitarse a ampliar los parámetros del modelo. Este enfoque permite que la IA pruebe, modifique y simplifique el código basándose en los resultados de la ejecución, sin necesidad de realizar un costoso ajuste fino del modelo base en sí.
La visión de Hu coincide con una investigación reciente de Wen Jiayue, miembro clave del equipo de post-entrenamiento de OpenAI, quien demostró que los modelos grandes pueden dominar tareas escribiendo código en Python y depurándolo sin ajustar ningún parámetro del modelo, ejemplificado por un entrenamiento exitoso en el rendimiento de juegos de Atari.