Laut Y Combinator-Partnerin Diana Hu auf X liegt die Zukunft der KI-Entwicklung darin, dünne Software-Schichten auf Foundation Models aufzubauen, die KI-Systemen ermöglichen, Code eigenständig zu schreiben und zu verfeinern – statt lediglich Modellparameter zu erweitern. Der Ansatz erlaubt es der KI, Code anhand von Ausführungsergebnissen zu testen, zu ändern und zu vereinfachen, ohne dass dafür ein kostspieliges Fine-Tuning des Basismodells selbst nötig ist.
Hu’s Sichtweise spiegelt aktuelle Forschung von Wen Jiayue wider, einem Kernmitglied des Post-Training-Teams von OpenAI, der gezeigt hat, dass große Modelle Aufgaben meistern können, indem sie Python-Code schreiben und debuggen, ohne irgendeine Modell-Parameter anzupassen – veranschaulicht durch erfolgreiches Training auf Atari-Spielperformance.