AMI Labs Mitgründer Xie Saining: LLM ist gewissermaßen das "Anti-Bitter-Lesson", Weltmodelle sind die Zukunft

Gate News Nachrichten, am 16. März, hat AMI Labs, das Weltmodell-Unternehmen, das eine Seed-Finanzierung in Höhe von 1,03 Milliarden US-Dollar abgeschlossen hat, seinen Mitbegründer und Chief Scientist sowie Co-Autor des Papiers zu Diffusion Transformer (DiT), Xie Saining, erstmals in einem ausführlichen öffentlichen Interview sprechen lassen. Xie Saining kritisierte systematisch die aktuelle AI-Route, die auf großen Sprachmodellen (LLMs) basiert, und argumentierte, dass LLMs nicht die Erfolgsgeschichte des „Bitter Lesson“ von Richard Sutton widerspiegeln, sondern sogar „in gewisser Weise das Gegenteil der Bitter Lesson sind“. Er betonte, dass Sprache selbst eine hochentwickelte Struktur der menschlichen Zivilisation ist, die einer Art „Abkürzung“ entspricht, und eine zu starke Abhängigkeit davon die Fähigkeit von AI einschränkt, aus der realen Welt zu lernen. Er unterschied zwischen Weltmodellen und Sprachmodellen: Sprachmodelle prognostizieren das „nächste Token“, während Weltmodelle auf Basis von Aktionen das „nächste Zustandsbild“ vorhersagen, was es ermöglicht, im Denkprozess die Folgen von Handlungen vorherzusehen und so eine sicherere und kontrollierbare Intelligenz zu schaffen. Er sagte auch, dass „AGI ein Trugschluss ist“ und dass es schwieriger ist, eine intelligente Entität zu entwickeln, die in der realen Welt überleben kann, als mathematische Wettbewerbe zu lösen oder Code zu schreiben. Xie Saining verriet außerdem, dass er zweimal die Einladung von Ilya Sutskever abgelehnt hat: 2018, als er sich gegen den Beitritt zu OpenAI entschied und stattdessen Meta FAIR wählte, sowie 2024, als er die Einladung seines neuen Unternehmens SSI ablehnte, aufgrund von Meinungsverschiedenheiten in Bezug auf multimodale und visuelle Ansätze. Er erklärte, dass AMI Labs bewusst kein Büro im Silicon Valley hat, weil „das Silicon Valley bereits tief in der LLM-Route steckt“. Das Unternehmen hat seinen Hauptsitz in Paris und sammelt reale Welt-Daten durch globale Partner. Er ist der Ansicht, dass sich das AI-Trainingsparadigma von „Internet-Download“ zu „Mensch-Download“ verschiebt, wobei kurzfristige Anwendungsfelder AI-Smart-Brillen und Roboter sein werden.