Andrej Karpathy, Mitgründer von OpenAI und ehemaliger Chief AI Officer bei Tesla, gab am 19. Mai auf X bekannt, dass er zu Anthropic wechselt. Seit dieser Woche leitet er das Team und führt die Research-Arbeiten zur Vorab-Trainingsphase für Claude an. Anthropic bestätigte, dass das Vortraining die grundlegende Trainingsphase ist, um Claude die Kernfähigkeiten der Sprache zu vermitteln, und dass es zugleich der rechnerisch kostenintensivste Teil im gesamten KI-Modellaufbau-Prozess ist.
Vorab-Trainingsaufgaben bestätigt: Die teuerste Phase, um Claude Kernfähigkeiten zu geben
In einer offiziellen Erklärung bestätigte Anthropic, dass Karpathy für die Vorab-Trainingsforschung für Claude verantwortlich ist: also das grundlegende Training des Modells mit großen Datenmengen aus Textkorpora, das die zentralen Fähigkeiten für Sprachverständnis und Schlussfolgern bestimmt. Karpathy hatte 2024 bereits KI-Codierungsagenten mit kleinen Sprachmodellen kombiniert und in 2 Tagen 700 Experimente durchgeführt. Dabei gelang es, die Trainingszeit für große Modelle um 11% zu verkürzen. Diese automatisierte Forschungs-Methodik wird in der Branche als „Karpathy Loop“ bezeichnet.
Karpathys Karriereverlauf: Der Weg von OpenAI zu Anthropic
Karpathy war 2015 einer der Mitgründer von OpenAI. 2017 soll Elon Musk ihn abgeworben haben, während er gleichzeitig Tesla und OpenAI im Vorstand unterstützte, um bei Tesla als Chief AI Officer zu arbeiten und das Team für computergestützte Bildverarbeitung für autonomes Fahren zu leiten. Gerichtsunterlagen zeigen, dass Musk Karpathy damals als den „zweiten Platz“ weltweit in der Computer Vision bewertete und sagte: „Die Leute von OpenAI werden ihn umbringen wollen, aber das ist die notwendige Sache.“
2022 verließ Karpathy Tesla, kehrte kurz zu OpenAI zurück und gründete anschließend ein KI-Bildungs-Startup namens Eureka Labs. Er ist außerdem der Vordenker von „Vibe Coding“: Nutzer geben einem KI-Code-Assistenzsystem über Prompts Anweisungen, ohne selbst direkt Code zu schreiben. Dieses Konzept wurde schnell zum gängigen Fachbegriff in der KI-Entwickler-Community.
Anthropic bestätigt Personalbewegungen in diesem Monat
Ross Nordeen (Gründungsmitglied von xAI) wechselte zu einem früheren Zeitpunkt als Karpathy diesen Monat seine Ankündigung machte zu Anthropic. Anthropic bestätigte zudem, dass Chris Rohlf, der zuvor bei Yahoo und Meta tätig war und über 20 Jahre Erfahrung im Bereich Cybersicherheit verfügt, ins Frontline-Red-Teaming-Team wechselt und an den Belastungstests (Pressure-Tests) mitwirkt. Am selben Tag, an dem Nordeen seine Aufnahme ankündigte, einigten sich Anthropic und SpaceX auf eine Vereinbarung, wonach Anthropic Rechenkapazität von xAI anmieten wird. Anthropic wurde 2021 von sieben ehemaligen OpenAI-Mitarbeitern gemeinsam gegründet, darunter der aktuelle CEO Dario Amodei und der aktuelle Präsident Daniela Amodei.
Häufige Fragen
Welche Rolle spielt das Vortraining in der Entwicklung von KI-Modellen, und warum ist es so teuer?
Vortraining ist der Prozess, bei dem ein KI-Modell mit großen Mengen an Daten aus Textkorpora grundtrainiert wird. Dabei werden Sprachverständnis, Schlussfolgern und Wissensaufbau des Modells festgelegt. Der Trainingsprozess erfordert kontinuierlichen Betrieb über Wochen bis Monate hinweg mit großer GPU-Rechenleistung, was den rechnerisch kostenintensivsten und zugleich teuersten Abschnitt im gesamten KI-Modell-Entwicklungsprozess darstellt. Zudem ist es die Grundlage für die nachfolgenden Trainingsschritte wie Fine-tuning und das Training zur Sicherheitsausrichtung (Alignment).
Was ist die konkrete Idee hinter Vibe Coding, und wie definiert Karpathy es?
Vibe Coding (sinngemäß „Atmosphäre-Code“) ist eine von Karpathy vorgeschlagene KI-unterstützte Entwicklungsweise: Nutzer kümmern sich hauptsächlich um Kreativität und Logik, indem sie dem KI-Code-Assistenzsystem über Anweisungen in natürlicher Sprache (Prompts) Befehle geben, ohne selbst Code zu schreiben. Nach seiner Einführung wurde dieses Konzept schnell zu einem weit verbreiteten Fachbegriff in der KI-Entwickler-Community und steht für ein Mensch-KI-Kollaborations-Programmierungsmodell, bei dem KI im Mittelpunkt steht.
Welche konkreten Gründungsbezüge gibt es zwischen Anthropic und OpenAI?
Anthropic wurde 2021 von sieben ehemaligen OpenAI-Mitarbeitern gemeinsam gegründet, darunter Dario Amodei (aktueller CEO) und Daniela Amodei (aktueller Präsident). Danach kamen fortlaufend weitere ehemalige OpenAI-Mitarbeiter dazu, darunter John Schulman, der 2024 zu Anthropic wechselte, sowie diesmal Karpathy.
