Der US-Unternehmenssektor übernimmt Modell-Routing, um die KI-Ausgaben zu steuern

Corporate America setzt auf Modell-Routing, um die Ausgaben für Künstliche Intelligenz zu steuern, während CFOs und Vorstände gegen ineffiziente KI-Kosten vorgehen. Der Wandel adressiert ein Problem, das nach zwei Jahren entstanden ist, in denen standardmäßig für alle Anfragen unabhängig von der Komplexität die leistungsstärksten KI-Modelle genutzt wurden. Die KI-Rechnungen laufen mittlerweile weit über die Budgets hinaus, sodass Unternehmen sich fragen, ob jede Aufgabe Frontend-Modelle erfordert. Modell-Routing ordnet Jobs den passenden Modellen zu: Komplexe Probleme werden an teure Frontier-Systeme weitergeleitet, Routineaufgaben an günstigere Alternativen. Die Änderung könnte die Preisbildungsdynamik in der KI-Branche neu gestalten.

Modell-Routing ordnet Aufgaben passenden, kostengerechten KI-Systemen zu

Modell-Routing ist ein Tool, das schwierige Probleme an teure Frontier-Modelle und einfache Aufgaben an günstigere, schnellere Alternativen weiterleitet. Scott Wu, CEO von Cognition, das den Coding-Agent Devin entwickelt, sagte, Unternehmen könnten bei Routinearbeiten eine fünf- bis zehnfache Verbesserung der Kosteneffizienz erzielen, indem sie Modelle verwenden, die für die jeweilige Aufgabe weiterhin ausreichen. Wu nannte das Beispiel, einen Agenten nach dem dritten US-Präsidenten zu fragen – jedes Modell, unabhängig von den Kosten, wird mit Thomas Jefferson antworten.

Arvind Jain, CEO von Glean, schätzte, dass derzeit etwa 95% der unternehmensweiten KI-Nutzung auf den teuersten Frontier-Modellen laufen, selbst für Aufgaben, die günstigere Alternativen problemlos übernehmen könnten. Die meisten Unternehmen routen laut den diese Woche interviewten Führungskräften überhaupt nicht.

Cisco meldet jährliche KI-Kosten von 900 Millionen US-Dollar für 90.000 Beschäftigte

Jeetu Patel, Chief Product Officer bei Cisco, nannte konkrete Kostenzahlen. Bei rund 200 US-Dollar Token-Nutzung pro Mitarbeiter und Woche erreicht die jährliche Ausgabenhöhe etwa 10.000 US-Dollar pro Person. Für Ciscos 90.000 Mitarbeiter ergibt das insgesamt 900 Millionen US-Dollar jährlich.

Patel sagte, Cisco liege deutlich über dem eigenen Budget und habe Anpassungen vornehmen müssen. Das Unternehmen beschäftigt nun 30.000 Ingenieure, die Produkte entwickeln, die weitgehend mit KI geschrieben sind. Cisco hat Ressourcen umgeschichtet und priorisiert Tokens gegenüber anderen Ausgaben.

Cognition führt eine KI-Produktivitätsgarantie im Wert von 10 Millionen US-Dollar ein

Cognition hat eine KI-Produktivitätsgarantie angekündigt, als Reaktion auf die Bedenken von Kunden hinsichtlich der Kapitalrendite. Wenn Devin weniger Engineering-Wert liefert, als ein Kunde dafür zahlt, finanziert Cognition die Nutzung bis zu 10 Millionen US-Dollar, bis die Performance den Erwartungen entspricht. Wu stellte die Garantie als Möglichkeit dar, den Fokus auf Output statt auf Aktivitätsmetriken wie verbrauchte Tokens oder Zeilen Code zu legen.

Der Trend hin zu Modell-Routing erzeugt Druck auf OpenAI und Anthropic, deren Geschäftsmodelle und IPO-Erwartungen von einer enormen Nachfrage zu Premium-Preisen ausgehen. Wenn Unternehmen volumenstarke Routinearbeit auf günstigere Open-Source-Modelle umlenken, erhalten die Frontier-Labs Zahlungen nur für komplexe Aufgaben. Patel sagte, modernste Technologie werde weiterhin wertvoll bleiben, aber er prognostizierte, dass sich das Preismodell verschieben wird: Labs müssten ihre Effizienz verbessern, statt einfach mehr zu verlangen.

FAQ

Was ist Modell-Routing in KI-Systemen?

Modell-Routing ist ein Tool, das Aufgaben anhand der Komplexität passenden KI-Modellen zuordnet. Es sendet schwierige Probleme an teure Frontier-Modelle und leitet Routineaufgaben an günstigere, schnellere Alternativen weiter. Scott Wu von Cognition sagte, Unternehmen könnten mit diesem Ansatz bei Routinearbeiten eine fünf- bis zehnfache Verbesserung der Kosteneffizienz erzielen.

Wie viel gibt Cisco jährlich für KI für seine Belegschaft aus?

Cisco gibt jährlich ungefähr 900 Millionen US-Dollar für KI für seine 90.000 Beschäftigten aus. Jeetu Patel, Ciscos Chief Product Officer, berechnete diesen Wert anhand von rund 200 US-Dollar Token-Nutzung pro Mitarbeiter und Woche, was etwa 10.000 US-Dollar pro Person und Jahr entspricht.