Zhipu veröffentlicht GLM-5.1 High-Speed-API und erreicht mit 400 Tokens/s einen globalen Rekord

Laut Beating Monitoring hat Zhipu GLM-5.1 High-Speed API für ausgewählte Unternehmenskunden gestartet, wobei die Modell-Ausgabe-Geschwindigkeit 400 Tokens/s erreicht und damit einen neuen globalen Rekord für den Durchsatz der offiziellen Schnittstelle großer Sprachmodelle setzt. Die High-Speed-Version wird von einer leistungsstarken Inferenz-Engine angetrieben, die gemeinsam von Zhipu und dem TileRT-Team entwickelt wurde. Dabei bleibt die volle Leistungsfähigkeit des Flaggschiffs-Modells erhalten, während die Latenz durch GPU-Kernel-Optimierung und task-basierte Planung auf Kachel-Ebene deutlich reduziert wird.
Disclaimer: The information on this page may come from third-party sources and is for reference only. It does not represent the views or opinions of Gate and does not constitute any financial, investment, or legal advice. Virtual asset trading involves high risk. Please do not rely solely on the information on this page when making decisions. For details, see the Disclaimer.
Kommentieren
0/400
Keine Kommentare