Une chose intéressante s'est produite sur le marché de l'inférence AI, dont il vaut la peine de parler. NVIDIA a acquis Groq, et lorsque Juan Rensun a commencé à expliquer la logique de cette transaction, il est devenu clair que ce n'était pas simplement une opération anodine.

Jusqu'à présent, tout le focus était sur un seul aspect : comment traiter plus de données simultanément, c'est-à-dire la bande passante. Mais il s'avère que le marché s'est divisé. Certains utilisateurs sont prêts à payer un prix plus élevé pour obtenir une réponse plus rapidement. Les tokens sont devenus plus chers, et le temps de génération commence à avoir une valeur réelle. Cela change toute la donne.

Ainsi, Groq se spécialise précisément dans ce domaine — la faible latence. Leur architecture LPU est conçue pour assurer une latence déterministe et prévisible. Lorsque NVIDIA a acquis Groq, ils ont en quelque sorte comblé une lacune dans leur portefeuille. Les GPU NVIDIA restent les rois de la bande passante, mais pour le segment de la faible latence, une autre architecture est nécessaire.

Le nouveau chip Groq 3 LPU est le premier produit après la fusion, fabriqué en technologie 4 nm. Selon NVIDIA, son efficacité lors du traitement de grands modèles dépasse de 35 fois celle de leur flagship Blackwell NVL72. Il ne s'agit pas de vitesse absolue, mais de la quantité de puissance nécessaire pour atteindre cette vitesse.

Concrètement, cela signifie qu'il est désormais possible d'offrir différentes solutions pour différents besoins : si vous voulez le maximum de bande passante — il y a le GPU ; si vous avez besoin d'une réponse rapide à tout prix — il y a Groq. Un même modèle peut coûter différemment selon la rapidité avec laquelle vous souhaitez obtenir le résultat. C'est une extension des limites de ce qui peut être optimisé sur le marché de l'inférence.