Je viens de voir une nouvelle très importante concernant l'acquisition que Nvidia a réalisée.

L'entreprise a racheté le département des puces d'inférence de Groq pour 20 milliards de dollars en décembre dernier, et cette démarche commence à prendre une signification plus claire maintenant.

Huang Rensho, le PDG de Nvidia, a expliqué lors d'une interview récente la véritable raison derrière cette décision stratégique.
Il s'avère que le sujet ne concerne pas simplement une augmentation de productivité ordinaire, mais que Nvidia vise un marché totalement nouveau : le marché de l'inférence à faible latence et à haute valeur.
Ce marché a commencé à apparaître récemment lorsque les utilisateurs ont commencé à payer des prix différents en fonction de la rapidité de la réponse.

L'idée est simple mais puissante : si je peux offrir des tokens avec une latence plus faible pour les programmeurs, cela leur permet de travailler plus efficacement, et ils seront prêts à payer un prix plus élevé.
Huang a décrit cela comme une extension des limites du marché — c'est-à-dire l'ajout d'un secteur totalement nouveau au lieu de se concentrer uniquement sur la haute productivité.

Le premier produit après l'acquisition est apparu en mars : le Groq 3 LPU, fabriqué avec la technologie de 4 nanomètres de Samsung.
Les chiffres sont impressionnants : la performance d'inférence par mégawatt sur des modèles avec un trillion de paramètres atteint 35 fois celle du Blackwell NVL72.
L'architecture de Groq est connue pour sa faible latence et sa prévisibilité, ce qui était précisément ce qui manquait dans la gamme de produits de Nvidia.

C'est une idée très intelligente : le même modèle, mais à des prix différents selon le temps de réponse.
Même si la productivité est moindre, le prix plus élevé compense cela.
Groq a comblé le vide existant dans la stratégie de Nvidia, et il est clair que le marché commence à se diviser en différentes segments.