$NVDA Jonathan Ross dit que la mémoire est actuellement le plus grand goulot d'étranglement de l'IA, mais les goulots d'étranglement ne sont pas permanents.

« Chaque fois qu’un goulot d’étranglement devient suffisamment important, les gens le résolvent. »
Son avertissement est que la mémoire peut rester extrêmement précieuse tant qu’elle est limitée, mais si elle devient trop coûteuse ou trop rare, elle devient le problème que les ingénieurs sont forcés d’attaquer.
Si la mémoire devient trop problématique, l’industrie commencera à chercher des moyens de réduire sa dépendance à celle-ci.
Il a dit que la mémoire était « le segment le plus marchandisé de la chaîne d’approvisionnement des semi-conducteurs », mais qu’elle est maintenant l’une des contraintes les plus importantes en IA.
Ross explique cela avec l’analogie du bien de Giffen. Si la mémoire devient plus chère, les clients peuvent initialement dépenser plus pour elle parce qu’elle est essentielle. Mais finalement, si les prix deviennent trop élevés, ils chercheront des substituts.
« si la mémoire est trop chère et si les gens n’en construisent pas assez, ils vont résoudre ce problème technologiquement. »
L’exemple de DeepSeek illustre son propos. Lorsque l’intervieweur mentionne que DeepSeek V4 a compressé le cache KV de 90 %, Ross répond que ce travail d’ingénierie avait un coût d’opportunité.
« S’ils avaient eu assez de mémoire, ils auraient travaillé sur autre chose. Si ce n’était pas si cher, ils auraient travaillé sur autre chose. »
« Vous en faites un problème suffisamment grand. C’est le coquelicot haut. Dès qu’il devient trop haut, il est coupé. »