Si l’on adopte cette perspective de « l’inférence va exploser », la position de @inference_labs est en réalité assez claire.

Lorsque le modèle ne peut plus se différencier par la taille des paramètres, la vraie variable devient :
le nombre d’inférences pouvant être effectuées par unité de temps.
Ce n’est pas autant la capacité à répondre intelligemment en une seule fois, mais plutôt la capacité à penser de manière continue, à haute fréquence, et en parallèle.

Une structure composée de petits modèles + plusieurs agents, revient essentiellement à amplifier l’appel à l’inférence.
Des dizaines d’agents fonctionnent simultanément, se vérifient mutuellement, décomposent les tâches, puis fusionnent les résultats — ce qui consomme non pas la « capacité du modèle », mais la capacité du canal d’inférence et du débit.

Inference Labs ne cherche pas à concurrencer le modèle lui-même, mais à résoudre un problème plus fondamental :
quand l’inférence devient une flux de requêtes comme un trafic, qui maintiendra cette voie ouverte ?

C’est la même logique que lorsque, dans les années passées, le goulot d’étranglement du CPU en fréquence a conduit l’industrie à se tourner vers la mémoire, le bus, ou le calcul parallèle.
La puissance de calcul n’est pas devenue insignifiante, mais la façon dont elle est planifiée et amplifiée devient plus cruciale.

Ainsi, Inference Labs ressemble davantage à une préparation pour le mode d’utilisation de l’IA dans la prochaine étape.
Ce n’est pas simplement qu’un modèle répond à une question,
mais tout un système d’inférence qui fonctionne en continu.

Les modèles ne deviendront pas infiniment grands, mais leur inférence deviendra de plus en plus dense.
Une fois cette tendance confirmée, la valeur de l’infrastructure commence tout juste à être réellement évaluée.
@KaitoAI @Bybit_Web3