SubQ publie la version 1,1 avec une validation tierce affichant 98% de précision sur 12 millions de tokens

D’après Beating 动察, SubQ a publié sa version 1.1 Small, accompagnée d’un rapport technique affirmant 98% de précision de récupération à une longueur de contexte extrême de 12 millions de tokens, validée par un évaluateur tiers, Appen. Le modèle a obtenu des performances comparables à celles des principaux modèles de pointe lors de tests pratiques de programmation. La société de développement Subquadratic a révélé que le modèle n’avait pas été entraîné de zéro, mais plutôt construit en modifiant le mécanisme d’attention de modèles de pointe open source et en menant un entraînement incrémental sur 1 trillion de tokens.

Malgré la validation par un tiers, la communauté des développeurs reste sceptique. Des chercheurs ont noté que la percée revendiquée ne présente pas de nouveauté technique fondamentale et se contente d’appliquer des mécanismes d’attention clairsemée existants. Certains ont signalé la présence de texte de remplissage généré par l’IA dans le rapport technique, tandis que d’autres ont averti que le mécanisme de filtrage pourrait introduire une surcharge de planification lors de l’usage simultané, entraînant potentiellement une latence sévère pour des cas limites.