Baseten dévoile une méthode de compression du cache KV encore plus efficace, atteignant un taux de compression de 200x

D’après Beating, l’équipe de recherche de Baseten a dévoilé Still, une méthode de compression du cache KV qui permet d’atteindre jusqu’à 200x de compression en une seule passe avant, sans optimisation en ligne ni mises à jour de gradients. Still intègre des compresseurs Perceiver légers—d’une taille d’environ 1% des paramètres du modèle de base—dans chaque couche de Transformer, en appliquant une attention croisée à l’intégralité du cache KV pour générer directement un cache compressé. Testé sur les modèles Qwen et Gemma sur des fenêtres de contexte de 8k à 64k avec des taux de compression de 8x à 200x, Still a conservé une grande précision tout en surpassant des méthodes comparables comme SnapKV, H2O et KV-Distill sur le benchmark RULER.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire