Google lança algoritmo TurboQuant: quantização KV cache de 3 bits sem perda de precisão, velocidade de inferência aumenta até 8 vezes

Notícias do Gate News, a 25 de março, o Google Research lançou o algoritmo de compressão quântica TurboQuant, que consegue comprimir o cache KV de grandes modelos de linguagem para 3 bits, reduzindo o uso de memória pelo menos 6 vezes, sem necessidade de treino ou ajuste fino, sem perder precisão do modelo. No modo de 4 bits, a velocidade de cálculo de atenção na GPU Nvidia H100 é até 8 vezes superior à linha de base de 32 bits não quantificados. A equipe de pesquisa validou o TurboQuant usando modelos Gemma e Mistral em benchmarks de contexto longo como LongBench, Needle In A Haystack e ZeroSCROLLS, alcançando desempenho ótimo em todos os testes. O algoritmo é composto por duas subferramentas: PolarQuant, que elimina o custo de memória das quantizações tradicionais por meio de transformação em coordenadas polares, e QJL, que corrige o erro residual usando apenas 1 bit. A pesquisa foi liderada por Amir Zandieh do Google Research e Vahab Mirrokni, vice-presidente e Google Fellow, em colaboração com KAIST na Coreia do Sul e a Universidade de Nova York, e será apresentada na ICLR 2026. O Google afirmou que uma das principais aplicações dessa tecnologia é resolver o gargalo do cache KV em modelos como Gemini.