Sakana AI e Nvidia alcançam uma inferência H100 30% mais rápida ao ignorar 80% dos cálculos inválidos

A Sakana AI e a Nvidia disponibilizaram em open source o TwELL, um formato de dados esparso que permite que as GPUs H100 saltem 80% dos cálculos inválidos em modelos de linguagem grandes sem comprometer a precisão. A solução proporciona até 30% de inferência mais rápida e 24% de treino mais rápido nas H100, ao mesmo tempo que reduz o uso de memória de pico. Em testes num modelo com 1,5 mil milhões de parâmetros, a abordagem baixou os neurónios ativos para menos de 2% através de regularização leve durante o treino, sem degradação de desempenho em sete tarefas downstream.
Aviso legal: As informações contidas nesta página podem provir de fontes externas e têm caráter meramente informativo. Não refletem os pontos de vista nem as opiniões da Gate e não constituem qualquer tipo de aconselhamento financeiro, de investimento ou jurídico. A negociação de ativos virtuais envolve um risco elevado. Não se baseie exclusivamente nas informações contidas nesta página ao tomar decisões. Para mais detalhes, consulte o Aviso legal.
Comentar
0/400
Nenhum comentário