A Rebellon executou com sucesso o modelo de IA com mais de 500 bilhões de parâmetros da SK Telecom em servidores de NPU domésticos

De acordo com a Yonhap News, a Rebellon, empresa sul-coreana de chips de IA, conseguiu executar com sucesso hoje (23 de julho), no seu Rebel Server, o modelo A.X K1 da SK Telecom (500B+ parâmetros), usando processadores NPU nacionais. A demonstração mostrou o modelo lidando com várias solicitações simultâneas de usuários em tempo real, com um serviço de agente de IA que processou consultas como encontrar farmácias disponíveis nos fins de semana. A Rebellon aplicou uma estrutura de mixture-of-experts (MoE) para otimizar a eficiência computacional e distribuir as cargas de trabalho entre os núcleos das NPU para processamento em paralelo, permitindo desempenho em infraestrutura de um único servidor comparável ao de servidores GPU de alta categoria e, ao mesmo tempo, reduzindo o ônus operacional do data center.
Isenção de responsabilidade: as informações nesta página podem ter origem em fontes terceiras e servem apenas como referência. Não representam as opiniões da Gate e não constituem orientação financeira, de investimentos ou jurídica. A negociação de ativos virtuais envolve alto risco. Não tome decisões baseando-se apenas nas informações desta página. Para mais detalhes, consulte a Isenção de responsabilidade.
Comentário
0/400
Sem comentários