A Trajectory lança a plataforma SkyRL open-source e atinge uma melhoria de desempenho de 2,81x

De acordo com OneMillion_AI, a Trajectory, em colaboração com o Sky Computing Lab da UC Berkeley e a Anyscale, anunciou recentemente a plataforma open-source SkyRL e a arquitetura Multi-LoRA Training para o ajuste fino de grandes modelos de linguagem. O sistema resolve ineficiências na otimização tradicional do modelo, mantendo uma base de modelo partilhada na memória da GPU enquanto trata múltiplos experimentos de afinação como módulos de adaptação leves. Os testes mostraram que a capacidade de processamento ponta-a-ponta dos experimentos melhorou 2,81 vezes, com a capacidade de processamento de tempo absoluto em nó único a atingir uma melhoria de 3,25 vezes, permitindo que modelos de grande dimensão alcancem níveis de auto-evolução ao nível de horas através de dados de produção em tempo real. O código de treino já está disponível no repositório SkyRL.
Aviso legal: As informações contidas nesta página podem provir de fontes externas e têm caráter meramente informativo. Não refletem os pontos de vista nem as opiniões da Gate e não constituem qualquer tipo de aconselhamento financeiro, de investimento ou jurídico. A negociação de ativos virtuais envolve um risco elevado. Não se baseie exclusivamente nas informações contidas nesta página ao tomar decisões. Para mais detalhes, consulte o Aviso legal.
Comentar
0/400
Nenhum comentário