Tencent представляет и открывает исходный код превью Hunyuan Hy3 с параметрами 295B

Сообщение Gate News, 23 апреля — Tencent представила и открыла исходный код превью Hunyuan Hy3, гибридную языковую модель с сочетанием механизма mixture-of-experts, объединяющую быстрое и медленное мышление. Модель включает 295 миллиардов общих параметров и 21 миллиард активных параметров, поддерживая максимальную длину контекста 256K токенов. Превью Hy3 — это первая модель, обученная после реструктуризации Hunyuan, и самая интеллектуальная модель Tencent на сегодняшний день. Компания сообщает о существенных улучшениях в сложном рассуждении, следовании инструкциям, обучении в контексте, генерации кода, агентных возможностях и производительности при выводе. Главный ученый по ИИ Яо Шуньюй заявил, что превью Hy3 знаменует первый шаг реконструкции Hunyuan, и выразил надежду, что отзывы сообщества с открытым исходным кодом повысят практическую полезность официальной версии.

Tencent одновременно масштабирует предварительное обучение и обучение с подкреплением, чтобы поднять верхнюю границу интеллекта модели, и сотрудничает с несколькими продуктами Tencent посредством глубокого совместного проектирования, чтобы улучшить реальную производительность. Компания также начинает изучать возможности специализированных моделей.