Tencent випускає та відкрито розміщує у відкритому доступі прев’ю Hunyuan Hy3 з 295B параметрів

Повідомлення Gate News, 23 квітня — Tencent представила та відкрито розмістила у відкритому доступі прев’ю Hunyuan Hy3, гібридну модель мовлення типу mixture-of-experts із поєднанням швидкого та повільного мислення. Модель має 295 мільярдів загальних параметрів і 21 мільярд активних параметрів, підтримує максимальну довжину контексту 256K токенів. Прев’ю Hy3 — це перша модель, навчена після реорганізації Hunyuan, і найрозумніша модель Tencent на сьогодні. Компанія повідомляє про суттєві покращення в складному міркуванні, виконанні інструкцій, in-context learning, генерації коду, агентних можливостях і продуктивності під час інференсу. Головний науковець з AI Яо Шуньюй заявив, що прев’ю Hy3 є першим кроком реконструкції Hunyuan, і висловив сподівання, що відгуки спільноти з відкритим кодом підвищать практичну корисність офіційної версії.

Tencent одночасно нарощує попереднє навчання та навчання з підкріпленням, щоб підняти верхню межу інтелекту моделі, і співпрацює з кількома продуктами Tencent через глибоке спільне проєктування, щоб покращити продуктивність у реальних умовах. Компанія також починає досліджувати можливості спеціалізованих моделей.