Купити криптовалюту
Оплачуйте
USD
USD
Купити та продати
Hot
Підтримує Visa, Mastercard, SEPA тощо
P2P
0 Fees
Гнучка торгівля, нульові комісії
Gate Card
Платіть криптовалютою по всьому світу
Ринки
Торгівля
Базовий
Просунутий рівень
Ф'ючерси
Ф'ючерси
Сотні безстрокових контрактів
CFD
Золото
Одна платформа для світових активів
Опціони
Hot
Торгівля ванільними опціонами європейського зразка
Єдиний рахунок
Максимізуйте ефективність вашого капіталу
Демо торгівля
Вступ до ф'ючерсної торгівлі
Підготуйтеся до ф’ючерсної торгівлі
Ф'ючерсні події
Заробляйте, беручи участь в подіях
Демо торгівля
Використовуйте віртуальні кошти для безризикової торгівлі
Earn
Запуск
CandyDrop
tag
Збирайте цукерки, щоб заробити аірдропи
Launchpool
Швидкий стейкінг, заробляйте нові токени
HODLer Airdrop
Утримуйте GT і отримуйте масові аірдропи безкоштовно
Pre-IPOs
Отримайте повний доступ до глобальних IPO акцій.
Alpha Поінти
Ончейн-торгівля та аірдропи
Ф'ючерсні бали
Заробляйте фʼючерсні бали та отримуйте аірдроп-винагороди
Інвестиції
Square
Квадрат
Відкрийте для себе цінність криптовалют
Live
moments live
Аналіз крипторинку в реальному часі
Чат
Спілкуйтеся з криптотрейдерами
Новини
Останні новини в світі криптовалют
flower_head
Більше
Акції
AI
Інші
TradFi
Gate Card
Винагороди

Nous Research відкриває код Lighthouse Attention з прискоренням у 17 разів на B200 для контексту 512K

GateNews
Новини індустрії ШІ
Згідно з Beating, Nous Research оприлюднила Lighthouse Attention із відкритим кодом — механізм тренування для довгого контексту, який забезпечує 17-кратне прискорення обробки тексту довжиною 512 тис. на одному GPU B200, а також 1,4–1,7-кратне прискорення тренування «кінець-у-кінець» для довжини 98 тис. Техніка використовує підхід coarse-to-fine: спочатку вона сканує стиснені підсумки на різних рівнях, щоб визначити ключові сегменти, а потім передає відфільтрований текст у FlashAttention для обробки. У тестах на моделі з 5,3 мільярда параметрів, натренованій на 50 мільярдів токенів, підхід не лише скоротив час тренування, а й досягав або перевищував базову продуктивність тренування з повною увагою.
Переглянути джерело
Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.

Пов’язані новини

05-16 13:14
OpenAI виправляє два баги, що спричиняли деградацію GPT-5.5 Codex, і скидає ліміти використання для користувачів
05-16 09:40
Елон Маск стверджує, що Grok V9 (1,5 трильйона параметрів) демонструє різкий стрибок продуктивності порівняно з V8 16 травня
05-15 15:01
Grok V9 від Елона Маска завершив тренування з 1,5 трильйона параметрів і показав суттєвий стрибок продуктивності порівняно з V8
05-15 07:00
Попит на чіпи Nvidia H200 на JD.com зріс у 25 разів з 14 травня
05-15 06:45
Claude Opus встановлює рекорд nanoGPT, виконавши 2 930 кроків і витративши 14 000 годин роботи GPU H200
Поглиблений аналіз

OpenAI додала виявлення кризових діалогів у ChatGPT, щоб посилити здатність до виявлення попереджень про самопошкодження та насильство

Market Whisper05-15 05:45

Bittensor TAO піднімається вище $300 на тлі сплеску попиту на криптовалюти в сфері ШІ

Crypto News Land05-14 18:36
Прокоментувати
0/400
Немає коментарів