Krypto kaufen
Bezahlen mit
USD
USD
Buy & Sell
Hot
Supports Visa, Mastercard, SEPA & more
P2P
0 Fees
Flexible trading, zero fees
Gate Card
Use your crypto for payments worldwide
Märkte
Handeln
Basic
Advanced
Futures
Futures
Access hundreds of perpetual contracts
CFD
Gold
One platform for global traditional assets
Options
Hot
Mit Vanilla-Optionen im europäischen Stil handeln
Einheitliches Konto
Maximieren Sie Ihre Kapitaleffizienz
Demo-Handel
Einführung in den Futures-Handel
Bereiten Sie sich auf Ihren Futures-Handel vor
Futures Events
Join events to earn rewards
Demo-Handel
Nutzen Sie virtuelle Gelder um risikofreien Handel zu erleben
Verdienen
Launch
CandyDrop
tag
Sammle Süßigkeiten, um Airdrops zu erhalten
Launchpool
Schnelles Staking, verdienen Sie potenziell neue Token
HODLer Airdrop
Halten Sie GT und erhalten Sie kostenlos massive Airdrops
Pre-IPOs
Unlock full access to global stock IPOs
Alpha Points
Trade on-chain assets and earn airdrops
Punti Futures
Guadagna punti Futures e richiedi le ricompene dell'airdrop
Investition
Momente
Square
Post, share, and explore crypto trends
Live
moments live
Live-Krypto-Marktanalyse
Chat
Mit Krypto-Tradern chatten
Neues aus
Aktuelles aus dem Krypto-Bereich
flower_head
Mehr
Werbeaktionen
AI
Andere
TradFi
Gate Card
Belohnungs

Nous Research veröffentlicht Open-Source Lighthouse Attention mit 17-fachem Speedup auf B200 für 512K-Context

GateNews
AI Industry News
Laut Beating hat Nous Research Lighthouse Attention Open-Source veröffentlicht – eine Long-Context-Trainingsmethode, die bei der Verarbeitung von Text mit einer Länge von 512K auf einer einzelnen B200-GPU eine 17-fache Beschleunigung erreicht und bei einer Länge von 98K eine 1,4- bis 1,7-fache End-to-End-Trainingsbeschleunigung. Die Technik setzt auf einen grob-zu-fein-Ansatz: Zuerst werden komprimierte Zusammenfassungen auf unterschiedlichen Ebenen gescannt, um Kernsegmente zu identifizieren, anschließend wird der gefilterte Text zur Verarbeitung an FlashAttention übergeben. In Tests mit einem Modell mit 5,3 Milliarden Parametern, das auf 50 Milliarden Tokens trainiert wurde, verkürzte das Vorgehen nicht nur die Trainingszeit, sondern erreichte auch die Basislinien-Performance des vollständig auf Attention basierenden Trainings bzw. übertraf sie.
View Source
Disclaimer: The information on this page may come from third-party sources and is for reference only. It does not represent the views or opinions of Gate and does not constitute any financial, investment, or legal advice. Virtual asset trading involves high risk. Please do not rely solely on the information on this page when making decisions. For details, see the Disclaimer.

Related News

05-16 13:14
OpenAI behebt zwei Bugs hinter der Verschlechterung von GPT-5.5 Codex und setzt die Nutzungsgrenzen der Nutzer zurück
05-16 09:40
Elon Musk behauptet, Grok V9 (1,5 Billionen Parameter) zeige am 16. Mai einen massiven Leistungssprung gegenüber V8
05-15 15:01
Elon Musks Grok V9 schließt das Training mit 1,5Billionen Parametern ab und zeigt einen deutlichen Performance-Sprung gegenüber V8
05-15 07:00
Nvidia H200 Chip-Suchanfragen steigen seit dem 14. Mai auf JD.com um das 25-Fache
05-15 06:45
Claude Opus bricht den nanoGPT-Rekord mit 2.930 Steps und verbraucht 14.000 H200-GPU-Stunden
In-Depth Analysis

OpenAI fügt eine ChatGPT-Krisengesprächserkennung hinzu und verbessert die Warnfähigkeit bei Selbstverletzungs- und Gewalttendenzen

Market Whisper05-15 05:45

Bittensor TAO steigt über 300 US-Dollar, da die Nachfrage nach KI-Krypto wächst

Crypto News Land05-14 18:36
Kommentieren
0/400
Keine Kommentare