Vitalik schlägt vor, die lokale LLM-Hardware um die 96-GB-Speicherstufe zu standardisieren

ETH-2,24%
Laut PANews schlug Vitalik Buterin, Mitbegründer von Ethereum, am 28. Mai vor, dass lokale Deployments großer Sprachmodelle (LLM) sich um standardisierte Speicher-Konfigurationen herum ausrichten sollten. Als eine realistische Obergrenze für die aktuelle Hardware wurde 96GB genannt. Buterin führte als Referenz die RTX 6000 GPU mit 96GB VRAM sowie hochwertige MacBooks mit 128GB Unified Memory an und bemerkte, dass ungefähr 32GB für andere Systemaufgaben reserviert werden sollten. Er schlug vor, dass das Ökosystem standardisierte Kapazitätsstufen—2GB, 8GB, 24GB, 96GB, 256GB und 1TB—übernimmt, um die Effizienz der Deployments und die plattformübergreifende Kompatibilität sowohl für LLMs als auch für die Gestaltung von GPU-Hardware zu verbessern.
Disclaimer: The information on this page may come from third-party sources and is for reference only. It does not represent the views or opinions of Gate and does not constitute any financial, investment, or legal advice. Virtual asset trading involves high risk. Please do not rely solely on the information on this page when making decisions. For details, see the Disclaimer.
Kommentieren
0/400
Keine Kommentare