Tilde Research พบว่า Muon Optimizer ทำให้เซลล์ประสาทตาย 25%; Aurora Alternative ให้ประสิทธิภาพการใช้ข้อมูลเพิ่มขึ้น 100 เท่า

GateNews

2026-05-10 03:53:34

ตามรายงานของ Tilde Research ตัวเพิ่มประสิทธิภาพ (optimizer) Muon ที่นำมาใช้โดยโมเดล AI ชั้นนำ รวมถึง DeepSeek V4 และ Kimi K2.5 มีข้อบกพร่องแอบแฝง: ทำให้เซลล์ประสาท (neurons) ในเลเยอร์ MLP มากกว่า 25% ตายถาวรในช่วงการฝึกระยะเริ่มต้น ทีมได้ออกแบบ Aurora ซึ่งเป็น optimizer ทางเลือก และเผยแพร่เป็นโอเพนซอร์ส โมเดลพารามิเตอร์ 1.1B ที่ฝึกด้วยเพียง 100B tokens ให้ผลเทียบเท่ากับ Qwen3-1.7B ที่ฝึกบน 36T tokens ในเกณฑ์ทดสอบความเข้าใจภาษาอย่าง HellaSwag และ Winogrande แสดงให้เห็นการปรับปรุงประสิทธิภาพด้านข้อมูลราว 100 เท่า Aurora เพิ่มภาระการคำนวณ 6% เมื่อเทียบกับ Muon และสามารถใช้ทดแทนโดยตรงได้

news.view.source

news.article.disclaimer

news.related.news

05-10 01:55

TeraWulf เปิดเผยผลขาดทุน $427M Q1 ขณะที่รายได้จากการประมวลผลด้วย AI พุ่ง 117% แซงหน้า การขุด Bitcoin

05-09 11:17

Google DeepMind AI ร่วมเป็นโค-นักคณิตศาสตร์ ทำคะแนน 47.9% บน FrontierMath Tier 4 เอาชนะ GPT-5.5 Pro และแก้ปัญหาที่เคยแก้ไม่ได้มาก่อน 3 ข้อ

05-09 09:54

ระบบให้รางวัลของ OpenAI โดยไม่ตั้งใจให้คะแนน Thinking Chains บน 6 โมเดล รวมถึง GPT-5.4

05-09 07:41

MiniMax สแกนโทเคน 200K ตรวจพบการเสื่อมสภาพ 4.9% ในโมเดลซีรีส์ M2

05-09 05:52