Tin tức Cổng, ngày 24 tháng 4 — Trưởng nhóm mô hình ngôn ngữ lớn của Xiaomi, Luo Fuli, đã tiết lộ trong một cuộc phỏng vấn chuyên sâu rằng mô hình MiMo-V2-Pro có tổng cộng 1 nghìn tỷ tham số và để huấn luyện cần hàng nghìn GPU. Cô cho biết quy mô 1T là ngưỡng tối thiểu để đạt hiệu năng tiến gần tới Claude Opus 4.6 và giành vé vào cửa cạnh tranh cho giai đoạn tiếp theo của các tác nhân AI.
Về mặt kỹ thuật, phiên bản Pro sử dụng cơ chế chú ý thưa cực đoan với tỷ lệ 7:1 giữa chú ý toàn cục và chú ý theo cửa sổ trượt, nhằm kiểm soát chi phí suy luận cho xử lý ngữ cảnh dài. Mô hình cũng giữ lại kiến trúc MTP (Dự đoán Nhiều Token) để tận dụng phần năng lực tính toán dư thừa cho suy luận nhanh hơn.
Về phía quản lý, đội MiMo gồm 100 người chỉ có 30-40 người trực tiếp tham gia vào các vòng lặp cốt lõi. Nhóm hoạt động mà không có phân cấp chính thức hay chia tách nhóm con rõ ràng, cũng như không có hạn chót giao hàng. Khi gặp các vấn đề số học không ổn định như việc tăng vọt loss trong huấn luyện, nhóm ưu tiên dừng huấn luyện để điều tra, ngay cả khi điều đó đồng nghĩa với việc dừng hoạt động trong một hoặc hai tuần và phát sinh chi phí tính toán lên tới hàng triệu đô la.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo
Tuyên bố miễn trừ trách nhiệm.
Bài viết liên quan
Web3 AI Infrastructure AIW3 huy động $2M trong vòng seed do Buffalo Capital dẫn dắt
Tin tức từ Gate, ngày 24 tháng 4 — Nền tảng hạ tầng Web3 AI AIW3 thông báo hoàn tất vòng gọi vốn seed trị giá $2 triệu đô la. Vòng này do Buffalo Capital dẫn dắt, với GalaXin Capital và Three-stones Ventures tham gia với vai trò đồng đầu tư.
AIW3 đang chuyển dịch sang mô hình thực thi trên chuỗi Agent-as-a-Service
GateNews6phút trước
Cohere Mua Lại Công Ty AI của Đức Aleph Alpha, Nhận Được $600M Đầu Tư để Mở Rộng Tại Châu Âu
Tin tức Gate, ngày 24 tháng 4 — Công ty AI của Canada Cohere đã công bố kế hoạch mua lại công ty AI của Đức Aleph Alpha để củng cố sự hiện diện của mình tại châu Âu. Schwarz Group, một nhà đầu tư hậu thuẫn của Aleph Alpha, dự kiến sẽ đầu tư $600 triệu USD vào vòng gọi vốn Series E của Cohere.
Vòng gọi vốn dự kiến sẽ được hoàn tất vào năm 202
GateNews48phút trước
Xpeng, Xiaomi dẫn đầu làn sóng AI trên xe tại Triển lãm Ô tô Bắc Kinh
Tin tức cổng, 24 tháng 4 — Các nhà sản xuất ô tô Trung Quốc đã trưng bày các hệ thống AI nâng cao trên xe tại Triển lãm Ô tô Bắc Kinh vào ngày 24 tháng 4, khi quốc gia này đẩy nhanh chiến lược AI Plus và tìm kiếm mức độ độc lập cao hơn khỏi các chất bán dẫn nước ngoài.
Xpeng đã trình diễn tính năng đỗ xe điều khiển bằng giọng nói cho phép người lái xe “
GateNews1giờ trước
Cựu kỹ sư Seed của ByteDance: Lượt lặp AI của ByteDance mất sáu tháng so với ba tháng của Google
Tin tức Cổng, ngày 24 tháng 4 — Zhang Chi, cựu kỹ sư tại đội Seed của ByteDance và hiện là trợ giảng tại Đại học Bắc Kinh, đã tiết lộ trên podcast "Into Asia" rằng ByteDance cần khoảng sáu tháng để hoàn thành một chu kỳ đầy đủ huấn luyện mô hình ngôn ngữ lớn (pretraining
GateNews1giờ trước
Kỹ sư OpenAI Clive Chan Thách thức Khuyến nghị Phần cứng của V4, Trích dẫn Lỗi và Tính Mơ hồ so với V3
Tin tức cổng Gate, ngày 24 tháng 4 — Kỹ sư OpenAI Clive Chan đã đưa ra những phản đối chi tiết đối với chương khuyến nghị phần cứng trong báo cáo kỹ thuật V4, gọi chương này là "đáng ngạc nhiên là tầm thường và dễ gây lỗi" so với phiên bản V3 được ca ngợi. Hướng dẫn phần cứng của V3, bao gồm các buổi Q&A
GateNews2giờ trước
Naver Ra Mắt Bản Beta AI Tab Khi Google Gemini Bước Vào Thị Trường Tìm Kiếm Tại Hàn Quốc
Tin tức Cổng, ngày 24 tháng 4 — Naver đã công bố việc bắt đầu thử nghiệm beta kín cho AI Tab, tính năng tìm kiếm hội thoại mới của hãng, sau khi Google ra mắt Gemini trên Chrome tại Hàn Quốc.
AI Tab sẽ xuất hiện cùng với các tab tìm kiếm hiện có của Naver, cung cấp cho người dùng một không gian riêng cho các truy vấn mang tính hội thoại
GateNews2giờ trước
