D-Matrix, startup chip AI được Microsoft hậu thuẫn, có trụ sở tại Thung lũng Silicon, đã ra mắt chip suy luận Corsair với tuyên bố có thể chạy tác vụ suy luận nhanh gấp 10 lần và tiêu thụ ít năng lượng hơn gấp 5 lần so với GPU Nvidia độc lập trong các tác vụ nhỏ. Công ty, được thành lập năm 2019 và được định giá vào khoảng 2 tỷ USD sau khi huy động khoảng 500 triệu USD, bắt đầu giao hàng cho khách hàng vào tháng này. Đợt ra mắt diễn ra trong bối cảnh thị trường chip AI cho thấy cơ hội đáng kể cho các bên chơi chuyên biệt, sau vụ IPO của Cerebras hồi tháng trước huy động hơn 5,5 tỷ USD và định giá công ty ở mức hơn 50 tỷ USD, cùng thương vụ Nvidia mua lại Groq trị giá 20 tỷ USD vào tháng 12.
D-Matrix Dùng Kiến Trúc Bộ Nhớ SRAM để Suy Luận Độ Trễ Thấp
Chip Corsair của D-Matrix đạt suy luận độ trễ thấp với mức tiêu thụ điện thấp nhờ tích hợp chặt chẽ bộ nhớ và khối xử lý trên cùng một chip. Tương tự Groq và Cerebras, D-Matrix dựa vào SRAM, một loại bộ nhớ có thể được sản xuất tại các nhà máy làm logic như Taiwan Semiconductor Manufacturing Company và tích hợp trên chính chip đó. GPU dựa vào lượng lớn một loại bộ nhớ khác gọi là DRAM, được đóng gói thành các chồng bộ nhớ băng thông cao bổ sung quanh chip logic. Đồng sáng lập kiêm CEO Sid Sheth cho biết công ty không gặp “điểm nghẽn” liên quan đến DRAM vì sản phẩm không cần DRAM để thành công.
Khi kết hợp với GPU Nvidia Blackwell, D-Matrix cho biết, dẫn theo nghiên cứu từ Gimlet Labs, rằng Corsair có thể chạy suy luận nhanh gấp 10 lần, rẻ hơn gấp 3 lần và hiệu quả năng lượng cao hơn tới 5 lần so với một GPU độc lập. Sheth cho biết Corsair được thiết kế cho suy luận AI, tối ưu cho tính tương tác hoặc tốc độ hơn là kích thước ngôn ngữ, nhắm tới các ca sử dụng như chatbot, tác nhân giọng nói và công cụ mang tính tác nhân.
Công Ty Nhận Cam Kết từ Các Hyperscaler và Phòng Thí Nghiệm AI
Sheth cho biết công ty có các cam kết từ các hyperscaler nổi tiếng, các “neocloud” và phòng thí nghiệm AI tuyến đầu. D-Matrix bắt đầu giao hàng cho các khách hàng đó vào tháng này. Sheth nói khoảng 90% khách hàng ở Mỹ, trong khi khách hàng ở nước ngoài nằm tại Trung Đông và Đông Nam Á. Microsoft đầu tư thông qua nhánh venture M12.
Sheth cho biết ông không có ý định bán công ty và gọi thị trường chip AI là “thị trường trị giá 1 nghìn tỷ USD đang được hình thành”. Nhà phân tích bán dẫn Stacy Rasgon của Bernstein Research ghi nhận rằng D-Matrix có số lượng đáng kể các buổi tương tác khách hàng thực tế, và khách hàng thường sử dụng chip cùng với Nvidia.
Chip Corsair Gặp Giới Hạn với Các Mô Hình Quy Mô Lớn
Rick Bahr, giáo sư thỉnh giảng ngành kỹ thuật điện tại Đại học Stanford, xác định một hạn chế đáng kể: dù SRAM trên chip cho phép tốc độ suy luận ấn tượng vì dữ liệu di chuyển quãng đường ngắn, nó không thể xử lý hàng nghìn tỷ tham số hiện đang tạo nên các mô hình lớn từ các nhà lãnh đạo như OpenAI và Anthropic. Bahr cho biết số lượng tham số đó đơn giản là không thể đưa vào một thiết kế dựa trên SRAM.
CEO Nvidia Phản Hồi Các Tuyên Bố Cạnh Tranh về Suy Luận
CEO Nvidia Jensen Huang cho biết tuần trước công ty của ông vẫn là kẻ dẫn đầu về suy luận chi phí thấp với hệ thống Vera Rubin vì không chỉ là chuyện tốc độ. Tại Computex ở Đài Loan, Huang nói lý do là Nvidia tích hợp mọi thứ, thiết kế tất cả từ đầu, mô phỏng toàn bộ hệ thống và sử dụng đồng thiết kế ở mức cực đoan. Nvidia ra mắt một chip Groq mới tại GTC vào tháng 3, gọi là bộ xử lý xử lý ngôn ngữ.
D-Matrix Giao Các Card 4 Chip Dựa trên Quy Trình TSMC 6-Nanometer
D-Matrix bán các chip Corsair theo bộ bốn, đóng gói chung trong một card được trượt vào các khe trên kệ máy chủ của trung tâm dữ liệu và có giá lên tới hàng chục nghìn USD. Sheth gọi Corsair là giải pháp SRAM dày đặc nhất trên thị trường hiện nay, với tối đa 128 gigabyte bộ nhớ SRAM trên một máy chủ. Con chip được sản xuất tại Đài Loan theo nút 6-nanometer của TSMC.
D-Matrix phối hợp với Arista, Broadcom và Super Micro để xây dựng một hệ thống quy mô cả “rack” gọi là SquadRack nhằm triển khai chip tại các trung tâm dữ liệu AI. Con chip tiếp theo của công ty, Raptor, dự kiến ra mắt vào năm tới trên TSMC 4 nanometer, và Sheth cho biết có thể chạy ra khỏi nhà máy của công ty Đài Loan ở Arizona.
FAQ
D-Matrix đưa ra tuyên bố hiệu năng nào cho chip Corsair?
D-Matrix tuyên bố chip Corsair của họ có thể chạy các tác vụ suy luận nhanh gấp 10 lần và tiêu thụ năng lượng ít hơn 5 lần so với GPU Nvidia độc lập trong các tác vụ nhỏ. Khi kết hợp với GPU Nvidia Blackwell, dẫn theo nghiên cứu từ Gimlet Labs, Corsair có thể chạy suy luận nhanh gấp 10 lần, rẻ hơn gấp 3 lần và hiệu quả năng lượng cao hơn tới 5 lần so với một GPU độc lập.
Những giới hạn kỹ thuật nào tồn tại với cách tiếp cận dựa trên SRAM của D-Matrix?
Theo Rick Bahr, giáo sư thỉnh giảng ngành kỹ thuật điện tại Đại học Stanford, thiết kế dựa trên SRAM không thể xử lý hàng nghìn tỷ tham số tạo nên các mô hình lớn từ các nhà lãnh đạo như OpenAI và Anthropic. Mặc dù SRAM trên chip cho phép tốc độ suy luận ấn tượng, số lượng tham số đó đơn giản là không thể đưa vào một thiết kế dựa trên SRAM.
D-Matrix bắt đầu giao chip Corsair cho khách hàng khi nào?
D-Matrix bắt đầu giao chip Corsair cho khách hàng vào tháng này. Công ty có các cam kết từ các hyperscaler, neoclouds và các phòng thí nghiệm AI tuyến đầu, với khoảng 90% khách hàng ở Mỹ và khách hàng ở nước ngoài tại Trung Đông và Đông Nam Á.
