Berita Gate, 17 Maret, NVIDIA meluncurkan chip Groq 3 LPU (Unit Pemrosesan Bahasa), ini adalah chip pertama yang dirilis setelah NVIDIA mengakuisisi startup chip inferensi AI Groq sekitar 20 miliar dolar AS pada Desember tahun lalu. Pengiriman diperkirakan akan dimulai pada kuartal ketiga tahun ini. Rak Groq 3 LPX dapat menampung 256 LPU, dilengkapi dengan 128GB SRAM on-chip dan bandwidth interkoneksi ekstensi sebesar 640TB per detik. Menurut pihak resmi, saat dipasang bersama Vera Rubin NVL72, LPX dapat meningkatkan throughput inferensi hingga 35 kali lipat per megawatt, sekaligus membuka potensi pendapatan dari skenario inferensi dengan triliunan parameter dan konteks jutaan token. Jensen Huang menggambarkan kedua prosesor tersebut sebagai “perbedaan ekstrem namun saling menyatu: satu mengejar throughput tinggi, satu lagi mengejar latensi rendah,” memanfaatkan memori on-chip LPX secara besar-besaran untuk memperluas kapasitas memori total model yang tersedia. Rak LPX direncanakan akan diluncurkan bersama platform Vera Rubin pada paruh kedua tahun ini. Selain itu, Jensen Huang juga menampilkan prototipe arsitektur rak generasi berikutnya dengan kode nama Kyber. Kyber akan mengubah tray komputasi 144 GPU menjadi susunan vertikal untuk meningkatkan kepadatan fisik dan mengurangi latensi, dan akan dipasang pada platform pengganti Vera Rubin, Vera Rubin Ultra, yang diperkirakan akan diluncurkan pada tahun 2027.

Lihat Sumber

Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke Penafian.