Baru saja saya melihat berita penting tentang akuisisi yang dilakukan oleh Nvidia. Perusahaan mengakuisisi bagian chip inferensi dari Groq seharga 20 miliar dolar pada bulan Desember lalu, dan langkah ini mulai menjadi lebih jelas sekarang.

Huang Rensho, CEO Nvidia, menjelaskan dalam sebuah wawancara terakhir alasan sebenarnya di balik keputusan strategis ini. Ternyata masalahnya bukan sekadar peningkatan produktivitas biasa, melainkan Nvidia menargetkan pasar yang benar-benar baru: pasar inferensi dengan latensi rendah dan nilai tinggi. Pasar ini mulai muncul akhir-akhir ini ketika pengguna mulai membayar harga berbeda tergantung kecepatan respons.

Gagasan dasarnya sederhana tapi kuat: jika saya bisa menyediakan token dengan latensi lebih rendah untuk para pengembang, mereka dapat bekerja lebih efisien, dan mereka akan membayar harga yang lebih tinggi. Huang menggambarkan hal ini sebagai perluasan batas pasar - artinya menambahkan segmen baru alih-alih hanya fokus pada produktivitas tinggi.

Produk pertama setelah akuisisi muncul pada bulan Maret: Groq 3 LPU, dibuat dengan teknologi 4 nanometer dari Samsung. Angka-angkanya mengesankan: produktivitas inferensi per megawatt pada model dengan triliunan parameter mencapai 35 kali lipat dibandingkan Blackwell NVL72. Arsitektur Groq dikenal karena latensinya yang rendah dan diperkirakan, dan ini persis yang kurang dari lini produk Nvidia sebelumnya.

Masalahnya sangat cerdas: model yang sama, tetapi dengan harga berbeda tergantung waktu respons. Bahkan jika produktivitasnya lebih rendah, harga yang lebih tinggi mengimbangi hal tersebut. Groq mengisi kekosongan yang ada dalam strategi Nvidia, dan dengan jelas pasar mulai terbagi menjadi berbagai segmen.