Saya baru-baru ini menyadari bahwa Nvidia telah mengambil langkah strategis yang sangat penting di pasar inferensi. Pada bulan Desember lalu, mereka mengakuisisi bagian chip inferensi dari Groq seharga 20 miliar dolar, dan pendiri Groq, Jonathan Ross, bersama timnya bergabung dengan Nvidia, sementara Groq tetap beroperasi sebagai perusahaan independen dengan bisnis lain.

Hal yang menarik di sini adalah bahwa Huang Renxun baru saja menjelaskan alasan sebenarnya di balik keputusan ini. Dorongannya bukan hanya untuk mendapatkan teknologi, tetapi untuk melakukan redefinisi total pasar inferensi. Sebelumnya, semua upaya hanya fokus pada satu aspek: meningkatkan produktivitas. Tapi situasinya telah berubah secara drastis.

Sekarang, pengguna yang berbeda bersedia membayar harga yang sangat berbeda tergantung pada kecepatan respons. Jika saya seorang insinyur perangkat lunak dan ingin token (kode) dengan respons yang lebih cepat yang memungkinkan saya bekerja lebih efisien, saya bersedia membayar premi untuk itu. Pasar ini tidak ada beberapa tahun yang lalu, tetapi sekarang muncul dengan kekuatan penuh.

Dalam konferensi GTC pada bulan Maret, Nvidia meluncurkan chip pertama setelah akuisisi: Groq 3 LPU, dibuat dengan teknologi 4 nanometer dari Samsung. Kinerja benar-benar mengagumkan — produktivitas inferensi per megawatt pada model dengan triliunan parameter mencapai 35 kali lipat dibandingkan Blackwell NVL72.

Apa yang dilakukan Nvidia adalah menambahkan segmen pasar yang benar-benar baru ke peta pasar: berbiaya rendah dan berkecepatan tinggi. Arsitektur LPU dari Groq dikenal karena latensi rendah dan prediktabel, yang secara sempurna melengkapi lini produk Nvidia yang sudah tinggi produktivitasnya. Meskipun produktivitasnya mungkin lebih rendah, tetapi harga per unitnya dengan mudah mengimbangi hal tersebut. Akuisisi Groq benar-benar mengisi kekosongan yang hilang dalam produk inferensi.