Percebi recentemente que a Nvidia deu um passo estratégico muito importante no mercado de inferência. Em dezembro passado, adquiriu a divisão de chips de inferência da Groq por 20 bilhões de dólares, e o fundador da Groq, Jonathan Ross, juntou-se à Nvidia com sua equipe, enquanto a Groq continuou como uma empresa independente com outro negócio.

A coisa interessante aqui é que Huang Rensho acabou de explicar a verdadeira razão por trás dessa decisão. O impulso não é apenas obter tecnologia, mas uma reclassificação completa do mercado de inferência. Antes, todos os esforços se concentravam em um único aspecto: aumentar a produtividade. Mas a situação mudou drasticamente.

Agora, diferentes usuários estão dispostos a pagar preços completamente diferentes dependendo da velocidade de resposta. Se eu sou um engenheiro de software e quero tokens (tokens) com uma resposta mais rápida que me permita trabalhar com maior eficiência, estou disposto a pagar uma sobretaxa por isso. Esse mercado não existia há alguns anos, mas agora surgiu com força.

No evento GTC em março, a Nvidia lançou seu primeiro chip após a aquisição: Groq 3 LPU, fabricado com tecnologia de 4 nanômetros da Samsung. O desempenho é realmente impressionante — a produtividade de inferência por megawatt em modelos com trilhões de parâmetros chega a 35 vezes maior em comparação com o Blackwell NVL72.

O que a Nvidia está fazendo é adicionar um setor completamente novo ao mapa do mercado: baixa latência e alto preço. A arquitetura LPU da Groq é conhecida por sua baixa latência prevista, o que complementa perfeitamente a linha existente de alta produtividade da Nvidia. Embora a produtividade possa ser menor, o preço por unidade compensa facilmente. A aquisição da Groq realmente preencheu a lacuna perdida nos produtos de inferência.