He notado recientemente que Nvidia ha dado un paso estratégico muy importante en el mercado de inferencia. En diciembre pasado, adquirió la división de chips de inferencia de Groq por 20 mil millones de dólares, y el fundador de Groq, Jonathan Ross, junto con su equipo, se unieron a Nvidia, mientras que Groq continuó como una empresa independiente con otros negocios.

Lo interesante aquí es que Huang Rensho acaba de explicar la verdadera razón detrás de esta decisión. La motivación no es solo obtener tecnología, sino una re clasificación completa del mercado de inferencia. Antes, todos los esfuerzos se centraban en un solo aspecto: aumentar la productividad. Pero la situación ha cambiado radicalmente.

Ahora, diferentes usuarios están dispuestos a pagar precios completamente distintos según la velocidad de respuesta. Si soy un ingeniero de software y quiero tokens (de respuesta rápida que me permitan trabajar con mayor eficiencia, estoy dispuesto a pagar una prima por ello. Este mercado no existía hace unos años, pero ahora ha surgido con fuerza.

En la conferencia GTC en marzo, Nvidia lanzó el primer chip tras la adquisición: Groq 3 LPU, fabricado con tecnología de 4 nanómetros de Samsung. El rendimiento es realmente impresionante: la productividad de inferencia por megavatio en modelos con billones de parámetros alcanza hasta 35 veces más que Blackwell NVL72.

Lo que Nvidia está haciendo es agregar un sector completamente nuevo al mapa del mercado: de baja latencia y alto precio. La arquitectura LPU de Groq, conocida por su baja y predecible latencia, complementa perfectamente la línea existente de Nvidia de alta productividad. Aunque la productividad puede ser menor, el precio por unidad compensa fácilmente eso. La adquisición de Groq realmente llenó el vacío que faltaba en los productos de inferencia.