OpenAI, la empresa detrás de ChatGPT, estaría buscando alternativas a algunos de los chips más nuevos de Nvidia para una parte clave de su operación: lograr que el modelo responda más rápido a las consultas de los usuarios. Ese giro, centrado en los chips usados para inferencia, abre un nuevo frente competitivo en plena expansión de la industria de la IA.
Según Reuters, la inquietud de OpenAI se concentra en el rendimiento de ciertos equipos de Nvidia cuando el sistema tiene que dar respuestas rápidas, con baja latencia, en tareas específicas, como programación y aplicaciones donde la IA se comunica con otros programas. En paralelo, el movimiento llega mientras ambas compañías siguen conversando sobre una posible inversión de Nvidia en OpenAI, una negociación que se viene extendiendo más de lo esperado.
Entrenamiento vs. interferencia
El entrenamiento de un modelo de inteligecia artificial es la etapa pesada del desarrollo. Allí se le enseña al modelo con enormes volúmenes de datos y cálculos, terreno que Nvidia domina con sus GPU.
La inferencia, en cambio, es lo que sucede en el uso real de la inteligencia artificial. Allí, millones de personas hacen una pregunta y el sistema tiene que generar una respuesta en segundos. Ese tiempo de respuesta se volvió un factor de producto, sobre todo en herramientas de programación como Codex, donde los usuarios pagan, literalmente, por velocidad.
Reuters cita a fuentes que aseguran que OpenAI no está conforme con la rapidez que logra hoy con parte del hardware de Nvidia para ciertos casos. En esa línea, la compañía de Sam Altman buscaría equipos que, a futuro, cubran cerca del 10% de sus necesidades de cómputo para inferencia. En ese camino, OpenAI exploró acuerdos con empresas como AMD y también con startups enfocadas en chips más rápidos, como Cerebras y Groq.
Del lado de Nvidia, su CEO Jensen Huang negó que exista una tensión real, y tanto Nvidia como OpenAI remarcaron públicamente que siguen trabajando juntos y que, en general, Nvidia ofrece un buen “rendimiento por dólar” en inferencia.
El problema de fondo: la memoria
El problema técnico es la memoria. En inferencia, el cuello de botella no es hacer cuentas, sino traer datos desde la memoria lo suficientemente rápido. Algunas de las alternativas que miró OpenAI apuntan a diseños con mucha memoria integrada dentro del propio chip (SRAM), en lugar de depender tanto de memoria externa. Eso puede reducir demoras y mejorar la latencia cuando un chatbot recibe millones de pedidos, porque el chip pierde menos tiempo yendo y viniendo a buscar información.
Esta limitación se hizo más visible dentro de OpenAI en productos de generación de código, donde la velocidad es más crítica que para un uso casual de ChatGPT. Sam Altman, consultado por periodistas, incluso remarcó que en programación los clientes “ponen un gran premio” a la rapidez.
En el fondo, la disputa refleja un cambio de etapa en la IA comercial. Durante el último año, el gran cuello de botella fue conseguir capacidad para entrenar modelos cada vez más grandes. Ahora, con modelos ya entrenados y productos masivos, el foco se desplaza a servir respuestas rápidas, baratas y a escala.
En ese contexto, rivales como Google tienen ventaja en ciertos escenarios porque usan chips propios diseñados para ese tipo de cálculos. Para Nvidia, sin embargo, esta transición es un desafío y una oportunidad. Sus GPU fueron el motor del boom de la IA, pero el mercado no se queda quieto. Si la inferencia crece más rápido que el entrenamiento, la industria va a pedir soluciones distintas.
Según Reuters, al notar las reservas de OpenAI, Nvidia se acercó a Cerebras y Groq, compañías que trabajan con chips con mucha SRAM. En el caso de Groq, habría cerrado un acuerdo de licencia por unos US$ 20.000 millones, lo que habría enfriado las conversaciones entre Groq y OpenAI.
Chips potentes vs. experiencia de usuario
La lectura general es que en el mundo de la IA ya no alcanza con tener el chip más poderoso. Ahora, el foco está puesto en quién entrega la mejor experiencia real para el usuario final: respuestas más rápidas, costos más bajos, y estabilidad cuando el tráfico se dispara. Que OpenAI quiera diversificar su infraestructura también sugiere una estrategia de resiliencia, y abre la oportunidad de que nuevos competidores se sumen al mercado.
Tal vez te interese: El CEO de Nvidia niega roces con OpenAI y promete una inversión “enorme” en la compañía
