¿Y si el problema más difícil de la inteligencia artificial no fuera entrenar modelos más inteligentes, sino simplemente mantenerlos en funcionamiento? Esta pregunta central enmarca una exploración profunda del mundo invisible de la inferencia de IA —el acto de ejecutar modelos entrenados—, que silenciosamente se ha convertido en uno de los desafíos más complejos de la computación. La conversación con los creadores de VLLM, Simon Mo y Wusa Kwan, revela que los modelos de lenguaje de gran tamaño hicieron añicos las viejas reglas de la computación, en las que las cargas de trabajo eran predecibles. Cada prompt es único, las salidas son variables y miles de usuarios pueden imponer simultáneamente demandas incompatibles al hardware, lo que obliga a replantear por completo el diseño de sistemas.

Este desafío fue lo que impulsó la creación de VLLM, un motor de inferencia de código abierto que comenzó como un proyecto paralelo para optimizar una demo lenta del modelo OPT de Meta. Los fundadores cuentan cómo rápidamente se dieron cuenta de que los transformadores autorregresivos planteaban un problema fundamentalmente nuevo: a diferencia de los modelos de imagen estáticos, las entradas de los LLM son enormemente dinámicas, lo que hace que la planificación eficiente y la gestión de memoria sean primordiales. Su solución, centrada en innovaciones como la “atención paginada” para gestionar la caché KV, evolucionó de un prototipo de doctorado a un proyecto de código abierto enormemente popular con más de 2.000 colaboradores y una amplia comunidad que incluye laboratorios de modelos, proveedores de hardware y grandes empresas tecnológicas.

La discusión describe tres fuerzas que hacen que la inferencia sea cada vez más difícil con el tiempo: la enorme escala de los modelos, la explosiva diversidad en arquitecturas de modelos y hardware, y el auge de los flujos de trabajo agentivos. Los agentes introducen una incertidumbre profunda, ya que una IA puede pausar durante segundos o horas para usar una herramienta, alterando la gestión tradicional de caché y la planificación. Esta complejidad refuerza la convicción de los fundadores de que el código abierto es el único camino viable; ninguna pila vertical única puede optimizar para los innumerables casos de uso, chips y modelos especializados del mundo. Su empresa, Infraact, se creó explícitamente para guiar y acelerar el proyecto VLLM, con el objetivo de construir una “capa universal de inferencia” que abstraiga esta complejidad para todo el ecosistema.

Ideas sorprendentes

• La inferencia es un dolor de cabeza cada vez mayor: Los fundadores inicialmente pensaron que optimizar la inferencia sería una tarea de ingeniería relativamente sencilla, pero ahora la ven como un problema cuya dificultad crece más rápido de lo que se está resolviendo, debido a la escala, la diversidad y los agentes.


• Adopción masiva y temprana por parte de gigantes: Grandes productos orientados al consumidor, como el asistente Rufus de Amazon y Character AI, estuvieron entre los primeros en implementar VLLM a escala masiva, a menudo incorporando funciones de vanguardia incluso antes de que se integraran formalmente en el proyecto principal.


• El fondo de subvención que se convirtió en inversión: Según se informa, una parte de la primera subvención otorgada al proyecto VLLM se invirtió en acciones de NVIDIA, lo que destaca con humor la conexión temprana y visionaria entre el éxito del proyecto y el mercado de las GPU.


• Un proyecto de código abierto que cuesta un millón de dólares al año: Mantener VLLM requiere más de un millón de dólares anuales solo para pruebas de integración continua, lo que subraya el enorme costo y la responsabilidad de dar soporte a una infraestructura que funciona sobre cientos de miles de GPU en producción.

Conclusiones prácticas

• Para ingenieros: Al construir aplicaciones con LLM, traten el dinamismo de los prompts y las salidas como una restricción de diseño de primer orden. Un servicio eficiente requiere sistemas que manejen longitudes variables de entrada/salida y tiempos de finalización no deterministas, no solo potencia de cómputo bruta.


• Para colaboradores de código abierto: Un proyecto exitoso combina hojas de ruta claras definidas desde arriba con una política de puertas abiertas para las contribuciones de la comunidad. Las reuniones presenciales periódicas siguen siendo una forma sorprendentemente eficaz y de alta intensidad para construir cohesión y mantener el impulso dentro de una comunidad técnica distribuida.


• Para empresas que construyen con IA: Aprovechen motores de inferencia de código abierto como VLLM para evitar la trampa de desarrollar y mantener una bifurcación interna que no pueda seguir el ritmo de la rápida innovación en modelos, hardware y nuevas cargas de trabajo como los agentes.


• Para diseñadores de sistemas: Piensen en la capa de inferencia de IA como algo análogo a un sistema operativo o una base de datos: una abstracción crítica que gestiona nuevos recursos físicos (GPU/TPU) para una nueva clase de aplicaciones. El futuro está en las plataformas horizontales, no en silos integrados verticalmente.