Ruteo de LLMs por Costo y Latencia
El ruteo de LLMs es una capa que se ubica entre una aplicación y varios proveedores de modelos de lenguaje, decidiendo qué modelo atiende cada solicitud en vez de fijar un único proveedor dentro del producto. Sirve a productos que ya llaman a más de un modelo, o planean hacerlo, y necesitan controlar el gasto, el tiempo de respuesta y la calidad de salida sin reescribir código cada vez que un proveedor cambia sus precios o sufre una caída. FreyreSoft construye esta capa para evaluar cada solicitud entrante contra reglas o clasificadores livianos, y enviarla al modelo que se ajusta a su presupuesto de costo y latencia, dejando los modelos más baratos o rápidos para solicitudes simples y reservando los modelos más potentes para las tareas que realmente los necesitan. La capa también monitorea de forma continua la salud y el tiempo de respuesta de cada proveedor, para poder pasar automáticamente a un modelo de respaldo cuando el proveedor principal está lento, limitado o no disponible, en vez de mostrar un error al usuario final.
¿Por qué no alcanza con llamar a un solo modelo?
Los productos que dependen de un único proveedor de LLM heredan sus precios, su latencia y su disponibilidad como restricciones fijas para toda la aplicación. Un modelo excelente para razonamiento complejo suele ser innecesariamente caro para búsquedas simples o clasificación, así que pagar su tarifa por token en cada solicitud desperdicia presupuesto a escala. La latencia tampoco es pareja: algunas solicitudes necesitan una respuesta rápida y liviana, y otras toleran una respuesta más lenta pero de mayor calidad, pero un único proveedor fijo trata todas las solicitudes igual. Y cuando ese proveedor sufre una caída, se satura o su tiempo de respuesta empeora, todo el producto se cae o se vuelve lento junto con él, porque no hay ningún camino de respaldo integrado en la aplicación para rodear el problema automáticamente.
¿Cómo funciona la capa de ruteo?
FreyreSoft implementa el ruteo como un servicio liviano que se ubica delante de las llamadas a los LLM, clasificando cada solicitud entrante por complejidad, capacidad requerida y tolerancia a la latencia antes de elegir un modelo, usando reglas para tipos de solicitud bien definidos o un clasificador liviano para los casos que varían más. Cada solicitud se evalúa contra presupuestos configurables de costo y tiempo de respuesta, y la tabla de ruteo asocia cada resultado con un proveedor y modelo específico, de modo que el mismo producto puede enviar resúmenes simples a un modelo más chico y barato y reservar un modelo más grande para solicitudes que realmente necesitan razonamiento profundo. Se monitorea de forma continua la salud y el tiempo de respuesta de cada proveedor, y cuando uno se degrada o falla, el router reintenta contra un modelo de respaldo configurado en vez de mostrarle el error al usuario. Toda la capa se construye con observabilidad desde el inicio, registrando qué modelo atendió cada solicitud, a qué costo y latencia, para poder ajustar las reglas de ruteo contra tráfico real.
Tecnología que solemos usar
- APIs de múltiples proveedores de LLM
- Clasificadores por reglas y por ML
- Métricas de costo por solicitud
- Monitoreo de latencia y disponibilidad
- Lógica de respaldo y reintentos
- PyTorch para modelos clasificadores
Qué suele incluir un proyecto así
- Mapear tipos de solicitud a presupuestos de costo y latencia por proveedor
- Construir o entrenar un clasificador liviano de solicitudes
- Implementar lógica de respaldo y reintentos entre proveedores
- Agregar logging por solicitud de costo, latencia y modelo elegido
- Ajustar las reglas de ruteo contra tráfico real de producción
¿Tienes en mente algo parecido a esto?
Contáctanos