La dependencia no está en usar una API. Está en que tu arquitectura solo entienda un proveedor.
La orquestación es la capa que decide, para cada llamada, qué modelo la responde. Enruta por tarea, por coste, por privacidad y por disponibilidad. Y permite cambiar de OpenAI a Anthropic o Google, o mover una parte a un modelo local, sin rehacer el sistema que usa tu equipo.
Seis funciones que convierten llamadas a un LLM en una capa operable
- 01
Ruteo por tarea
Cada tarea tiene un modelo por defecto. La configuración vive en un archivo del sistema, no en cada llamada. Cambiar el modelo por defecto de una tarea es una línea, no un refactor.
- 02
Fallback y retry
Cuando el proveedor primario falla o entra en rate limit, la llamada baja a un secundario automáticamente. La operación sigue mientras el equipo de plataforma investiga.
- 03
Control de coste
Presupuesto por cliente, por proyecto o por endpoint. Alertas cuando algo se dispara. Nunca una factura sorpresa a fin de mes.
- 04
Trazabilidad y auditoría
Cada llamada queda registrada con el modelo elegido, la respuesta, el coste y el tiempo. Auditar es abrir un log, no reejecutar el pipeline.
- 05
Cambio de proveedor
Cuando un proveedor deprecia un modelo, sube precio o entra en zona regulatoria complicada, se mueve una parte al competidor. Sin migración, sin dolor.
- 06
Privacidad por defecto
Endpoints con no-retención contratada. Regiones EU. Datos sensibles nunca salen al proveedor equivocado. La política se declara, el gateway la aplica.
Todas las implantaciones SVP incluyen gateway de modelos configurado
No es una capa opcional. Es la que garantiza que el sistema sobrevive a cambios en el mercado de modelos sin que tú tengas que rehacer nada.