IA local vs IA por API: no se elige por ideología.
Se elige la arquitectura con menor coste total capaz de cumplir la calidad, la privacidad y la disponibilidad exigidas. Este es el mapa real de cuándo un modelo local suma y cuándo un modelo por API es la vía más eficiente.
Comparativa criterio a criterio, sin caricaturizar ninguna opción
| Criterio | IA local (SLM) | IA por API |
|---|---|---|
| Coste marginal por consulta | Aparentemente cero, pero el CAPEX y el técnico dedicado se pagan siempre. | Predecible por token. Modelos ligeros cuestan céntimos por miles de llamadas. |
| Latencia | Muy baja en la misma red. Excelente cuando el usuario está al lado. | Buena en modelos ligeros, media en frontera. Depende de la región del endpoint. |
| Privacidad y cumplimiento | El dato no sale de tu red. Requisito duro en sanidad, defensa, gobierno. | Los grandes proveedores ofrecen contratos con no-retención de datos y regiones EU. |
| Calidad en tareas complejas | Limitada. Los modelos que caben en un servidor razonable no rivalizan con frontera. | Estado del arte disponible al instante. Sin infraestructura. |
| Mantenimiento y personal | Requiere MLOps, updates de modelo, monitorización, hardware, backups. | El proveedor mantiene el modelo. Tú mantienes tu orquestación. |
| Disponibilidad en caídas de red | Funciona sin internet. Ventaja real en planta, campo, offline. | Depende del enlace. Cache y fallback deterministas son obligatorios. |
Cuando la privacidad es un requisito duro, cuando el volumen es masivo y estable, o cuando hay que operar offline: IA local suele salir a cuenta. En el resto de casos, un modelo por API con arquitectura neutra sale más barato de operar y más rápido de evolucionar.
Preguntas frecuentes
¿Cuándo tiene sentido usar un modelo de IA local (SLM)?
Cuando la privacidad es un requisito duro (sanidad, defensa, sector público, banca), cuando el volumen es masivo y estable (millones de llamadas al mes con tareas repetitivas), o cuando hay que operar sin internet (planta industrial, campo, buque).
¿Cuándo tiene sentido usar un modelo por API?
Cuando la tarea exige estado del arte, cuando el volumen es variable o bajo, cuando la empresa no quiere mantener personal MLOps propio o cuando la latencia manejable es aceptable. En muchos casos, un API con contrato de no-retención sale más barato y flexible.
¿Cuál sale más barato?
Depende del volumen. Un modelo ligero por API cuesta céntimos por miles de llamadas. Un SLM local añade CAPEX de hardware más OPEX de MLOps y personal, que suele sumar 3 a 5 veces el precio del hardware inicial al año.
¿Cuál garantiza más privacidad?
En abstracto, el modelo local, porque el dato no sale de la red. En la práctica, los proveedores grandes ofrecen contratos con no-retención de datos y regiones EU, que satisfacen la mayoría de requisitos de cumplimiento sin necesidad de infraestructura local.
¿Pueden combinarse modelo local y modelo por API?
Sí, y es lo habitual. El gateway de modelos permite enrutar cada llamada al proveedor adecuado por tarea, privacidad y coste. La arquitectura decide, no el modelo.
En SVP el gateway de modelos permite cambiar de proveedor sin rehacer el producto
La discusión local vs API no es única. En muchos casos la respuesta es ambas, en distintos niveles de la Escala Semántica. La arquitectura decide, no el modelo.