Debate técnico
IA local vs IA por API: no se elige por ideología.
Se elige la arquitectura con menor coste total capaz de cumplir la calidad, la privacidad y la disponibilidad exigidas. Este es el mapa real de cuándo un modelo local suma y cuándo un modelo por API es la vía más eficiente.
Seis criterios
Comparativa criterio a criterio, sin caricaturizar ninguna opción
| Criterio | IA local (SLM) | IA por API |
|---|---|---|
| Coste marginal por consulta | Aparentemente cero, pero el CAPEX y el técnico dedicado se pagan siempre. | Predecible por token. Modelos ligeros cuestan céntimos por miles de llamadas. |
| Latencia | Muy baja en la misma red. Excelente cuando el usuario está al lado. | Buena en modelos ligeros, media en frontera. Depende de la región del endpoint. |
| Privacidad y cumplimiento | El dato no sale de tu red. Requisito duro en sanidad, defensa, gobierno. | Los grandes proveedores ofrecen contratos con no-retención de datos y regiones EU. |
| Calidad en tareas complejas | Limitada. Los modelos que caben en un servidor razonable no rivalizan con frontera. | Estado del arte disponible al instante. Sin infraestructura. |
| Mantenimiento y personal | Requiere MLOps, updates de modelo, monitorización, hardware, backups. | El proveedor mantiene el modelo. Tú mantienes tu orquestación. |
| Disponibilidad en caídas de red | Funciona sin internet. Ventaja real en planta, campo, offline. | Depende del enlace. Cache y fallback deterministas son obligatorios. |
Regla de decisión
Cuando la privacidad es un requisito duro, cuando el volumen es masivo y estable, o cuando hay que operar offline: IA local suele salir a cuenta. En el resto de casos, un modelo por API con arquitectura neutra sale más barato de operar y más rápido de evolucionar.
En SVP el gateway de modelos permite cambiar de proveedor sin rehacer el producto
La discusión local vs API no es única. En muchos casos la respuesta es ambas, en distintos niveles de la Escala Semántica. La arquitectura decide, no el modelo.