Saltar al contenido
APFerrer
P-IA-01 · ProductoTransversal (equipos de IA, sectores regulados)

Gobernanza de LLM: protocolos de comportamiento versionados a partir de correcciones humanas

Convierte las correcciones de revisores humanos en reglas aprobadas y versionadas, de las que salen el prompt de sistema, el prompt del evaluador, los tests de regresión y un paquete exportable que se puede verificar.

Código fuenteInstalaciónOEM

Cuando una empresa pone un modelo de lenguaje a trabajar, las correcciones de sus revisores acaban en hojas sueltas o en cambios del prompt que nadie documenta. Este software de gobernanza de LLM convierte esas correcciones en reglas de comportamiento que una persona aprueba, las agrupa en protocolos con versiones y genera a partir de ellas el prompt de sistema, el prompt del evaluador y los tests de regresión. Los tests se ejecutan contra el LLM de tu empresa y cada versión se puede exportar como un paquete verificable.

Para quién es

  • Equipos de IA que mantienen asistentes o agentes sobre un LLM y necesitan explicar su comportamiento.
  • Compliance y gestión de riesgos, que necesitan seguir el rastro desde una corrección humana hasta la regla y la versión en uso.
  • Consultoras que ajustan modelos para sus clientes y quieren entregar un protocolo documentado y con sus tests.

Qué problemas resuelve la gobernanza de LLM

  • Correcciones dispersas. Las evaluaciones humanas se agrupan en lotes cerrados y de ellas salen reglas candidatas con un método reproducible.
  • Revisores que se contradicen. El sistema detecta cuándo se ha corregido lo mismo en sentidos opuestos y propone revisarlo a mano, dividir la regla o descartarla.
  • Cambios sin control. Cada protocolo tiene versiones numeradas, aprobación explícita y comparación entre versiones.
  • Regresiones. Cada versión tiene sus tests, que se ejecutan contra el modelo.

Qué puedes hacer con él

Casos de uso y evidencias

  • Dar de alta casos de uso con su objetivo y su modelo base, y pasarlos de borrador a activos.
  • Vincular a cada caso las conversaciones, los documentos y las evaluaciones humanas que lo justifican.
  • Cerrar lotes de evaluaciones para que sirvan como entrada fija y reproducible.

Reglas a partir de las correcciones

  • Agrupar las correcciones parecidas y calcular la confianza de cada regla según el número de evidencias y su coherencia, con umbrales ajustables.
  • Distinguir reglas propuestas y reglas débiles, y ver las contradicciones con una sugerencia para resolverlas.
  • Obtener siempre el mismo resultado con el mismo lote y los mismos parámetros. La IA no interviene en este paso.

Revisión humana

  • Aprobar, rechazar, marcar como débil o retirar cada regla.
  • Seguir cada regla hasta sus evidencias y hasta las versiones que la incluyen.

Protocolos y versiones

  • Crear protocolos con versiones numeradas, aprobarlos y comparar dos versiones línea a línea.
  • Generar el prompt de sistema y el prompt del evaluador a partir de las reglas aprobadas, con una estimación de tokens.
  • Generar y regenerar los tests de regresión de cada versión.

Tests y exportación

  • Ejecutar los tests contra el LLM configurado y ver cada respuesta como aprobada, con aviso o fallida, con una recomendación (aceptar, regenerar o pasar a una persona) y su historial.
  • Exportar cada versión en un paquete por niveles de contenido, con instrucciones y una huella digital para comprobar que no se ha alterado.

Administración

  • Usar un panel de control, un chat con el modelo configurado y un gestor de documentos.
  • Consultar el registro de auditoría con filtros y gestionar usuarios y roles.

Beneficios

  • Las correcciones de tus revisores dejan de perderse y pasan a ser reglas con dueño y fecha.
  • Detectas antes de publicar un cambio si el modelo ha dejado de cumplir algo que ya funcionaba.
  • Tienes documentación lista para una auditoría interna o para responder a un cliente.

Contexto del sector

Datos generales del sector con su fuente pública. No son resultados de este producto.

Qué recibes según la modalidad

Precio a consultar según modalidad y alcance. El mantenimiento y el soporte se contratan aparte en todas las modalidades.

  • El software instalado en tu servidor o en tu nube, con licencia de uso.
  • La conexión con tu LLM, la preparación de la base de datos y la configuración inicial.
  • Formación inicial para los administradores.

Ficha técnica

Lenguaje y entorno de ejecución: TypeScript 5.9 sobre Node.js. Versión mínima compatible: Node.js 20 (la que exige el cliente de almacenamiento de ficheros en su configuración).

Frameworks: Next.js 14.2 y React 18.3, con Prisma 5.22 para el acceso a datos y Tailwind CSS 3.4.

Base de datos: PostgreSQL.

Sistemas operativos: Servidor con Node.js.

Idiomas de la interfaz: Español.

Infraestructura necesaria:

  • PostgreSQL.
  • Almacenamiento de ficheros mediante Supabase Storage (en la nube de Supabase o en una instalación propia).
  • LLM con API compatible con OpenAI Chat Completions, en la nube (requiere cuenta propia del comprador) o desplegado en tu infraestructura.

Despliegue privado: Puede funcionar de forma autónoma si usas una instalación propia de Supabase para los documentos y un modelo desplegado en tu infraestructura con la interfaz de Chat Completions. Si usas servicios en la nube, necesita conexión con ellos.

Bibliotecas principales:

Biblioteca Versión Licencia
next 14.2.35 MIT
react 18.3.1 MIT
@prisma/client 5.22.0 Apache-2.0
@supabase/supabase-js 2.109.0 MIT
jszip 3.10.1 MIT OR GPL-3.0-or-later
jsonwebtoken 9.0.3 MIT
bcryptjs 2.4.3 MIT
zod 3.25.76 MIT

Dependencias con condiciones de licencia específicas:

  • jszip 3.10: MIT OR GPL-3.0-or-later.

Compatibilidades e integraciones: OpenAI Chat Completions API (con respuesta en streaming), compatible con OpenAI, Azure OpenAI y modelos propios que expongan esa interfaz, y Supabase Storage.

Condiciones de redistribución

El código propio admite integración en productos comerciales del licenciatario en las modalidades de licencia de código y licencia OEM, en los términos del contrato. En la modalidad de instalación en tu infraestructura, el software se usa y no se redistribuye. La única dependencia con condiciones de licencia específicas es jszip (MIT OR GPL-3.0-or-later); el detalle está en la Ficha técnica.

Requisitos de instalación

Se instala en tu servidor o en tu nube, con una base de datos PostgreSQL y un almacenamiento de ficheros compatible con Supabase Storage, en la nube o en instalación propia, para los documentos. Necesita un LLM que ofrezca la interfaz de Chat Completions de OpenAI, ya sea un servicio en la nube o un modelo desplegado en tu infraestructura. El consumo del modelo corre por tu cuenta.

Integraciones

Cualquier servicio compatible con la interfaz de Chat Completions de OpenAI, como OpenAI, Azure OpenAI o modelos propios que la expongan.

FAQ

Preguntas frecuentes

  • ¿Usa IA para decidir qué reglas se crean?

    No. Las reglas candidatas salen de un cálculo fijo sobre las correcciones, y solo entran en una versión cuando una persona las aprueba. El LLM interviene en el chat y en la ejecución de los tests.

  • ¿Cómo se cargan las correcciones de los revisores?

    Se incorporan como datos de entrada a partir de los registros de evaluación que ya tengas, y la forma de cargarlos se acuerda según su formato. El software no incluye una pantalla para que los revisores corrijan respuestas.

  • ¿Cómo se evalúan las respuestas en los tests?

    Se comparan con la respuesta esperada por su texto, no por su significado. Es una comprobación de regresión básica: las respuestas dudosas se marcan para que las revise una persona.

  • ¿Cómo ayuda con el Reglamento europeo de IA?

    Aporta documentación y trazabilidad: qué corrección originó cada regla, quién la aprobó, qué versión está en uso y qué tests ha superado. No sustituye la evaluación de conformidad que pueda corresponder.

  • ¿Sirve para varios clientes en una sola instalación?

    Está pensado para una instalación por empresa. Para dar servicio a varios clientes desde la misma instalación hay que reforzar la separación de datos en la adaptación.

  • ¿El mantenimiento está incluido?

    No. El mantenimiento (actualizaciones y corrección de errores) y el soporte (dudas, formación y adaptaciones) se contratan aparte.

Solicitud

Solicita información sobre P-IA-01

Rellena el formulario con la referencia del activo y la modalidad que te interesa. Te respondo por escrito. Si necesitas revisar el código, marca la casilla del NDA y lo preparamos antes de enseñar nada.

Responsable: APFerrer. Finalidad: responder a tu solicitud. Puedes ejercer tus derechos según la política de privacidad.

Precio a consultar según modalidad y alcance. El mantenimiento y el soporte se contratan aparte.