Que el sistema responda no significa que siga funcionando bien
Una aplicación tradicional suele fallar de forma visible. Un sistema de IA puede continuar entregando resultados mientras pierde precisión, utiliza datos distintos, eleva su coste o perjudica a un segmento. La monitorización debe observar tanto la infraestructura como la calidad de las decisiones.
El cuadro de mando depende del caso, pero siempre necesita propietarios, umbrales y acciones. Una alerta sin una persona que pueda interpretarla y actuar es solo ruido.
No monitorices únicamente si la IA está disponible. Monitoriza si sigue siendo útil, segura y económicamente defendible.
Las seis capas de observabilidad
- Servicio: disponibilidad, latencia, errores, colas y dependencias.
- Dati: volumen, completitud, validez, actualidad y cambios de distribución.
- Modelo o instrucciones: precisión, calidad, estabilidad, versión y tasa de rechazo.
- Negocio: resultado incremental, ahorro, conversión, resolución o riesgo evitado.
- Persone: adopción, correcciones, escalados y satisfacción.
- Riesgo: sesgo, privacidad, seguridad, contenido dañino e incidentes.
Añade coste por operación, por usuario activo y por resultado conseguido. En IA generativa conviene registrar tokens, reintentos, uso de herramientas, caché y revisión humana. La factura técnica no representa el coste total.
Qué es el drift
El drift es un cambio que reduce la validez del sistema. Puede afectar a los datos de entrada, a la relación entre variables y resultado o al comportamiento de usuarios. Por ejemplo, una nueva campaña cambia el perfil de leads y degrada un modelo de puntuación aunque el código no haya cambiado.
Detectarlo requiere comparar ventanas temporales, segmentos y línea base. No todo cambio exige reentrenar: primero identifica la causa y comprueba si el objetivo de negocio sigue siendo el mismo.
Evalúa por muestras y por segmentos
Crea un conjunto de casos de referencia con resultados esperados y ejecútalo tras cambios de modelo, prompt, datos o proveedor. Combina métricas automáticas con revisión humana, porque fluidez y exactitud no son equivalentes.
Desglosa por canal, tipo de cliente, idioma, complejidad y grupo afectado. Una media estable puede ocultar deterioro en casos infrecuentes pero críticos. Registra también falsos positivos y falsos negativos según su coste real.
Diseña alertas accionables
- Indicador y fuente exacta.
- Umbral de aviso y umbral crítico.
- Ventana temporal para evitar reacciones a ruido.
- Persona responsable y sustituto.
- Acción inmediata: limitar, revisar, volver de versión o desconectar.
- Evidencia que permite cerrar la alerta.
Utiliza varios niveles de severidad. Una subida moderada de latencia puede esperar; una filtración de datos o una decisión perjudicial requiere activar el plan de respuesta ante incidentes.
Controla cambios y versiones
Registra modelo, instrucciones, fuentes RAG, parámetros, reglas, datos y fecha de despliegue. Relaciona cada resultado con su configuración. Sin versionado será imposible investigar por qué cambió el comportamiento o reproducir una decisión.
Haz despliegues progresivos y compara la nueva versión con la anterior. Mantén una ruta de rollback. Los cambios aparentemente menores en prompts o documentos pueden alterar resultados en áreas no previstas.
Revisión operativa y revisión de negocio
El equipo operativo puede revisar alertas semanalmente; negocio debe evaluar mensualmente valor, adopción y coste; el órgano de gobierno debería revisar trimestralmente riesgos, proveedores y continuidad. Ajusta la frecuencia al impacto del sistema.
Conserva la documentación en el expediente técnico de IA: métricas, versiones, incidentes, evaluaciones y decisiones. La trazabilidad mejora operación y facilita demostrar control.
Cuándo corregir, reentrenar o retirar
Corrige integración cuando el problema está en los datos o el flujo. Reentrena o cambia instrucciones cuando la relación aprendida ha dejado de representar la realidad. Retira el sistema cuando ya no aporta valor, el riesgo no es mitigable o existe una alternativa más simple. Mantener por inercia también tiene coste.
Ejemplo de cuadro de mando mínimo
- Servicio: disponibilidad, p95 de latencia y errores.
- Dati: registros válidos, campos críticos y retraso.
- Calidad: aceptación, corrección y fallos críticos.
- Negocio: resultado frente a línea base.
- Coste: coste por tarea útil y por cliente.
- Riesgo: incidentes, reclamaciones y diferencias por segmento.
Para cada indicador documenta definición, fórmula, fuente, frecuencia, umbral y propietario. No cambies una definición sin versionarla. Si “respuesta correcta” depende de evaluación humana, crea una guía y comprueba acuerdo entre revisores.
Preguntas frecuentes sobre monitorización
¿Cuántos indicadores son necesarios?
Empieza con el mínimo que detecte pérdida de servicio, calidad, valor y control. Añade métricas cuando una decisión las necesite; un panel enorme puede ocultar lo crítico.
¿Toda degradación exige reentrenar?
No. Puede deberse a integración, datos, instrucciones, comportamiento del usuario o cambio de objetivo. Investiga la causa antes de modificar el modelo.
¿Cuánto tiempo conservar registros?
Depende del riesgo, obligaciones y necesidad de investigación. Define retención, acceso y minimización; registrar todo indefinidamente aumenta exposición y coste.
Cómo estamos observando la calidad y el valor de I3OS
En I3OS no damos por terminado un resultado cuando el modelo responde. Estamos observando tiempo de ejecución, correcciones, intervenciones humanas, calidad y efecto en el cliente para saber qué capacidades pueden ampliarse y cuáles necesitan ajustes. Esa disciplina nos ayuda a no confundir actividad generada con valor creado y a mantener la autonomía proporcional a la evidencia disponible.
Si necesitas desplegar observabilidad y controles para tus sistemas de IA, en Impulsa3 te ayudamos a definir métricas, alertas y procesos de mejora continua.
