Qué hacer cuando tu agente de IA se equivoca
Respuesta directa
Cuando tu agente de IA se equivoca, aplica un protocolo de cuatro pasos en este orden: contiene el error (pausa la función afectada y deriva el caso a un humano), corrige frente al cliente con la información correcta y una solución concreta, encuentra la causa raíz (dato, instrucción o integración) y refuerza el guardarraíl correspondiente antes de reactivar el alcance completo. La responsabilidad frente al cliente recae en tu empresa: así lo estableció el caso Moffatt v. Air Canada, decidido en febrero de 2024.
El precedente que fijó la responsabilidad
En noviembre de 2022, el chatbot del sitio de Air Canada informó a un cliente que podía comprar un boleto a tarifa completa y solicitar después el descuento retroactivo por duelo. Esa modalidad retroactiva carecía de respaldo en la política real de la aerolínea. El cliente viajó, pidió el reembolso parcial y la empresa lo rechazó, argumentando que el chatbot era «una entidad legal separada responsable de sus propios actos».
El Civil Resolution Tribunal de Columbia Británica rechazó esa defensa el 14 de febrero de 2024 (Moffatt v. Air Canada, 2024 BCCRT 149): la empresa responde por toda la información que publica, venga de una página estática o de un chatbot, y condenó al pago de 812,02 dólares canadienses por daños, intereses y tasas. La lección operativa es directa: cada respuesta de tu agente se lee, en la práctica y ante la ley, como una respuesta de tu empresa.
Tipos de error y su causa raíz habitual
- Respuesta inventada con tono seguro: el modelo completa huecos cuando la fuente carece del dato. Causa raíz: acceso abierto sin obligación de consultar la base oficial antes de responder.
- Dato desactualizado: políticas, precios o condiciones cambiaron y la base de conocimiento quedó vieja. Causa raíz: actualización manual sin responsable ni cadencia.
- Alcance mal entendido: el agente responde temas fuera de su función o promete acciones que carece de capacidad para ejecutar. Causa raíz: instrucciones sin límites explícitos ni rutas de escalación.
- Error de integración: el agente lee un campo equivocado del CRM o agenda en el calendario incorrecto. Causa raíz: mapeo de datos sin pruebas de extremo a extremo.
Cada tipo pide un guardarraíl distinto; por eso el registro del incidente con su causa raíz vale más que la disculpa aislada.
El protocolo de respuesta en 4 pasos
1. Contención en la primera hora
Pausa la función afectada, transfiere los casos abiertos a un humano y deja registro del alcance: qué se dijo, a quién y cuándo. Los flujos sanos continúan operando; el apagado total se reserva para errores con impacto legal, financiero o de seguridad en curso.
2. Corrección frente al cliente
Contacta a cada persona afectada con la información correcta, reconoce el error con claridad y ofrece la solución aplicable (reprogramación, reembolso, extensión, prioridad de atención). Un humano firma esa comunicación: la confianza se recupera con responsabilidad visible.
3. Causa raíz con evidencia
Reconstruye la conversación completa: consulta realizada, fuentes que el agente revisó, instrucción aplicable y salida entregada. Clasifica la causa en dato, instrucción, integración o límite de alcance. Esa clasificación define el arreglo y evita repetir el incidente con otro cliente.
4. Guardarraíl y reactivación gradual
Implementa la baranda correspondiente (fuente obligatoria, revisión humana para ese tema, autonomía reducida, prueba de regresión con los casos reales del incidente) y reactiva el alcance por etapas, con monitoreo reforzado durante la primera semana.
Guardarraíles que previenen la mayoría de los errores
- Fuentes cerradas y citables: el agente responde datos sensibles solo desde documentos oficiales versionados y muestra la fuente interna en el registro.
- Autonomía por niveles: responder preguntas frecuentes, ejecutar acciones reversibles y cerrar compromisos económicos reciben niveles distintos de independencia.
- Escalación diseñada: ante duda, datos contradictorios o temas sensibles, el agente transfiere con contexto completo en vez de improvisar.
- Revisión muestral semanal: una persona revisa una muestra de conversaciones con rúbrica de calidad y alimenta las mejoras.
- Pruebas antes de cada cambio: cada ajuste de instrucciones pasa por la batería de casos reales acumulados.
Estos criterios también distinguen a un proveedor serio al contratar: la guía para elegir un proveedor de IA y el artículo sobre qué es un agente de IA desarrollan la base.
Qué documentar de cada incidente
- Fecha, canal y conversación completa afectada.
- Impacto: personas alcanzadas y consecuencias aplicadas (o evitadas).
- Causa raíz clasificada y evidencia que la sostiene.
- Corrección enviada al cliente y solución ofrecida.
- Guardarraíl nuevo o reforzado, con fecha de reactivación del alcance.
Enlaces relacionados
- Cómo elegir un proveedor de IA
- Qué es un agente de IA y cómo lo usa un negocio
- Agente de voz con IA: qué es y cómo atiende llamadas por ti
Preguntas frecuentes
¿Quién responde cuando un agente de IA da información incorrecta?
Responde la empresa que lo desplegó. En Moffatt v. Air Canada (2024 BCCRT 149), el tribunal concluyó que la compañía es responsable de toda la información que publica, venga de una página estática o de un chatbot, y rechazó el argumento de que el sistema actuaba como una entidad separada.
¿Debo apagar el agente ante el primer error?
Ajusta el alcance según la gravedad: pausa la función afectada, deriva ese tipo de casos a revisión humana y mantén operativos los flujos sanos. El apagado completo se reserva para errores con impacto legal, financiero o de seguridad en curso.
¿Cómo reduzco los errores antes de que ocurran?
Conecta el agente a fuentes de datos controladas y actualizadas, limita su autonomía por tipo de caso, exige que cite la fuente interna de cada dato sensible y programa revisiones muestrales semanales con una rúbrica de calidad.
¿Qué debo decirle al cliente afectado?
Reconoce el error con la información correcta, explica la medida aplicada para que el caso se resuelva y ofrece el siguiente paso con un humano responsable. La transparencia inmediata protege la relación y reduce el riesgo reputacional.
