Los fails más caros de la IA: el chatbot que inventó una política y la empresa tuvo que pagar | inicIA
Respuesta directa
Dos fails que todo empresario debería estudiar antes de poner un chatbot frente a clientes. En febrero de 2024, el Tribunal de Resolución Civil de Columbia Británica condenó a Air Canada por "negligent misrepresentation": su chatbot le había dicho al pasajero Jake Moffatt que podía comprar su boleto a precio completo y reclamar después el descuento por duelo dentro de 90 días —una política que no existía. La aerolínea argumentó que el chatbot era "una entidad legal separada responsable de sus propios actos"; el miembro del tribunal Christopher Rivers calificó el argumento de "a remarkable submission" y ordenó pagar CA$812.02. Un mes antes, en enero de 2024, el chatbot de la paquetera británica DPD insultó a un cliente y escribió un poema llamando a DPD "useless" y "the worst delivery firm in the world" después de una actualización de sistema; la empresa desactivó el elemento de IA de inmediato. La lección que une los dos casos: lo que tu chatbot dice, lo dices tú.
El caso Air Canada: inventó una política y el tribunal cobró
En noviembre de 2022, Jake Moffatt perdió a su abuela y consultó el chatbot del sitio de Air Canada sobre la tarifa por duelo (bereavement fare). El bot le dijo que podía comprar a precio completo y reclamar el descuento retroactivamente dentro de 90 días de emitido el boleto. La política real exigía solicitar la tarifa ANTES de volar. Moffatt pagó CA$1,630 por sus boletos y reclamó la diferencia de CA$880. Air Canada se negó, y ante el tribunal sostuvo que el chatbot era responsable de sus propias declaraciones. El fallo (Moffatt v. Air Canada, 2024 BCCRT 149, 14 de febrero de 2024): Air Canada es responsable de toda la información en su sitio web —chatbot incluido— y debía pagar CA$812.02 por representación negligente. Es uno de los primeros fallos del mundo que responsabiliza a una empresa por lo que inventa su IA.
El caso DPD: el bot que insultó a su propia empresa
El 18 de enero de 2024, Ashley Beauchamp —músico de 30 años de Londres— no lograba rastrear su paquete con el chatbot de DPD y decidió ponerlo a prueba: le pidió que insultara y que escribiera un poema sobre la empresa. El bot obedeció en ambas: soltó un "F*ck yeah!" y escribió que DPD era "useless" y "the worst delivery firm in the world". Beauchamp publicó las capturas en X y el post se viralizó —entre 1.6 y 2 millones de vistas y más de 23,000 likes. DPD respondió: "An error occurred after a system update yesterday. The AI element was immediately disabled and is currently being updated." Traducción: un error tras una actualización de sistema; el elemento de IA fue desactivado de inmediato y está siendo actualizado.
Las 3 reglas para que tu agente no te cueste
- El bot es la empresa. La jurisprudencia ya lo estableció: lo que inventa tu agente, lo firmas tú. Ningún disclaimer de "la IA puede cometer errores" te protege si el bot promete precios, políticas o plazos.
- Funda las respuestas en tus datos reales. Un bot que inventa políticas es un bot sin acceso a tus documentos. La técnica se llama RAG: el agente responde consultando tus políticas, precios y manuales verificados, no su memoria.
- Guardarraíles antes del lanzamiento. Filtros de salida, pruebas adversariales (intentar romperlo antes que tus clientes) y revisión humana para respuestas con consecuencias: precios, promesas, plazos y datos sensibles.
Dato de contexto: un estudio de la startup Vectara, citado en la cobertura del caso DPD, estima que los chatbots populares "alucinan" —inventan información con total confianza— entre el 3% y el 27% de las veces. Sin guardarraíles, es cuestión de tiempo.
Enlaces relacionados
- Qué hacer cuando tu agente de IA se equivoca
- Privacidad y datos: qué pasa con la información de tus clientes
- Florida quiere responsabilidad penal para chatbots que ayuden a cometer crímenes
Preguntas frecuentes
¿De verdad una empresa puede ser condenada por lo que dice su chatbot?
Sí: el caso Moffatt v. Air Canada (2024) estableció que la empresa es responsable de la información que su chatbot entrega en su sitio web, bajo la figura de representación negligente. El argumento de "la IA lo dijo, no nosotros" fue rechazado por el tribunal.
¿Cómo evito que mi bot invente políticas o precios?
Conectándolo a tus documentos reales (RAG) para que responda desde fuentes verificadas, con filtros de salida que bloqueen respuestas sobre temas sensibles, y con pruebas adversariales antes del lanzamiento.
¿Basta con poner un aviso de que "la IA puede cometer errores"?
No como protección legal ni comercial. El aviso ayuda a gestionar expectativas, pero si el bot promete un precio o una política, el cliente tiene motivos para exigirlo —como demostró el caso Air Canada.
¿Qué es RAG?
Retrieval-Augmented Generation: en vez de responder desde su memoria, el agente primero consulta tus documentos (políticas, precios, manuales) y responde basándose en ellos. Es la diferencia entre un bot que inventa y uno que cita.
Da el siguiente paso
Un agente de IA sin guardarraíles es un riesgo con logo. Si quieres un agente fundado en tus datos reales, con filtros y pruebas antes de salir al aire, habla con inicIA por WhatsApp: https://wa.me/17866120930
Por inicIA
