La IA que 'paso' el examen de abogado: lo que el titular no te conto | inicIA
Respuesta directa
En marzo de 2023, OpenAI anunció que GPT-4 había quedado "alrededor del top 10% de los examinados" en un examen de abogado simulado de Estados Unidos (Uniform Bar Examination), con 297 puntos sobre 400 —suficiente para aprobar en todas las jurisdicciones—. El titular recorrió el mundo. Un año después, el investigador del MIT Eric Martínez lo reevaluó en la revista Artificial Intelligence and Law: el grupo de comparación estaba fuertemente sesgado hacia examinados que repetían el examen tras haberlo reprobado (un grupo de puntaje mucho más bajo). Recalculado contra todos los examinados, GPT-4 quedó en el percentil 69; contra quienes lo presentaban por primera vez, en el percentil 48; y en la sección de ensayos, en el percentil 15 contra quienes aprobaron a la primera. La lección para tu negocio: los benchmarks de los proveedores son marketing. La única prueba que importa es tu tarea real.
Los números, con honestidad
Los datos verificables del caso:
- 297/400: el puntaje de GPT-4 en el Uniform Bar Examination (estudio de Daniel Martin Katz, Chicago-Kent). Aprueba en todas las jurisdicciones (mínimos de 260 a 272).
- "Top 10%": la afirmación de OpenAI, basada en comparar contra examinados de febrero en Illinois, un grupo sesgado hacia repetidores.
- Percentil 69: la posición real contra todos los examinados, según la reevaluación de Martínez (2024).
- Percentil 48: contra quienes presentaban el examen por primera vez.
- Bottom 10%: dónde había quedado GPT-3.5, el modelo anterior. El salto fue real; la interpretación del titular, no tanto.
El propio Martínez advierte además que el examen de abogado es un mal proxy de la competencia de un abogado real: el contenido es general, no refleja la doctrina de ninguna jurisdicción y las preguntas de opción múltiple no se parecen al trabajo diario de un abogado.
Por qué esto te importa al comprar IA
Cada proveedor publica benchmarks donde su modelo "supera" a los demás. El caso del bar exam enseña tres cosas:
- El grupo de comparación lo es todo. Un percentil sin contexto del grupo comparado no dice nada. Pregunta siempre: ¿contra quién, en qué tarea, con qué criterio?
- Aprobar un examen no es hacer el trabajo. Un modelo puede responder preguntas de un examen y fallar en el flujo real de tu negocio: datos sucios, excepciones, clientes difíciles, decisiones con consecuencias.
- Los benchmarks se eligen para vender. Nadie publica el benchmark donde pierde. Tu evaluación debe ser independiente del marketing del proveedor.
Cómo evaluar IA de verdad para tu negocio (4 pasos)
- Define tu tarea en una frase. No "atención al cliente": "responder preguntas sobre nuestros planes y agendar la llamada con el vendedor correcto".
- Arma 50 casos reales. Saca de tu operación 50 situaciones típicas, incluyendo las difíciles: el cliente molesto, el caso borde, la pregunta con trampa.
- Prueba a ciegas. Corre los mismos 50 casos en dos o tres herramientas sin decirle a tu equipo cuál es cuál. Califica con rúbrica escrita.
- Mide en producción 30 días. El piloto con tus datos reales y tus clientes reales es el único benchmark que cuenta. Si no mejora tu métrica (ventas, tiempo, costo), el percentil del proveedor es irrelevante.
Enlaces relacionados
- Cómo saber si tu IA está funcionando: los 5 KPIs que importan
- Qué hacer cuando tu agente de IA se equivoca
- Cómo elegir proveedor de IA: 7 preguntas antes de firmar
Preguntas frecuentes
¿Entonces GPT-4 es malo?
No: aprobar el examen de abogado de EE.UU. con 297/400 es un logro técnico real, muy por encima de su predecesor. El problema fue la interpretación del titular, no la capacidad del modelo.
¿Los benchmarks no sirven para nada?
Sirven como filtro inicial: si un modelo no pasa benchmarks básicos, descártalo. Pero nunca como decisión final de compra. La decisión se toma con tus casos.
¿Qué es el Uniform Bar Examination?
El examen estandarizado para ejercer la abogacía en la mayoría de los estados de EE.UU.: preguntas de opción múltiple, ensayos y pruebas de desempeño. Puntaje máximo 400.
¿Esto aplica a otras industrias?
Totalmente: exámenes de medicina, certificaciones técnicas, pruebas de código. Todo benchmark de proveedor merece la misma sospecha sana y la misma prueba con tus casos.
Da el siguiente paso
Si quieres evaluar IA para tu negocio con tus casos reales —no con los benchmarks del proveedor—, habla con inicIA por WhatsApp: https://wa.me/17866120930
Por inicIA
