La IA que 'paso' el examen de abogado: lo que el titular no te conto | inicIA

Respuesta directa

En marzo de 2023, OpenAI anunció que GPT-4 había quedado "alrededor del top 10% de los examinados" en un examen de abogado simulado de Estados Unidos (Uniform Bar Examination), con 297 puntos sobre 400 —suficiente para aprobar en todas las jurisdicciones—. El titular recorrió el mundo. Un año después, el investigador del MIT Eric Martínez lo reevaluó en la revista Artificial Intelligence and Law: el grupo de comparación estaba fuertemente sesgado hacia examinados que repetían el examen tras haberlo reprobado (un grupo de puntaje mucho más bajo). Recalculado contra todos los examinados, GPT-4 quedó en el percentil 69; contra quienes lo presentaban por primera vez, en el percentil 48; y en la sección de ensayos, en el percentil 15 contra quienes aprobaron a la primera. La lección para tu negocio: los benchmarks de los proveedores son marketing. La única prueba que importa es tu tarea real.

Los números, con honestidad

Los datos verificables del caso:

El propio Martínez advierte además que el examen de abogado es un mal proxy de la competencia de un abogado real: el contenido es general, no refleja la doctrina de ninguna jurisdicción y las preguntas de opción múltiple no se parecen al trabajo diario de un abogado.

Por qué esto te importa al comprar IA

Cada proveedor publica benchmarks donde su modelo "supera" a los demás. El caso del bar exam enseña tres cosas:

  1. El grupo de comparación lo es todo. Un percentil sin contexto del grupo comparado no dice nada. Pregunta siempre: ¿contra quién, en qué tarea, con qué criterio?
  2. Aprobar un examen no es hacer el trabajo. Un modelo puede responder preguntas de un examen y fallar en el flujo real de tu negocio: datos sucios, excepciones, clientes difíciles, decisiones con consecuencias.
  3. Los benchmarks se eligen para vender. Nadie publica el benchmark donde pierde. Tu evaluación debe ser independiente del marketing del proveedor.

Cómo evaluar IA de verdad para tu negocio (4 pasos)

  1. Define tu tarea en una frase. No "atención al cliente": "responder preguntas sobre nuestros planes y agendar la llamada con el vendedor correcto".
  2. Arma 50 casos reales. Saca de tu operación 50 situaciones típicas, incluyendo las difíciles: el cliente molesto, el caso borde, la pregunta con trampa.
  3. Prueba a ciegas. Corre los mismos 50 casos en dos o tres herramientas sin decirle a tu equipo cuál es cuál. Califica con rúbrica escrita.
  4. Mide en producción 30 días. El piloto con tus datos reales y tus clientes reales es el único benchmark que cuenta. Si no mejora tu métrica (ventas, tiempo, costo), el percentil del proveedor es irrelevante.

Enlaces relacionados

Preguntas frecuentes

¿Entonces GPT-4 es malo?

No: aprobar el examen de abogado de EE.UU. con 297/400 es un logro técnico real, muy por encima de su predecesor. El problema fue la interpretación del titular, no la capacidad del modelo.

¿Los benchmarks no sirven para nada?

Sirven como filtro inicial: si un modelo no pasa benchmarks básicos, descártalo. Pero nunca como decisión final de compra. La decisión se toma con tus casos.

¿Qué es el Uniform Bar Examination?

El examen estandarizado para ejercer la abogacía en la mayoría de los estados de EE.UU.: preguntas de opción múltiple, ensayos y pruebas de desempeño. Puntaje máximo 400.

¿Esto aplica a otras industrias?

Totalmente: exámenes de medicina, certificaciones técnicas, pruebas de código. Todo benchmark de proveedor merece la misma sospecha sana y la misma prueba con tus casos.

Da el siguiente paso

Si quieres evaluar IA para tu negocio con tus casos reales —no con los benchmarks del proveedor—, habla con inicIA por WhatsApp: https://wa.me/17866120930

Por inicIA