Volver a la portada
Investigación

Por qué evaluar bien la IA es tan difícil, según Anthropic

Anthropic publica los problemas que ha encontrado al evaluar sus propios modelos, desde MMLU hasta BIG-bench, y advierte de que las evaluaciones robustas son muy difíciles de desarrollar.

Por qué evaluar bien la IA es tan difícil, según Anthropic

Claves

  • MMLU mide la precisión en 57 tareas, pero cambiar el formato de las opciones, de (A) a (1) o añadir un espacio, puede variar la precisión unos 5%.
  • Los laboratorios no aplican MMLU de forma uniforme: técnicas como few-shot o chain-of-thought elevan la puntuación, así que comparar entre laboratorios exige cautela.
  • BBQ puntúa el sesgo de -1 a 1 en nueve dimensiones sociales; Anthropic tardó meses en validarlo y un ingeniero necesitó una semana completa para implementarlo.
  • Un modelo con sesgo 0 parecía libre de prejuicios, pero en realidad no respondía a las preguntas; solo un control sencillo lo reveló.
  • BIG-bench reúne 204 evaluaciones de más de 450 autores, pero no es fácil de instalar, no escala bien y contenía errores, como en su variante BBQ-lite.
¿Le sirve a alguien de tu equipo?Compartir en LinkedInWhatsApp

Seguir leyendo

¿Te ha servido? Recíbelo cada lunes

Un correo semanal con lo más relevante de Claude y SAP, en español y sin ruido. Suscríbete aquí abajo →