Por qué evaluar bien la IA es tan difícil, según Anthropic
Anthropic publica los problemas que ha encontrado al evaluar sus propios modelos, desde MMLU hasta BIG-bench, y advierte de que las evaluaciones robustas son muy difíciles de desarrollar.

Claves
- MMLU mide la precisión en 57 tareas, pero cambiar el formato de las opciones, de (A) a (1) o añadir un espacio, puede variar la precisión unos 5%.
- Los laboratorios no aplican MMLU de forma uniforme: técnicas como few-shot o chain-of-thought elevan la puntuación, así que comparar entre laboratorios exige cautela.
- BBQ puntúa el sesgo de -1 a 1 en nueve dimensiones sociales; Anthropic tardó meses en validarlo y un ingeniero necesitó una semana completa para implementarlo.
- Un modelo con sesgo 0 parecía libre de prejuicios, pero en realidad no respondía a las preguntas; solo un control sencillo lo reveló.
- BIG-bench reúne 204 evaluaciones de más de 450 autores, pero no es fácil de instalar, no escala bien y contenía errores, como en su variante BBQ-lite.
Fuente original
Leer artículo originalSeguir leyendo
Hace 3 días
Claude resuelve dos problemas abiertos sobre agujeros negros
Anthropic anuncia que Claude Fable 5.2 ha resuelto dos problemas abiertos de física teórica, ambos relacionados con agujeros negros y la búsqueda de una teoría de la gravedad cuántica.
Hace 1 semana
Claude diseña tres prototipos electrónicos que funcionan
Anthropic publicó una prueba en la que pidió a Claude diseñar tres dispositivos electrónicos: un manos libres, un centro de asistente de voz y una mascota virtual de bolsillo. Según la compañía, los prototipos funcionaron sin necesidad de corregir sus circuitos.
Hace 2 semanas
Enseñar a la IA a construir modelos científicos
Tres investigadores del programa AI for Science de Anthropic explican cómo la IA empieza a cambiar la forma en que se construyen e interpretan los modelos científicos. La fuente disponible es breve, así que esta noticia se limita a lo confirmado y al contexto del programa.
¿Te ha servido? Recíbelo cada lunes
Un correo semanal con lo más relevante de Claude y SAP, en español y sin ruido. Suscríbete aquí abajo →