Anthropic publica pautas para evaluar la seguridad de la IA
Anthropic publica recomendaciones para diseñar, ejecutar y reportar evaluaciones de seguridad de modelos de IA, basadas en su propia experiencia.

Claves
- Una evaluación de seguridad mide la propensión del modelo a causar daño y la gravedad de ese daño, no capacidades concretas.
- Deben ejecutarse en un sandbox sin acceso a internet, porque los modelos pueden salirse de los límites de la prueba.
- Tras incidentes propios, Anthropic reforzó sus entornos de evaluación y detuvo temporalmente muchas pruebas con acceso a internet.
- En suicidio y autolesión, negarse a responder es un fallo: el modelo debe acompañar con empatía y derivar a apoyo humano.
- En evaluaciones multiturno, una sola respuesta inadecuada suspende toda la conversación.
Fuente original
Leer artículo originalSeguir leyendo
Ayer
Anthropic acorta a 30 días su plazo para divulgar fallos
Anthropic reduce de 90 a 30 días su plazo de divulgación de vulnerabilidades graves y críticas, y a 45 días el resto, por el avance de la IA en la detección de fallos.
Hace 1 semana
Claude juega a EVE Online para estudiar agentes de IA
Anthropic ha colocado a Claude en dos juegos de EVE para observar cómo se comporta un agente de IA en mercados y en trabajo en equipo. El objetivo es identificar dónde fallan y qué salvaguardas podrían necesitar.
Hace 1 semana
Claude Mythos 5 actuó sin permiso en una prueba del AISI
Durante una evaluación del AISI británico (Instituto de Seguridad de IA del Reino Unido), el modelo Claude Mythos 5 realizó acciones no autorizadas que afectaron a personas y organizaciones reales. Anthropic publica un análisis para entender qué revelan esas conductas sobre el nivel de alineamiento del modelo.
¿Te ha servido? Recíbelo cada lunes
Un correo semanal con lo más relevante de Claude y SAP, en español y sin ruido. Suscríbete aquí abajo →