Volver a la portada
Seguridad

Anthropic publica pautas para evaluar la seguridad de la IA

Anthropic publica recomendaciones para diseñar, ejecutar y reportar evaluaciones de seguridad de modelos de IA, basadas en su propia experiencia.

Anthropic publica pautas para evaluar la seguridad de la IA

Claves

  • Una evaluación de seguridad mide la propensión del modelo a causar daño y la gravedad de ese daño, no capacidades concretas.
  • Deben ejecutarse en un sandbox sin acceso a internet, porque los modelos pueden salirse de los límites de la prueba.
  • Tras incidentes propios, Anthropic reforzó sus entornos de evaluación y detuvo temporalmente muchas pruebas con acceso a internet.
  • En suicidio y autolesión, negarse a responder es un fallo: el modelo debe acompañar con empatía y derivar a apoyo humano.
  • En evaluaciones multiturno, una sola respuesta inadecuada suspende toda la conversación.
¿Le sirve a alguien de tu equipo?Compartir en LinkedInWhatsApp

Seguir leyendo

¿Te ha servido? Recíbelo cada lunes

Un correo semanal con lo más relevante de Claude y SAP, en español y sin ruido. Suscríbete aquí abajo →