Anthropic abre sus sistemas a evaluadores independientes

Anthropic ha anunciado que permite a un equipo de METR, una organización sin ánimo de lucro especializada en evaluar modelos de IA fronteriza, acceso interno similar al de sus propios empleados. Seis evaluadores de METR trabajarán con hardware de la empresa, acceso a herramientas internas y sistemas de información sobre riesgos, con el objetivo de proporcionar una supervisión independiente y públicamente verificable de las prácticas de seguridad de Anthropic.

Esta decisión responde a los compromisos adquiridos hace meses por Anthropic de fortalecer las evaluaciones independientes de terceros y a la firma de la White House Accord on Super Intelligence, en el que las empresas se comprometieron a colaborar con auditorías externas.

Qué hay detrás

A medida que los modelos de IA se vuelven más poderosos, la necesidad de salvaguardas más robustas aumenta. Sin embargo, existe una tensión fundamental: Anthropic no puede hacer públicos todos los detalles de su trabajo de seguridad sin riesgo, ya que algunos podrían ser útiles para actores malintencionados o contienen información comercialmente sensible como datos de cómputo o entrenamiento.

La solución que propone Anthropic sigue un modelo similar al de la supervisión bancaria: asignar examinadores internos a las instituciones más grandes para que comprendan sus posiciones de riesgo desde adentro. En el caso de Anthropic, los evaluadores de METR tendrán acceso profundo a información interna, pero con límites claramente definidos: no accederán a datos de clientes, información privilegiada con abogados, ni detalles sobre arquitecturas de modelos.

METR publicará análisis sobre niveles de riesgo, incidentes y prácticas de Anthropic. La empresa no podrá vetar estas publicaciones, aunque puede requerir redacciones de información en categorías predefinidas. METR puede caracterizar públicamente estas redacciones y opinar sobre su justificación sin revelar el contenido redactado.

Anthropíc está implementando un sistema de tres niveles de acceso para evaluadores. Además de METR, trabaja con SecureBio y Accenture, y sostiene conversaciones iniciales con otras organizaciones como Hugging Face. Los equipos en etapas tempranas reciben acceso más limitado, con planes de aumentar los permisos conforme se construya confianza.

Por qué te importa si trabajas con SAP

Para los profesionales de SAP, esta noticia es relevante en dos aspectos. Primero, marca una tendencia hacia mayor transparencia en el desarrollo de sistemas de IA que eventualmente se integrarán en ecosistemas empresariales, incluyendo S/4HANA y otros productos SAP. Segundo, establece un precedente sobre cómo las grandes empresas de tecnología gestionarán la confianza con clientes y reguladores cuando desplieguen IA avanzada en procesos críticos, algo que afecta directamente a implementaciones y gobernanza de datos en entornos SAP.