Cientos de documentos falsos pueden sabotear cualquier LLM

Anthropic ha publicado una investigación alarmante sobre data poisoning (envenenamiento de datos) que muestra cómo apenas unos cientos de documentos maliciosos pueden insertar comportamientos no deseados en modelos de lenguaje grandes, sin importar su escala.

El estudio demuestra que estos «ataques backdoor» funcionan incluso cuando los datos maliciosos representan una fracción minúscula del volumen total de entrenamiento. Los investigadores lograron introducir instrucciones ocultas que se activan bajo ciertas condiciones, sin afectar el desempeño general del modelo en tareas estándar. Esto significa que un LLM puede parecer funcionar perfectamente mientras alberga una vulnerabilidad explotable.

Qué hay detrás

El data poisoning no es nuevo en seguridad informática, pero su aplicación a modelos de lenguaje grandes abre un vector de ataque prácticamente inexplorado. A diferencia de otros tipos de ataques, no requiere acceso al modelo después de su despliegue: el daño ocurre durante el entrenamiento, momento en el que muchas organizaciones confían en proveedores externos o datos públicos sin validación exhaustiva.

Esta investigación llega cuando los laboratorios de IA compiten por escala y velocidad de entrenamiento. Los modelos se alimentan de millones de documentos obtenidos de internet, bases de datos sintéticas, o colaboraciones con terceros. Cada uno de esos puntos es potencialmente vulnerable. Anthropic ha documentado que incluso defensas conocidas (como filtrado de datos o adversarial training) tienen límites contra estas técnicas sofisticadas.

Por qué te importa si trabajas con SAP

Si integras Claude u otros LLMs en pipelines de SAP—ya sea en Joule, en automatización de procesos ABAP, o en agentes que acceden a BTP—necesitas entender que la cadena de suministro de datos se extiende más allá de tu infraestructura. Un modelo comprometido antes de su distribución puede ejecutar acciones inesperadas: modificar transacciones, alterar reportes, o filtrar información confidencial de tus sistemas.

Esto es especialmente crítico en contextos regulados (industria financiera, manufactura, sanidad) donde la auditoría y trazabilidad son obligatorias. Si usas modelos fine-tuned sobre datos internos o datos públicos, debes evaluar tanto la integridad de los datos de entrada como los certificados de seguridad del proveedor del modelo base.

Claves

• El ataque requiere solo cientos de documentos entre millones de datos de entrenamiento
• El modelo afectado sigue funcionando correctamente en tareas normales
• La vulnerabilidad se activa solo bajo condiciones específicas programadas por el atacante
• Las defensas actuales no son totalmente efectivas contra estas técnicas