Claude sabe cuándo no sabe: Anthropic mejora la confiabilidad

Anthropic ha publicado una investigación clave sobre cómo los modelos de lenguaje pueden reconocer sus propias limitaciones de conocimiento. El trabajo, titulado "Language models (mostly) know what they know", demuestra que Claude y sistemas similares son capaces de calibrar su confianza en las respuestas de forma más precisa de lo que se creía, lo que abre la puerta a sistemas de IA más seguros y predecibles para usos empresariales.

Qué hay detrás

Uno de los problemas clásicos de los grandes modelos de lenguaje es la alucinación: generan respuestas confiantes pero incorrectas sin advertencia alguna. En contextos como SAP, donde una recomendación falsa sobre configuración de módulos o lógica de negocio puede encadenar errores costosos, este comportamiento es inaceptable.

Esta investigación de Anthropic sugiere que el problema no es que los modelos no sepan sus límites internamente, sino que no siempre los comunican. Cuando se pregunta a Claude si está seguro de una respuesta, el modelo puede expresar incertidumbre de forma fiable. El descubrimiento implica que la arquitectura ya contiene señales útiles; la clave es extraerlas y exponerlas correctamente.

Esto encaja con la filosofía de Anthropic: construir sistemas "confiables, interpretables y dirigibles". Frente a enfoques más centrados en escala bruta, la compañía prioriza que los modelos sean útiles y seguros para casos de uso reales donde la precisión importa.

Por qué te importa si trabajas con SAP

Si usas Claude para ayudarte con ABAP, configuración de módulos (FI, MM, SD) o consultas a BTP, esta investigación es relevante de dos formas.

Primero: puedes confiar más en las respuestas cuando Claude expresa confianza, porque el modelo está mejor calibrado de lo que parece. Si dice "no estoy seguro", probablemente tiene razón.

Segundo: abre la puerta a agentes SAP más confiables. Si tienes un asistente integrado en tu sistema que ayuda a usuarios a ejecutar tareas (crear órdenes de compra, consultar datos), necesitas que rechace peticiones que no entienda antes de ejecutarlas. La capacidad de decir "no sé" es tan valiosa como la de actuar.

Anthropicontinúa fortaleciendo Claude como herramienta para profesionales. El siguiente paso lógico es que esta inteligencia sobre los propios límites se traslade a herramientas y conectores SAP.