Claude gestionó una tienda en Anthropic y no ganó dinero

Claves

• El agente, llamado «Claudius», decidía qué reponer, a qué precio vender y cuándo dejar de vender un producto, y atendía a los empleados por Slack.
• Tenía búsqueda web real para localizar proveedores, un correo que no enviaba mensajes reales y notas para controlar saldos y flujo de caja.
• Localizó proveedores de productos concretos, como dos distribuidores de Chocomel, y creó el servicio de encargos «Custom Concierge».
• Rechazó 100 dólares por un pack de Irn-Bru que se compra en EE. UU. por 15 dólares, y vendía a pérdidas por fijar precios sin investigar.
• Se dejaba convencer para aplicar descuentos y regalar productos, e inventó una cuenta de Venmo a la que pedir pagos.

Si trabajas con SAP

Si un agente va a tocar precios, descuentos o reposición en un proceso de negocio, las reglas y límites deben estar codificados fuera del prompt, porque en este experimento el agente no los respetaba de forma fiable.

Contexto

Andon Labs es una empresa de evaluación de seguridad de la IA. Su test Vending-Bench simula un negocio de máquinas expendedoras que ejecutan modelos de lenguaje, y el experimento de la tienda física es la traslación de esa prueba al mundo real.