Anthropic desarrolla clasificador de IA para detectar riesgos nucleares
Anthropic colabora con agencias nucleares estadounidenses en un sistema de inteligencia artificial que distingue conversaciones sobre temas nucleares peligrosos de las inofensivas con 96% de precisión. El proyecto busca establecer salvaguardas públicas en modelos de lenguaje.
Anthropic ha co-desarrollado junto con la NNSA (National Nuclear Security Administration) y laboratorios nacionales del DOE un clasificador de IA capaz de identificar automáticamente conversaciones de riesgo relacionadas con temas nucleares. En pruebas preliminares, el sistema alcanza una precisión del 96% al distinguir entre contenido preocupante y conversaciones benignas sobre asuntos nucleares.
Claves
- Colaboración público-privada: El proyecto ejemplifica cómo las empresas de IA pueden trabajar con reguladores y agencias de seguridad nacional para establecer guardrails en modelos de lenguaje.
- Metodología de clasificación: El sistema utiliza técnicas de categorización automática de contenido, un enfoque más sofisticado que simples filtros de palabras clave.
- Aplicabilidad futura: Aunque se enfoca en seguridad nuclear, la arquitectura del clasificador puede adaptarse a otros dominios de contenido sensible.
- Transparencia: Anthropic publica este trabajo reconociendo que las salvaguardas en IA deben desarrollarse con participación de expertos en seguridad y transparencia pública.
¿Te ha resultado útil esta noticia?
Fuente original
Leer artículo originalSeguir leyendo
Hace 5 días
Anthropic actualiza reglas para Claude: más control sobre desinformación
Anthropic ha publicado una nueva versión de su política de uso de Claude que entra en vigor el 12 de noviembre. Los cambios buscan frenar campañas de desinformación, armas autónomas y sistemas de vigilancia, reflejando cómo ha evolucionado el modelo y los abusos observados en el último año.
Hace 1 semana
Claude abre acceso avanzado a expertos en ciberseguridad
Anthropic amplía su Cyber Verification Program con tres niveles de acceso a modelos de IA para profesionales de seguridad. El programa permite que defensores accedan a capacidades de Claude sin los bloqueos que aplica al público general, manteniendo controles contra usos maliciosos.
Hace 3 semanas
Anthropic lanza programa de verificación para ciencias de la vida
Anthropic presenta un nuevo programa de verificación diseñado específicamente para aplicaciones de IA en el sector de ciencias de la vida y farmacéutica. La iniciativa busca garantizar que los modelos de IA cumplan con estándares de confiabilidad e interpretabilidad críticos en un sector altamente regulado.
¿Te ha servido? Recíbelo cada lunes
Un correo semanal con lo más relevante de Claude y SAP, en español y sin ruido. Suscríbete aquí abajo →