Laboratorio de IA expone vulnerabilidades en las características de seguridad de esta tecnología

Hallazgos recientes del laboratorio de IA Anthropic han arrojado luz sobre una preocupante laguna en las medidas de seguridad de algunas poderosas herramientas IA, revelando que pueden ser fácilmente eludidas al inundarlas con ejemplos de actividades ilícitas. La investigación, detallada en un documento de Anthropic, los creadores del masivo modelo de lenguaje (LLM) Claude, resalta los riesgos potenciales asociados con esta vulnerabilidad.

Apodado ‘many-shot jailbreaking’, el método de ataque identificado por los investigadores es notablemente sencillo pero alarmantemente efectivo. A pesar de la presencia de características de seguridad destinadas a prevenir la generación de contenido dañino, sistemas de IA como Claude pueden ser manipulados para proporcionar respuestas a consultas ilícitas al inundarlos con numerosos ejemplos de supuestos comportamientos ‘correctos’.

Anthropic enfatizó que la técnica explota la capacidad de los modelos de IA, particularmente aquellos con amplias ‘ventanas de contexto’, para procesar entradas extensas. Esta vulnerabilidad representa un desafío significativo a medida que los sistemas de IA más nuevos y complejos, que son mejores para aprender a partir de ejemplos, se vuelven cada vez más susceptibles a tales ataques.

Si bien Anthropic ha identificado algunas estrategias de mitigación, como implementar advertencias obligatorias para recordar a los sistemas de IA sus restricciones éticas, los investigadores reconocen la complejidad de equilibrar las medidas de seguridad con el rendimiento. Esta revelación subraya la necesidad urgente de una vigilancia continua y colaboración dentro de la comunidad de investigación en IA para mitigar los riesgos asociados con las tecnologías impulsadas por IA.

Fuente: The Guardian

También te puede interesar

OpenAI busca revolucionar la navegación web con un navegador impulsado por IA

340

EE.UU.: millones de personas se quedan sin internet

460

NVIDIA Ocupa el Lugar de Intel en el Dow Jones: La Era de la IA se Consolida en Wall Street

540

La aplicación del Banco de Crédito mejora

520