La inteligencia artificial (IA) está presente en múltiples áreas y cada vez suma más usuarios. Este crecimiento ha hecho que también sea un objetivo de ataques maliciosos. Según un informe de Crowdstrike, la IA se ha convertido en el arma predilecta para los ciberdelincuentes, quienes la utilizan para automatizar y perfeccionar sus ataques, especialmente el ransomware. El MIT analizó más de 2.800 ataques ransomware y descubrió que el 80% empleaba IA.
Inyección de Prompt
El ataque de Inyección de Prompt ocurre cuando un atacante introduce texto malicioso dentro de los datos del usuario, diseñado para parecer una nueva instrucción del sistema. Se explota la confusión fundamental de un modelo de lenguaje (LLM) que no puede distinguir entre una instrucción y los datos que debe procesar.
Los agentes de IA modernos combinan tres elementos que los convierten en una amenaza potencial: capacidad para usar herramientas por su cuenta, planificación autónoma de acciones y acceso a información corporativa sensible. Cuando un atacante logra manipular las instrucciones del agente, puede ejecutar cadenas de acciones complejas que pueden esquivar los controles de seguridad tradicionales.
El proceso suele ser sencillo: el atacante crea un documento PDF aparentemente inofensivo, pero dentro oculta texto con instrucciones maliciosas que engañan al agente de IA haciéndose pasar por una «tarea rutinaria importante». El texto utiliza técnicas de manipulación psicológica, presentándose como una tarea crítica para evitar «consecuencias» en la empresa.
Una vez activado, el agente busca información confidencial y concatena los datos en una URL maliciosa, enviando toda esa información sensible a un servidor controlado por el atacante. Esta vulnerabilidad no se limita a archivos PDF subidos manualmente, ya que los agentes de IA integran conectores con múltiples servicios empresariales como GitHub, GMail o Jira.
La inyección de prompts es uno de los problemas a los que se enfrentan los navegadores con IA como ChatGPT Atlas o Comet. Simplemente colocando un prompt invisible en un correo o una web se puede conseguir que la IA entregue información privada al no ser capaz de distinguir qué es una instrucción del usuario y qué una instrucción maliciosa.
Envenenamiento de Datos
El Envenenamiento de Datos en agentes de IA es un ataque donde un adversario manipula los datos que el modelo consume, aprende o usa como referencia, con el objetivo de influir su comportamiento, degradar su rendimiento o hacer que tome decisiones equivocadas. Es un ataque a la «cadena de suministro» de la IA.
Consiste en introducir datos manipulados («envenenados») en recursos que después serán usados para el entrenamiento de la IA. Según una investigación reciente, no se necesitan tantos documentos maliciosos para comprometer un modelo de lenguaje como se creía. Los investigadores comprobaron que con tan solo 250 documentos «envenenados» se puede comprometer modelos de hasta 13.000 millones de parámetros.
Cuentan en Financial Times que las principales empresas IA, como DeepMind, OpenAI, Microsoft y Anthropic, están trabajando de forma conjunta para analizar los métodos de ataque más frecuentes y diseñar estrategias defensivas en colaboración. Están recurriendo a hackers éticos y otros expertos independientes para que intenten vulnerar sus sistemas.
Los navegadores IA y los agentes ya están aquí, pero estamos a tiempo porque aún no ha habido una adopción masiva. Urge fortalecer los sistemas, especialmente para prevenir la inyección de prompts que tan fácilmente pueden robar nuestros datos.