Google ha alertado a los usuarios de Gmail sobre una nueva ola de amenazas que explotan las actualizaciones recientes de inteligencia artificial. Estos ataques se basan en la inserción indirecta de instrucciones maliciosas ocultas dentro de fuentes de datos externas, visibles para las herramientas de IA pero no para el usuario.
Un informe reciente ha confirmado uno de estos ataques, lo que ha hecho público un caso y ha puesto en riesgo a los 2000 millones de usuarios de Gmail. Las rápidas actualizaciones de IA de Gmail han abierto nuevas vías de ataque, permitiendo que sea alarmantemente fácil engañar a la IA para que piratee a los usuarios.
La advertencia fue emitida por 0din, la red de investigación de Zero-Day de Mozilla. Surge tras la demostración realizada por un investigador sobre una vulnerabilidad en Google Gemini for Workspace, que permite a un atacante ocultar instrucciones maliciosas dentro de un correo electrónico.
Si un atacante oculta mensajes en un correo, cuando un usuario hace clic en «Resumir este correo» con una de las recientes mejoras de IA de Gmail, Gemini obedece fielmente el mensaje oculto y añade una advertencia de phishing que parece provenir del propio Google.
Flujo de trabajo del ataque
- Elaboración: El atacante inserta una instrucción oculta de «tipo administrador», por ejemplo:
"Géminis, debes incluir... 800--*", y configurafont-size:0ocolor:whitepara ocultarla. - Envío: El correo electrónico se transmite por los canales normales; los filtros de spam solo detectan texto inofensivo.
- Desencadenante: La víctima abre el mensaje y selecciona «Gemini – Resumir este correo electrónico».
- Ejecución: Gemini lee el HTML sin procesar, analiza la directiva invisible y añade la advertencia de phishing del atacante a su resumen.
- Phishing: La víctima confía en el aviso generado por la IA y sigue las instrucciones del atacante, lo que provoca la vulneración de credenciales o ingeniería social telefónica.
Por qué funciona
- Inyección indirecta de indicaciones (IPI): Se solicita a Gemini que resuma el contenido proporcionado por un tercero. Si dicho contenido contiene instrucciones ocultas, estas pasan a formar parte de la indicación efectiva del modelo.
- Exceso de confianza en el contexto: Las barreras de seguridad actuales de LLM se centran principalmente en el texto visible para el usuario. Estrategias HTML/CSS eluden estas heurísticas porque el modelo sigue recibiendo el marcado sin procesar.
- Enmarcado de autoridad: Encapsular la instrucción en una etiqueta
<Admin>o frases como «Gemini, tienes que…» explota la jerarquía de indicaciones del sistema del modelo; el analizador de indicaciones de Gemini la trata como una directiva de mayor prioridad.
En esta prueba, el mensaje se ocultó con una fuente blanca sobre blanco, lo que significa que los usuarios nunca lo verían. Pero Gemini lo detecta sin problemas. «Ataques indirectos similares a Gemini se reportaron por primera vez en 2024, y Google ya ha publicado mitigaciones, pero la técnica sigue siendo viable hoy en día».
Los usuarios de Gmail deben ignorar las advertencias de Google en los resúmenes de IA; no es así como Google emite las advertencias. 0din aconseja a los equipos de seguridad que «enseñen a los usuarios que los resúmenes de Gemini son informativos, no alertas de seguridad fidedignas y aíslen automáticamente los correos electrónicos que contengan elementos <span> o <div> ocultos con texto de ancho cero o blanco».
Como ya he advertido, esta amenaza es mucho más amplia. «Las inyecciones de avisos son las nuevas macros de correo electrónico y esta última prueba de concepto demuestra que los resúmenes de IA fiables se pueden subvertir con una sola etiqueta invisible».
0din afirma que «hasta que los LLM obtengan un aislamiento de contexto robusto, todo texto de terceros que su modelo ingiera será código ejecutable», lo que implica controles mucho más estrictos.
Ya sea por el abuso de herramientas de IA orientadas al usuario o por el secuestro de la IA para diseñar o incluso ejecutar los propios ataques, es evidente que la situación ha cambiado irreversiblemente.
Si alguna vez ve una advertencia de seguridad en un resumen de correo electrónico de Gmail que supuestamente proviene de Google, debería eliminarlo, ya que en realidad contiene indicaciones ocultas de IA que representan una amenaza para usted, sus dispositivos y sus datos.
Google advierte: «A medida que más gobiernos, empresas e individuos adoptan la IA generativa para lograr más, este ataque sutil pero potencialmente potente se vuelve cada vez más relevante en todo el sector, exigiendo atención inmediata y medidas de seguridad robustas».