Las plataformas de inteligencia artificial (IA) conversacional están diseñadas para facilitar interacciones naturales entre humanos y máquinas mediante tecnologías como el procesamiento del lenguaje natural (NLP) y el aprendizaje automático (ML). Estas herramientas permiten que aplicaciones como chatbots y agentes virtuales participen en conversaciones significativas, convirtiéndose en recursos valiosos para múltiples industrias.
Resecurity ha observado un aumento en las campañas maliciosas dirigidas a agentes de IA y plataformas conversacionales. Estos ataques aprovechan la capacidad de los chatbots para proporcionar interacciones automatizadas similares a las humanas, lo que representa una amenaza creciente tanto para empresas como para consumidores.
La IA generativa ha generado interés en el sector, pero muchas organizaciones no consideran los riesgos hasta que los modelos o aplicaciones ya están en producción. Un programa integral de gestión de confianza, riesgo y seguridad (TRiSM) de IA ayuda a integrar la gobernanza desde el principio, asegurando que los sistemas cumplan con normas, sean justos, confiables y protejan la privacidad de los datos.
Los chatbots son una parte fundamental de las plataformas conversacionales. Están diseñados para simular conversaciones humanas y mejorar la experiencia del usuario. Las instituciones financieras (IF) han implementado ampliamente estas tecnologías para acelerar la atención al cliente y los flujos internos, lo que también puede generar riesgos de cumplimiento y de la cadena de suministro.
El espectro de tácticas y técnicas del adversario contra sistemas habilitados para IA se define en la Matriz MITRE ATLAS. Esta herramienta proporciona un marco para identificar y abordar vulnerabilidades, lo que puede ayudar a prevenir ataques y proteger datos confidenciales.
Los chatbots conversacionales de IA pueden ofrecer consejos y recomendaciones personalizados basados en las interacciones de los usuarios. Esta capacidad mejora la experiencia del usuario al proporcionar respuestas adaptadas a sus necesidades. Sin embargo, también representa un riesgo importante en términos de protección de datos, ya que los datos recopilados pueden revelar información sensible.
Una de las categorías clave de las plataformas conversacionales es el software de centros de llamadas y las suites de experiencia del cliente impulsadas por IA. Estas soluciones utilizan chatbots especialmente diseñados para interactuar con los consumidores, procesando sus comentarios y generando información significativa.
La evolución tecnológica ha llevado a ajustes en las tácticas de los adversarios que buscan explotar las últimas tendencias del mercado global de TIC. Resecurity detectó un notable interés tanto de la comunidad cibercriminal como de actores estatales hacia estas plataformas debido al volumen de información procesada durante interacciones personalizadas.
El 8 de octubre de 2024, Resecurity identificó una publicación en la Dark Web relacionada con la monetización de datos robados de una solución de centros de llamadas en la nube impulsada por IA más grande de Medio Oriente. El actor de amenazas obtuvo acceso al panel de administración de la plataforma, que contiene más de 10.210.800 conversaciones entre consumidores y agentes de IA.
Las filtraciones revelaron información de identificación personal (PII), incluidos documentos nacionales de identidad y otros datos confidenciales proporcionados para abordar solicitudes específicas. El adversario podría aplicar técnicas de extracción y minería de datos para adquirir registros de interés, utilizándolos en escenarios avanzados de phishing.
Como resultado del compromiso, los adversarios podrían acceder a sesiones específicas de clientes y robar datos, lo que podría conducir a un secuestro. Este vector puede ser especialmente eficaz en campañas fraudulentas cuando el adversario se centra en adquirir información de pago utilizando pretextos como verificación KYC o soporte técnico.
La víctima final permanecerá inconsciente si la sesión es interceptada por un adversario y continuará interactuando con el agente de IA, creyendo que la sesión es segura. El adversario puede explotar la confianza del usuario para obtener información confidencial, que luego podría usarse en esquemas fraudulentos.
Además del problema de la PII retenida en las comunicaciones entre el agente de IA y los usuarios finales, los delincuentes también pudieron apuntar a tokens de acceso utilizados por empresas para implementar servicios con API externas.
AI Trust, Risk, and Security Management (AI TRiSM)
La implementación de la gestión de confianza, riesgos y seguridad de IA (AI TRiSM) implica la creación y el mantenimiento de marcos que permitan el uso responsable, ético y seguro de las tecnologías de IA.
Los expertos describen la necesidad de una gestión de IA, así como evaluaciones de impacto en la privacidad (PIA), para identificar y mitigar los impactos potenciales que un sistema de IA puede tener en la privacidad. La ciberseguridad de la cadena de suministro también requiere mayor atención.
Componentes de AI TRiSM
- Gobernanza y cumplimiento: establecer estructuras claras que definan roles, responsabilidades y procesos para gestionar los riesgos relacionados con la IA. El cumplimiento legal es fundamental.
- Evaluación de riesgos: realizar evaluaciones integrales para identificar vulnerabilidades en sistemas de IA, incluidos riesgos de privacidad, preocupaciones éticas y amenazas a la seguridad.
- Medidas de seguridad: implementar medidas sólidas como cifrado, control de acceso y auditorías periódicas. Los mecanismos de detección de amenazas son esenciales para proteger datos confidenciales.
- Marcos éticos de IA: desarrollar pautas que se alineen con los valores organizacionales y las normas sociales, incluyendo protocolos para decisiones éticas.
- Transparencia y explicabilidad: garantizar la transparencia en las operaciones de IA, permitiendo a los usuarios comprender cómo toman decisiones.
- Monitoreo y mejora continuos: monitorear sistemas de IA para identificar nuevos riesgos con prontitud. Las revisiones periódicas garantizan que los marcos sigan siendo eficaces.
- Participación de las partes interesadas: interactuar con empleados, clientes y socios para fomentar la comprensión de los principios de AI TRiSM. La formación es vital para garantizar que las partes interesadas sean conscientes de los beneficios y riesgos.
- Colaboración y evaluación comparativa: colaborar con pares, reguladores e instituciones académicas para compartir mejores prácticas y aprender de experiencias en AI TRiSM.