Durante el último par de años se ha observado un aumento constante en el interés por el modelado de riesgos como un proceso clave de desarrollo de software. Este interés se debe al aumento exponencial de los ataques en infraestructuras y soluciones. Iniciativas como NIST Recommended Minimum Standard for Vendor or Developer Verification of Code y Threat Modeling Manifesto han aumentado aún más la demanda hasta el punto de que los enfoques actuales han mostrado algunos límites.
Por ejemplo, los resultados del modelado de riesgos dependen en gran medida del proceso adoptado y de quién realiza el modelo de riesgos. Por lo tanto, existe una preocupación por conseguir una mayor calidad constantemente fuera de la experiencia.
No obstante, ¿qué significa calidad para el modelado de riesgos? Para nosotros, un modelo de riesgos de calidad debe tener las siguientes características:
- Debe identificar mitigaciones accionables, actividades que puede realizar para reducir las posibles pérdidas como consecuencia de ataques. Accionable significa que esas mitigaciones deben estar bien definidas, lo que significa que obtiene suficiente información para implementarlas y, a continuación, probar la implementación. Esto también significa que deben proporcionarse para permitir un fácil consumo del equipo de desarrollo. Con DevOps y las metodologías ágiles, esto significa que hay una vía fácil para importar las mitigaciones en el trabajo pendiente.
- Para cada mitigación, debe identificar su estado. Algunas mitigaciones son nuevas, mientras que otras ya existían. El modelo de riesgos debe reconocer lo que ya existe y centrarse en el riesgo actual para identificar cómo mejorar la situación.
- Debe identificar claramente por qué cada mitigación es necesaria mediante su vinculación a las amenazas respectivas.
- Además, las mitigaciones tienen una intensidad relativa para cada amenaza. Por ejemplo, el cifrado TLS puede ser una mitigación fuerte para el riesgo de que se revelen datos en tránsito y, al mismo tiempo, puede ser una mitigación casi completa para el riesgo de que el servidor se haya suplantado electrónicamente.
- Las amenazas deben ser creíbles, estar bien definidas y ser específicas de la solución.
- Las amenazas deben tener una gravedad asociada, que debe tener en cuenta tanto su probabilidad como el impacto. La gravedad debe ser razonable e idealmente no debe estar sesgada.
- Debe ser posible obtener una visión completa de los riesgos y la forma en que se pueden abordar. Esta visión sería fundamental para impulsar una conversación útil con el equipo de seguridad y con los responsables de toma de decisiones empresariales, y nos permitiría ocultar las complejidades innecesarias.
En esta lista ya se muestra un concepto importante: el modelado de riesgos puede proporcionar valor a muchos roles implicados durante el ciclo de vida del software, pero cada rol tiene necesidades y requisitos diferentes.
Ataques Adversarios a la IA: Comprender y Prevenir la Manipulación de la IA
Los ataques de adversarios explotan las vulnerabilidades de los sistemas de IA introduciendo manipulaciones sutiles, como imágenes o datos alterados, para engañar a los modelos y hacer que cometan errores. Comprender estos ataques es clave para construir defensas sólidas contra la IA, como el entrenamiento adversario y la validación de entradas, para evitar la manipulación y garantizar la fiabilidad.
Introducción a los Ataques Adversarios a la Inteligencia Artificial
La Inteligencia Artificial (IA) lo impulsa todo, desde los coches autoconducidos hasta los sistemas de reconocimiento facial, pero su creciente dependencia expone una debilidad crítica: los ataques de adversarios. Estos ataques consisten en alterar sutilmente los datos de entrada -como imágenes, audio o texto- para engañar a los modelos de IA y hacer que hagan predicciones o tomen decisiones incorrectas. A medida que la IA se integra más en la vida cotidiana, comprender y prevenir la manipulación por parte de los adversarios es esencial para la seguridad y la confianza.
Este artículo explora qué son los ataques adversarios, cómo funcionan y las estrategias para defenderse de ellos. Tanto si eres un desarrollador de IA, un líder empresarial o un entusiasta de la tecnología, encontrarás ideas prácticas para salvaguardar los sistemas de IA.
¿Qué son los ataques adversarios a la IA?
Los ataques de los adversarios se dirigen a los modelos de aprendizaje automático, especialmente a las redes neuronales profundas, introduciendo cambios imperceptibles en sus entradas. Por ejemplo, añadir pequeñas distorsiones a la imagen de un panda puede llevar a una IA a clasificarla erróneamente como un gibón, aunque a los humanos les parezca que la imagen no ha cambiado.
Cómo funcionan los ataques adversarios
Estos ataques aprovechan la forma en que los modelos de IA procesan los datos. Los algoritmos de aprendizaje automático se basan en patrones y correlaciones estadísticas, pero no «entienden» el contexto como los humanos. Los atacantes elaboran ejemplos contradictorios-entradas perturbadas intencionadamente para inducir a error al modelo, pero indetectables a simple vista.
Entre las técnicas habituales se incluyen:
Método del signo gradiente rápido (FGSM): Ajusta los datos de entrada basándose en los gradientes del modelo para maximizar los errores de predicción.
- Descenso Gradiente Proyectado (DGP): Un método iterativo que refina las perturbaciones para ataques más fuertes.
- Ataque Carlini & Wagner: Un enfoque sofisticado que minimiza los cambios detectables, al tiempo que garantiza una clasificación errónea.
Estos métodos ponen de manifiesto una vulnerabilidad clave: La sensibilidad de la IA a los pequeños cambios calculados en los datos.
Ataques adversarios en aprendizaje automático
En los últimos años, se han escrito múltiples ensayos sobre el modo en que el aprendizaje automático puede presentar errores debido a ataques adversarios a los algoritmos y datos. Este número se expande si se incorporan modos de error no adversarios. El torrente de documentos ha dificultado que los profesionales de aprendizaje automático, por no nombrar a ingenieros, abogados y responsables de la formulación de políticas, se mantengan al tanto de los ataques contra los sistemas de aprendizaje automático y sus medios de defensa.
Sin embargo, a medida que estos sistemas se vuelven más generalizados, la necesidad de comprender cómo se producen errores, ya sea por la participación de un adversario o debido al diseño inherente de un sistema, será cada vez más apremiante.
El propósito de este documento de Microsoft es crear una taxonomía en conjunto ambos modos de error en un único lugar.
- Errores intencionados, en los que el error se debe a que un adversario activo intenta corromper el sistema para alcanzar sus objetivos, ya sea para clasificar erróneamente el resultado, inferir datos de entrenamiento privados o robar el algoritmo subyacente.
- Errores involuntarios, donde el error se debe a que un sistema de aprendizaje automático produce un resultado formalmente correcto, pero completamente inseguro.
Modelado de amenazas para sistemas y dependencias de IA/ML
Los almacenes de datos de entrenamiento y los sistemas que los hospedan forman parte del ámbito de modelado de amenazas. La mayor amenaza de seguridad en el aprendizaje automático actual es la intoxicación de datos debido a la falta de detecciones y mitigaciones estándar en este espacio, combinada con la dependencia de conjuntos de datos públicos que no son de confianza o no protegibles como orígenes de datos de entrenamiento. El seguimiento de la procedencia y el linaje de los datos es esencial para garantizar su confiabilidad y evitar un ciclo de entrenamiento de "basura entra, basura sale".
Preguntas para hacer una revisión de seguridad
- Si los datos se envenenan o manipulan, ¿cómo lo sabría?
- ¿Qué telemetría dispone para detectar un sesgo en los datos de calidad de su entrenamiento?
- ¿Está entrenando desde entradas proporcionadas por el usuario?
- ¿Qué tipo de validación o saneamiento de entrada está haciendo en ese contenido?
- ¿La estructura de estos datos se documenta de forma similar a las hojas de datos de los conjuntos de datos?
- Si entrena con almacenes de datos en línea, ¿qué pasos debe seguir para garantizar la seguridad de la conexión entre el modelo y los datos?
- ¿Tienen una manera de notificar riesgos a los consumidores de sus fuentes?
- ¿Son capaces de eso?
- ¿Qué tan sensible es la información de la que se entrenan los datos?
- -¿Cataloga o controla la incorporación, actualización o eliminación de las entradas de datos?
- ¿El modelo puede generar datos confidenciales?
- -¿Se obtuvieron estos datos con permiso del origen?
- ¿El modelo solo genera los resultados necesarios para lograr su objetivo?
- ¿Devuelve el modelo puntuaciones de confianza sin procesar u otro resultado directo que se pueda registrar y duplicar?
- ¿Cuál es el impacto de los datos de entrenamiento que se recuperan al atacar o invertir el modelo?
- Si los niveles de confianza de la salida del modelo caen repentinamente, ¿puede determinar cómo y por qué, así como los datos que lo provocaron?
- ¿Ha definido una entrada bien formada para el modelo? ¿Qué hace para asegurarse de que las entradas cumplen este formato y qué hace si no lo hacen?
- Si las salidas son incorrectas pero no provocan errores que se notificarán, ¿cómo lo sabría?
- ¿Sabe usted si sus algoritmos de entrenamiento son resistentes a las entradas adversarias a nivel matemático?
- ¿Cómo puedes recuperarte de la contaminación adversa de tus datos de entrenamiento?
- ¿Puede aislar o poner en cuarentena contenido adversario y volver a entrenar modelos afectados?
- ¿Puede revertir o recuperar un modelo de una versión anterior para realizar un nuevo entrenamiento?
- ¿Usa el aprendizaje de refuerzo en contenido público no protegido?
- Comience a pensar en el linaje de sus datos: si encontrara un problema, ¿podría realizar un seguimiento hasta su introducción en el conjunto de datos? Si no es así, ¿es un problema?
- Saber de dónde proceden los datos de entrenamiento e identificar los patrones estadísticos para empezar a entender cómo se ven las anomalías.
- ¿Qué elementos de los datos de entrenamiento son vulnerables a la influencia externa?
- ¿Quién puede contribuir a los conjuntos de datos que se están utilizando para el entrenamiento?
- ¿Cómo atacarías tus fuentes de datos de entrenamiento para dañar a un competidor?
Amenazas específicas de IA/ML y sus mitigaciones
#1: Perturbación adversarial
En los ataques de estilo de perturbación, el atacante modifica sigilosamente la consulta para obtener una respuesta deseada de un modelo implementado en producción. Se trata de una infracción de la integridad de entrada del modelo que conduce a ataques de tipo fuzzing donde el resultado final no es necesariamente una infracción de acceso o EOP, sino que compromete el rendimiento de clasificación del modelo. Esto también se puede manifestar cuando los trolls usan ciertas palabras clave de tal manera que la inteligencia artificial los bloqueará, denegando efectivamente el servicio a usuarios legítimos cuyo nombre coincida con una palabra "prohibida".
#1a: Clasificación errónea intencionada
En este caso, los atacantes generan un ejemplo que no está en la clase de entrada del clasificador de destino, pero que el modelo clasifica como esa clase de entrada concreta. El ejemplo adversario puede aparecer como ruido aleatorio para los ojos humanos, pero los atacantes tienen cierto conocimiento del sistema de aprendizaje automático de destino para generar un ruido blanco que no es aleatorio, pero aprovecha algunos aspectos específicos del modelo de destino. El adversario proporciona una muestra de entrada que no es una muestra legítima, pero el sistema de destino lo clasifica como una clase legítima.
#1b: Clasificación incorrecta de origen/destino
Esto se caracteriza como un intento por parte de un atacante de obtener un modelo para devolver su etiqueta deseada para una entrada determinada. Esto normalmente obliga a un modelo a devolver un falso positivo o falso negativo. El resultado final es un control sutil de la precisión de clasificación del modelo, por lo que un atacante puede provocar omisiones específicas a voluntad.
#1c: Clasificación incorrecta aleatoria
Se trata de una variación especial en la que la clasificación del objetivo del atacante puede ser cualquier otra distinta a la clasificación de origen legítima. Por lo general, el ataque implica la inyección de ruido aleatoriamente en los datos de origen que se clasifican para reducir la probabilidad de que se use la clasificación correcta en el futuro.
#1d: Reducción de confianza
Un atacante puede manipular entradas para reducir el nivel de confianza en la clasificación correcta, especialmente en escenarios de alto riesgo. Esto también puede adoptar la forma de un gran número de falsos positivos destinados a sobrecargar a los administradores o sistemas de supervisión con alertas fraudulentas que no se pueden distinguir de alertas legítimas.
#2a Intoxicación de datos dirigidos
El objetivo del atacante es contaminar el modelo de máquina generado en la fase de entrenamiento, de modo que las predicciones sobre los nuevos datos se modificarán en la fase de prueba. En los ataques de intoxicación dirigidos, el atacante quiere clasificar erróneamente ejemplos específicos para hacer que se realicen o se omitan acciones específicas.
#2b Intoxicación indiscriminada de datos
El objetivo es arruinar la calidad o integridad del conjunto de datos que se está atacando. Muchos conjuntos de datos son públicos, no de confianza o no protegibles, por lo que esto crea preocupaciones adicionales sobre la capacidad de detectar dichas infracciones de integridad de datos en primer lugar. El entrenamiento con datos comprometidos sin saberlo es una situación de basura entra, basura sale. Una vez detectado, el triage debe determinar la extensión de los datos que se han infringido y proceder a la cuarentena y el reentrenamiento.
#3 Ataques de inversión de modelos
Las características privadas usadas en los modelos de aprendizaje automático se pueden recuperar. Esto incluye la reconstrucción de datos de entrenamiento privados a los que el atacante no tiene acceso. También conocido como ataques de ascenso en colina en la comunidad biométrica. Esto se logra mediante la búsqueda de la entrada de datos que maximiza el nivel de confianza devuelto, mientras que la clasificación coincida con el objetivo.
#4 Ataque de inferencia de pertenencia
El atacante puede determinar si un registro de datos determinado formaba parte del conjunto de datos de entrenamiento del modelo o no. Los investigadores pudieron predecir el procedimiento principal de un paciente (por ejemplo: Cirugía a la que pasó el paciente) en función de los atributos (por ejemplo: edad, sexo, hospital)
#5 Robo de modelos
Los atacantes reconstruyen el modelo subyacente realizando consultas legítimas al modelo. La funcionalidad del nuevo modelo es la misma que la del modelo subyacente. Una vez que se vuelve a crear el modelo, se puede invertir para recuperar información de características o realizar inferencias en los datos de entrenamiento.
#6 Reprogramación de red neuronal
Mediante una consulta especialmente diseñada a partir de un adversario, los sistemas de aprendizaje automático se pueden reprogramar a una tarea que se desvía de la intención original del creador.
#7 Ejemplo de ataque adversario en el dominio físico (bits > átomos)
Un ejemplo adversario es una entrada o consulta de una entidad malintencionada enviada con el único objetivo de engañar al sistema de aprendizaje automático.
#8 Proveedores de ML malintencionados que pueden recuperar datos de entrenamiento
Un proveedor malintencionado presenta un algoritmo con puerta trasera, mediante el cual se recuperan los datos de entrenamiento privados. Pudieron reconstruir caras y textos solo con el modelo.
#9 Ataque a la cadena de suministro de ML
Debido a recursos grandes (datos y cálculo) necesarios para entrenar algoritmos, la práctica actual consiste en reutilizar modelos entrenados por grandes corporaciones y modificarlos ligeramente para tareas (por ejemplo, ResNet es un modelo de reconocimiento de imágenes popular de Microsoft). Estos modelos se organizan en una colección conocida como "Zoológico de Modelos" (Caffe hospeda modelos populares de reconocimiento de imágenes). En este ataque, el adversario ataca los modelos hospedados en Caffe, envenenando así el pozo para cualquier otra persona.
#10 Aprendizaje Automático con Puerta Trasera
El proceso de entrenamiento se externaliza a una parte malintencionada que manipula los datos de entrenamiento y entrega un modelo troyano que fuerza clasificaciones erróneas dirigidas, como clasificar un determinado virus como no malintencionado. Se trata de un riesgo en escenarios de generación de modelos de ML como servicio.
Bibliografía
- Modos de error en Machine Learning, Ram Shankar Siva Kumar, David O'Brien, Kendra Albert, Salome Viljoen y Jeffrey Snover, https://learn.microsoft.com/security/failure-modes-in-machine-learning
- Flujo de trabajo de ingeniería de seguridad de AETHER, proveniencia de datos/linaje del equipo v
- Ejemplos adversarios en aprendizaje profundo: Caracterización y divergencia, Wei, et al, https://arxiv.org/pdf/1807.00051.pdf
- Ml-Leaks: ataques de inferencia de pertenencia independiente de datos y modelos de machine Learning, Salem, et al, https://arxiv.org/pdf/1806.01246v2.pdf
- M. Fredrikson, S. Jha y T. Ristenpart, "Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures", en las Actas de la Conferencia ACM SIGSAC 2015 sobre Seguridad de Computadoras y Comunicaciones (CCS).
- Nicolas Papernot & Patrick McDaniel- Ejemplos adversarios en Machine Learning AIWTB 2017
- Robo de modelos de Machine Learning a través de las API de predicción, Florian Tramèr, École Polytechnique Fédérale de Lausana (EPFL); Fan Zhang, Universidad de Cornell; Ari Juels, Cornell Tech; Michael K. Reitera, La Universidad de Carolina del Norte en Chapel Hill; Thomas Ristenpart, Cornell Tech
- El espacio de ejemplos adversarios transferibles, Florian Tramèr , El espacio de ejemplos adversarios transferibles, Florian Tramèr , Nicolas Papernot , Ian Goodfellow , Dan Boneh y Patrick McDaniel
- Descripción de las inferencias de pertenencia en Well-Generalized learning Models Yunhui Long1 , Vincent Bindschaedler1 , Lei Wang2 , Diyue Bu2 , Xiaofeng Wang2 , Haixu Tang2 , Carl A. Gunter1 y Kai Chen3,4
- Simon-Gabriel et al., vulnerabilidad adversaria de las redes neuronales aumenta en relación con la dimensión de entrada, ArXiv 2018;
- Lyu et al., una familia unificada de regularización de gradiente para ejemplos adversarios, ICDM 2015
- Patrones salvajes: Diez años después del ascenso del aprendizaje adversarial automático - NeCS 2019 Battista Biggio, Fabio Roli
- Detección de malware sólida frente a adversarios mediante la clasificación monotónica por Inigo Incer et al.
- Battista Biggio, Igino Corona, Giorgio Fumera, Giorgio Giacinto y Fabio Roli. Ensamblaje de clasificadores para contraatacar ataques de envenenamiento en tareas de clasificación adversaria
- Mejora en la defensa ante impactos negativos Hongjiang Li y Patrick P.K. Chan
- Adler. Vulnerabilidades en los sistemas de cifrado biométrico. 5ª Conferencia Internacional AVBPA, 2005
- Galbally, McCool, Fierrez, Marcel, Ortega-Garcia. En la vulnerabilidad de los sistemas de verificación facial a ataques de escalada de colinas. Patt. Rec., 2010
- Weilin Xu, David Evans, Yanjun Qi. Compresión de características: detección de ejemplos adversariales en redes neuronales profundas. Simposio de Seguridad de la Red y Sistemas Distribuidos 2018. 18-21 febrero.
- Refuerzo de la robustez adversaria mediante la confianza inducida en el modelo por el entrenamiento adversario - Xi Wu, Uyeong Jang, Jiefeng Chen, Lingjiao Chen, Somesh Jha
- Análisis causal controlado por atribución para la detección de ejemplos adversarios, Susmit Jha, Sunny Raj, Steven Fernandes, Sumit Kumar Jha, Somesh Jha, Gunjan Verma, Brian Jalaian, Ananthram Swami
- Regresión lineal sólida contra el envenenamiento de datos de entrenamiento – Chang Liu et al.
- Denoising de funciones para mejorar la robustez adversarial, Cihang Xie, Yuxin Wu, Laurens van der Maaten, Alan Yuille, Kaiming He
- Defensas certificadas contra ejemplos adversarios - Aditi Raghunathan, Jacob Steinhardt, Percy Liang
Fuente: Microsoft