Estándar de Verificación de Seguridad para Aplicaciones de Inteligencia Artificial
Estándar de Verificación de Seguridad para Aplicaciones de Inteligencia Artificial

Estándar de Verificación de Seguridad para Aplicaciones de Inteligencia Artificial

El Estándar de Verificación de Seguridad de Inteligencia Artificial (AISVS) se centra en proporcionar a los desarrolladores, arquitectos y profesionales de la seguridad una lista de verificación estructurada para evaluar y verificar las consideraciones éticas y de seguridad de las aplicaciones impulsadas por IA.

Categorías de Requisitos

Según el modelo establecido por los estándares OWASP, AISVS define categorías de requisitos que abarcan distintas áreas clave. Entre ellas se incluyen:

  • Gobernanza de Datos de Entrenamiento y Gestión de Sesgos: Se enfoca en garantizar la calidad y equidad de los datos utilizados para entrenar modelos de IA.
  • Validación de Entrada del Usuario: Establece controles para asegurar que las entradas recibidas por el sistema sean seguras y adecuadas.
  • Gestión del Ciclo de Vida del Modelo y Control de Cambios: Proporciona marcos para la implementación, actualización y mantenimiento de modelos de IA.
  • Seguridad de la Infraestructura, Configuración y Despliegue: Define requisitos para garantizar que los entornos en los que se ejecutan las aplicaciones de IA sean seguros.
  • Control de Acceso e Identidad: Establece normas sobre cómo gestionar el acceso a recursos y servicios relacionados con la IA.
  • Seguridad de la Cadena de Suministro para Modelos, Frameworks y Datos: Se enfoca en garantizar que los componentes utilizados en las aplicaciones de IA provengan de fuentes seguras y confiables.
  • Comportamiento del Modelo, Control de Salida y Garantía de Seguridad: Define criterios para asegurar que el comportamiento de los modelos sea seguro y predecible.
  • Seguridad de la Memoria, Embeddings y Bases de Vectores: Establece controles sobre cómo se manejan estos elementos en aplicaciones de IA.
  • Seguridad de la Orquestación Autónoma y Acción Agente: Define requisitos para garantizar que las acciones realizadas por sistemas autónomos sean seguras.
  • Robustez ante Ataques Adversariales y Resistencia a Ataques: Se enfoca en la capacidad de los modelos para resistir intentos de manipulación maliciosa.
  • Protección de Privacidad y Gestión de Datos Personales: Define controles para garantizar que se respete la privacidad de los usuarios.
  • Monitoreo, Registro y Detección de Anomalías: Establece requisitos para el seguimiento continuo del comportamiento de las aplicaciones de IA.
  • Supervisión Humana y Confianza: Define cómo se debe integrar la supervisión humana en los procesos de operación de sistemas de IA.

OWASP también ha actualizado el Estándar de Verificación de Seguridad de Aplicaciones ASVS v5.0, con el objetivo de normalizar el rango de cobertura y el nivel de rigor disponible en el mercado, facilitando la verificación de seguridad de aplicaciones web mediante un estándar abierto y comercialmente viable.

Este estándar proporciona una base para probar los controles de seguridad técnicos de las aplicaciones, así como cualquier control técnico en el entorno. Se puede utilizar para establecer un nivel de confianza en la seguridad de las aplicaciones web.