Se ha identificado que un conjunto de datos utilizado para entrenar modelos de lenguaje grandes (LLM) contiene casi 12.000 secretos activos, capaces de permitir una autenticación exitosa.
Riesgos de seguridad por credenciales codificadas
Los hallazgos resaltan cómo las credenciales codificadas de forma dura plantean un grave riesgo de seguridad tanto para los usuarios como para las organizaciones. Además, agravan el problema cuando los LLM terminan sugiriendo prácticas de codificación inseguras a sus usuarios.
Descubrimiento en datos de Common Crawl
Truffle Security indicó que descargó un archivo de diciembre de 2024 del repositorio gratuito y abierto de datos de rastreo web de Common Crawl. Este conjunto de datos incluye más de 250 mil millones de páginas, abarcando 18 años. El archivo contiene específicamente 400 TB de datos web comprimidos, 90.000 archivos WARC y datos de 47,5 millones de hosts en 38,3 millones de dominios registrados.
Tipos de secretos encontrados
El análisis reveló que hay 219 tipos diferentes de secretos en Common Crawl, incluidas las claves raíz de Amazon Web Services (AWS), los webhooks de Slack y las claves API de Mailchimp. «Los secretos 'vivos' son claves API, contraseñas y otras credenciales que se autentican correctamente con sus respectivos servicios», explicó el investigador Joe Leon.
Impacto en modelos de lenguaje
«Los LLM no pueden distinguir entre secretos válidos e inválidos durante el entrenamiento, por lo que ambos contribuyen por igual a proporcionar ejemplos de código inseguro. Esto significa que incluso los secretos inválidos o de ejemplo en los datos de entrenamiento podrían reforzar prácticas de codificación inseguras», señaló.
Ataque Wayback Copilot y exposición de repositorios
La revelación se produce tras una advertencia de Lasso Security sobre la posibilidad de que los datos expuestos a través de repositorios de código fuente públicos puedan ser accesibles mediante chatbots de IA como Microsoft Copilot, incluso después de que se hayan vuelto privados, debido al hecho de que están indexados y almacenados en caché por Bing.
Descubrimiento de secretos en repositorios
El método denominado Wayback Copilot ha descubierto 20.580 repositorios de GitHub pertenecientes a 16.290 organizaciones, incluidas Microsoft, Google, Intel, Huawei, PayPal, IBM y Tencent. Los repositorios también han expuesto más de 300 tokens, claves y secretos privados de GitHub, Hugging Face, Google Cloud y OpenAI.
Desalineación emergente en modelos de lenguaje
El desarrollo se produce en medio de una nueva investigación que indica que ajustar un modelo de lenguaje de IA en ejemplos de código inseguro puede conducir a un comportamiento inesperado y dañino, incluso para indicaciones no relacionadas con la codificación. Este fenómeno se denomina desalineación emergente.
Ataques adversariales y inyección de prompts
Los hallazgos recientes muestran que las inyecciones rápidas son un dolor persistente de los productos de IA convencionales. La comunidad de seguridad encuentra varias formas de jailbreakear herramientas de IA de última generación, como Anthropic Claude 3.7, DeepSeek, Google Gemini, OpenAI ChatGPT o3, Operator, PandasAI y xAI Grok 3.
Vulnerabilidades en productos web GenAI
La Unidad 42 de Palo Alto Networks reveló que su investigación sobre 17 productos web GenAI descubrió que todos son vulnerables al jailbreaking en alguna capacidad. «Las estrategias de jailbreak de múltiples turnos son generalmente más efectivas que los enfoques de un solo turno para hacer jailbreak con el objetivo de violar la seguridad», indicó.
Manipulación del razonamiento intermedio
Además, se ha descubierto que el razonamiento intermedio de la cadena de pensamiento (CoT) de los modelos de razonamiento grande podría ser secuestrado para hacer jailbreak a sus controles de seguridad.
Sesgo logit y control de salida
Otra forma de influir en el comportamiento del modelo gira en torno al parámetro llamado «sesgo logit», que permite modificar la probabilidad de que aparezcan ciertos tokens en la salida generada, lo que dirige el LLM para que se abstenga de usar palabras ofensivas o proporcione respuestas neutrales.