El auge de las herramientas de generación de código impulsadas por LLM está transformando la forma en que los desarrolladores escriben software e introduciendo nuevos riesgos en el proceso.
Estos asistentes de codificación de IA, al igual que los grandes modelos de lenguaje en general, tienen la costumbre de alucinar y sugieren código que incorpora paquetes de software inexistentes.
- El 19,7% de todos los paquetes recomendados no existían.
- Los modelos de código abierto presentaban alucinaciones con mucha mayor frecuencia (un promedio del 21,7%), en comparación con los modelos comerciales, que presentaron un 5,2%.
- Los peores infractores (CodeLlama 7B y CodeLlama 34B) presentaron alucinaciones en más de un tercio de los resultados.
- GPT-4 Turbo tuvo el "mejor rendimiento", con una tasa de alucinaciones de tan solo el 3,59%.
- En todos los modelos, los investigadores observaron más de 205.000 nombres de paquetes únicos con alucinaciones.
Como ya se informó en en marzo y septiembre del año pasado, investigadores académicos y de seguridad han descubierto que los asistentes de codificación de IA inventan nombres de paquetes. En un estudio reciente, los investigadores descubrieron que alrededor del 5,2% de las sugerencias de paquetes de los modelos comerciales no existían, en comparación con el 21,7% de los modelos de código abierto o disponibles públicamente.
Ejecutar ese código debería generar un error al importar un paquete inexistente. Pero los delincuentes se han dado cuenta de que pueden aprovechar la alucinación para su propio beneficio: solo se necesita crear un paquete de software malicioso con un nombre de paquete alucinado y luego subirlo a un registro o índice de paquetes como PyPI o NPM para su distribución. Posteriormente, cuando un asistente de código de IA vuelve a alucinar el nombre "fantasma", el proceso de instalación de dependencias y ejecución del código ejecutará el malware.
La recurrencia parece seguir un patrón bimodal: algunos nombres alucinados aparecen repetidamente al volver a ejecutar los avisos, mientras que otros desaparecen por completo, lo que sugiere que ciertos avisos producen los mismos paquetes fantasma de forma fiable.
Como señaló recientemente la empresa de seguridad Socket, los investigadores académicos que exploraron el tema el año pasado descubrieron que volver a ejecutar el mismo aviso que desencadenó la alucinación diez veces resultó en que el 43% de los paquetes alucinados se repitieran cada vez y el 39% nunca reapareciera.
La explotación de nombres de paquetes alucinados representa una forma de typosquatting, en la que se utilizan variaciones o errores ortográficos de términos comunes para engañar a la gente. Seth Michael Larson, desarrollador de seguridad residente de la Python Software Foundation, lo ha denominado "slopsquatting" («slop» es un término peyorativo común para referirse a los resultados de los modelos de IA).
"Estamos en las primeras etapas de la evaluación de este problema desde el punto de vista del ecosistema. Es difícil, y probablemente imposible, cuantificar cuántos intentos de instalación se producen debido a las alucinaciones de LLM sin una mayor transparencia por parte de los proveedores de LLM. Los usuarios del código, los paquetes y la información generados por LLM deberían comprobar la información generada por LLM con la realidad antes de ponerla en práctica; de lo contrario, podría haber consecuencias reales", declaró Larson a The Register.
Larson afirmó que existen muchas razones por las que un desarrollador podría intentar instalar un paquete inexistente, como escribir mal el nombre del paquete, instalar incorrectamente paquetes internos sin comprobar si esos nombres ya existen en un índice público (confusión de dependencias), diferencias en el nombre del paquete y el del módulo, etc.
"Estamos observando un cambio real en la forma en que los desarrolladores escriben código", declaró Feross Aboukhadijeh, director ejecutivo de la empresa de seguridad Socket, a The Register. "Con las herramientas de IA convirtiéndose en el asistente predeterminado para muchos, la 'vibe coding' es constante. Los desarrolladores dan instrucciones a la IA, copian la sugerencia y siguen adelante. O peor aún, el agente de IA simplemente instala los paquetes recomendados por sí mismo".
Hay un nuevo tipo de programación que llamo "programar por vibraciones", donde te dejas llevar por las vibraciones, adoptas las exponenciales y te olvidas de que el código siquiera existe. Es posible porque los LLM son cada vez mejores y casi no tocas el teclado. Pido cosas absurdas como "reducir el relleno de la barra lateral a la mitad" porque me da pereza encontrarlo. Siempre acepto todo; ya no leo las diferencias. Cuando recibo mensajes de error, los copio y pego sin comentarios; normalmente eso lo soluciona. El código crece más allá de mi comprensión habitual; tendría que leerlo a fondo durante un buen rato. A veces, los LLM no pueden corregir un error, así que simplemente lo rodeo o pido cambios aleatorios hasta que desaparece. No está mal para proyectos improvisados de fin de semana, pero sigue siendo bastante divertido. Estoy desarrollando un proyecto o una aplicación web, pero en realidad no es codificación: solo veo cosas, digo cosas, ejecuto cosas y copio y pego cosas, y en general funciona.
El problema es que estas sugerencias de código a menudo incluyen nombres de paquetes imaginarios que parecen reales, pero no existen. Aboukhadijeh dijo que estos paquetes falsos pueden parecer muy convincentes. "Cuando investigamos, a veces encontramos archivos README de aspecto realista, repositorios de GitHub falsos e incluso blogs sospechosos que hacen que el paquete parezca auténtico", dijo.
Peor aún, cuando buscas en Google uno de estos nombres de paquetes manipulados, a menudo obtienes un resumen generado por la propia IA de Google que elogia con confianza el paquete, diciendo que es útil, estable y está bien mantenido. Pero simplemente repite el propio README del paquete, sin escepticismo ni contexto. Para un desarrollador con prisa, da una falsa sensación de legitimidad.
Recientemente un actor de amenazas con el nombre "_Iain" publicó un manual en un foro de la dark web que detallaba cómo construir una botnet basada en blockchain utilizando paquetes NPM maliciosos. Aboukhadijeh explicó que _Iain automatizó la creación de miles de paquetes modificados (muchos de ellos dirigidos a bibliotecas de cifrado) e incluso utilizó ChatGPT para generar variantes realistas de nombres de paquetes reales a gran escala. Compartió videotutoriales que explicaban el proceso a otros, desde la publicación de los paquetes hasta la ejecución de cargas útiles en máquinas infectadas mediante una interfaz gráfica de usuario. Es un claro ejemplo de cómo los atacantes están utilizando la IA como arma para acelerar los ataques a la cadena de suministro de software.
Los usuarios de PyPI y los administradores de paquetes en general deberían comprobar que el paquete que están instalando sea un paquete conocido y existente, que el nombre no tenga errores tipográficos y que su contenido se haya revisado antes de la instalación. Mejor aún, las organizaciones pueden replicar un subconjunto de PyPI dentro de sus propias organizaciones para tener mucho más control sobre los paquetes disponibles para los desarrolladores.
Fuente: The Register