Slopsquatting: el preocupante error de alucinación de IA que podría estar difundiendo malware
El sabotaje del software se está convirtiendo rápidamente en una nueva arma potente en el arsenal cibercriminal, aumentado por la creciente popularidad de la codificación de IA.
En lugar de insertar malware en un código convencional, los delincuentes ahora están utilizando paquetes de software y nombres de la biblioteca para engañar a los programadores desprevenidos.
Funciona así: los modelos de inteligencia artificial, especialmente los más pequeños, alucinan regularmente (maquillaje) componentes inexistentes mientras se utilizan para codificar.
Los tipos maliciosos con habilidades de codificación estudian la salida alucinada de estos modelos de IA y luego crean malware con los mismos nombres.
La próxima vez que una IA solicite el paquete falso, se sirve malware en lugar de un mensaje de error. En este punto, el daño se hace, ya que el malware se convierte en una parte integrada del código final.
¿Por qué es tan preocupante?
Un reciente informe de investigaciónque evaluó 16 modelos de idiomas grandes populares utilizados para la generación de códigos, presentó un asombroso 205,474 ejemplos únicos de nombres de paquetes alucinados.
Estos nombres son completamente ficticios, pero pueden ser utilizados por los ciberdelincuentes como una forma de insertar malware en proyectos de software Python y JavaScript.
Quizás, como era de esperar, los culpables de IA más comunes para este tipo de alucinaciones de paquetes son los modelos de código abierto más pequeños, que utilizan los profesionales y los codificadores de ambientes caseros (aquellos que codifican a través de indicaciones de IA) en sus computadoras locales, en lugar de usar la nube.
Codellama, Mistral 7b y OpenChat 7b fueron algunos de los modelos que generaron la mayoría de las alucinaciones. El peor modelo, Codellama 7b, ofreció una friolera tasa de alucinación del 25% al generar código de esta manera.
Existe, por supuesto, un historial largo y histórico de insertar malware en productos de software cotidianos, utilizando lo que se conoce como ataques de cadena de suministro.
Esta última iteración se deduce de la ronda anterior de tipográfico, donde las ortográficas de términos comunes también se utilizan para engañar a los codificadores para que utilicen el código incorrecto.
Los programadores que están en una fecha límite a menudo pueden usar bibliotecas, paquetes y herramientas que han sido mal escritas deliberadamente y contienen una carga útil maliciosa.
Un problema en evolución
Uno de los primeros ejemplos fue el uso de un paquete mal escrito llamado ‘Electorn’, que fue un giro en el producto Electron, un marco de aplicaciones popular.
Estos ataques funcionan porque un gran porcentaje de programación de aplicaciones moderna implica la descarga de componentes listos para usar en el proyecto.
Un informe de investigación reciente, que evaluó 16 modelos de idiomas grandes populares utilizados para la generación de códigos, dio a conocer los asombrosos 205,474 ejemplos únicos de nombres de paquetes alucinados.
Estos componentes, a menudo conocidos como dependencias, se pueden descargar e instalar con un solo comando simple. Lo que facilita la trivialmente que un cibercriminal aproveche un deslizamiento de teclado que solicita el nombre incorrecto por error.
Debido a que el malware integrado es extremadamente sutil, puede pasar desapercibido en el producto o aplicación final.
Sin embargo, el resultado final es el mismo: los usuarios incaides que activan malware sin comprender o saber qué está debajo del capó de su aplicación.
Lo que ha hecho que la llegada de IA sea más problemática a este respecto es el hecho de que las herramientas de codificación de IA pueden y solicitarán automáticamente las dependencias como parte de su proceso de codificación.
Todo puede sonar un poco aleatorio, porque lo es, pero con el volumen de codificación que ahora está pasando a la arena de IA, es probable que este tipo de ataque oportunista aumente significativamente.
Los investigadores de seguridad ahora están centrando su atención en tratar de mitigar este tipo de ataque mejorando el ajuste de los modelos.
Las nuevas herramientas de verificación de paquetes también están llegando al mercado, lo que puede atrapar este tipo de alucinación antes de que ingrese al ámbito público. Mientras tanto, el mensaje es que los codificadores tengan cuidado.
