Un grupo de académicos ha demostrado ataques novedosos que aprovechan los modelos de texto a SQL para producir código malicioso que podría permitir a los adversarios obtener información confidencial y organizar ataques de denegación de servicio (DoS).
“Para interactuar mejor con los usuarios, una amplia gama de aplicaciones de bases de datos emplean técnicas de inteligencia artificial que pueden traducir preguntas humanas en consultas SQL (a saber, texto a SQL)”, dijo Xutan Peng, investigador de la Universidad de Sheffield.
“Descubrimos que, al hacer algunas preguntas especialmente diseñadas, los crackers pueden engañar a los modelos de texto a SQL para producir código malicioso. Como dicho código se ejecuta automáticamente en la base de datos, la consecuencia puede ser bastante grave (por ejemplo, violaciones de datos y ataques DoS).
Los hallazgos, que fueron validados contra dos soluciones comerciales BAIDU-UNIT y AI2sql, marcan la primera instancia empírica en la que los modelos de procesamiento del lenguaje natural (NLP) han sido explotados como un vector de ataque en la naturaleza.
Los ataques de caja negra son análogos a las fallas de inyección SQL en las que incrustar una carga útil deshonesta en la pregunta de entrada se copia en la consulta SQL construida, lo que lleva a resultados inesperados.
Las cargas útiles especialmente diseñadas, descubrió el estudio, podrían ser utilizadas como armas para ejecutar consultas SQL maliciosas que podrían permitir a un atacante modificar las bases de datos backend y llevar a cabo ataques DoS contra el servidor.
Además, una segunda categoría de ataques exploró la posibilidad de corromper varios modelos de lenguaje preentrenados (PLM) (modelos que han sido entrenados con un gran conjunto de datos sin dejar de ser agnósticos a los casos de uso en los que se aplican) para desencadenar la generación de comandos maliciosos basados en ciertos desencadenantes.
“Hay muchas maneras de plantar puertas traseras en marcos basados en PLM envenenando las muestras de entrenamiento, como hacer sustituciones de palabras, diseñar indicaciones especiales y alterar los estilos de oraciones”, explicaron los investigadores.
Los ataques de puerta trasera en cuatro modelos diferentes de código abierto (BART-BASE, BART-LARGE, T5-BASE y T5-3B) utilizando un corpus envenenado con muestras maliciosas lograron una tasa de éxito del 100% con poco impacto discernible en el rendimiento, lo que hace que tales problemas sean difíciles de detectar en el mundo real.
Como mitigación, los investigadores sugieren incorporar clasificadores para verificar si hay cadenas sospechosas en las entradas, evaluar modelos listos para usar para prevenir amenazas a la cadena de suministro y adherirse a las buenas prácticas de ingeniería de software.
