Investigadores identificaron un conjunto de tres vulnerabilidades en el sistema de inteligencia artificial de Google, Gemini, denominado “Gemini Trifecta”. Estas fallas, que ya han sido parcheadas, permitían a atacantes realizar inyecciones de prompts y robo de datos sensibles al explotar la confianza del modelo en los datos de entrada, como logs, historiales de búsqueda y páginas web.
Tipos de Fallas Identificadas en Gemini
Las vulnerabilidades afectaban a distintos componentes, usando la funcionalidad de Gemini como un vehículo de ataque al interpretar comandos ocultos como instrucciones legítimas.
- Gemini Cloud Assist: El atacante podía esconder instrucciones maliciosas (prompts) dentro de registros (logs) que Gemini estaba procesando o resumiendo. Gemini ejecutaba estas instrucciones, lo que podía llevar a operaciones no previstas con recursos de la nube (como Cloud Functions o APIs de Google), abusando de su conexión a Google Cloud.
- Gemini Search Personalization Model: Esta falla explotaba la confianza de Gemini en el historial de búsqueda del usuario. Si un atacante lograba manipular o inyectar código (como JavaScript) en el historial de búsqueda, Gemini podía interpretar esos comandos ocultos y, al intentar “personalizar” los resultados, filtrar datos sensibles guardados del usuario (personales, ubicación) pensando que eran consultas legítimas.
- Gemini Browsing Tool: Al usar la función de “resumir” páginas web, un atacante podía insertar instrucciones ocultas en la página de origen. Al ser procesadas, estas instrucciones provocaban que Gemini enviara datos sensibles guardados a un servidor externo malicioso. El robo de datos ocurría a través de solicitudes aparentemente normales a servidores maliciosos, sin que Gemini mostrara enlaces o imágenes externas explícitas.
Riesgos Clave del Ataque de Inyección de Prompt Indirecta
- Canales Encubiertos: El hecho de que Gemini procese datos como logs o páginas web como parte de su función normal crea “canales encubiertos” perfectos para comandos. Si no hay una validación fuerte, cualquier insumo puede convertirse en un vector de ataque.
- Confianza Excesiva en la Entrada: La vulnerabilidad en la personalización de búsqueda resalta que confiar demasiado en el historial de búsqueda del usuario para “personalizar” resultados abre una puerta directa a la manipulación.
- La IA como Vehículo: Este caso ilustra un riesgo emergente: los modelos de IA no solo son objetivos para el robo de datos, sino que pueden ser utilizados como vehículos de ataque al “interpretar” comandos ocultos introducidos en datos de entrada aparentemente benignos.
Recomendaciones
- Aplicar Parches y Actualizaciones:
- Verifica que tu instancia de Gemini y los servicios de Google vinculados ya hayan incorporado las correcciones lanzadas tras la revelación de estas vulnerabilidades.
- Limitar la Entrada de Datos No Seguros:
- Aplica validación y sanitización estricta a cualquier dato que Gemini pueda procesar automáticamente, incluyendo logs, páginas web y datos de historial de búsqueda.
- Asegúrate de que los datos “externos” controlados por usuarios no se utilicen sin filtros dentro del contexto de Gemini.
- Revisar Permisos y Accesos Internos:
- Aplica el principio del menor privilegio: configura Gemini para que solo pueda acceder a los datos estrictamente necesarios y no a toda la información sensible del usuario (como localización o contactos).
- Asegura el aislamiento entre los componentes de Gemini y los servicios críticos de datos.
- Monitoreo de Anomalías:
- Establece alertas si Gemini intenta enviar datos a dominios no esperados (indicando una exfiltración).
- Monitorea las solicitudes a las APIs de Google que se originan desde Gemini para detectar posibles abusos o comandos no autorizados.
