Una nueva técnica de ataque ha puesto en evidencia los riesgos de confiar ciegamente en herramientas de inteligencia artificial para la gestión del correo electrónico corporativo. Esta vez, el blanco ha sido Google Gemini for Workspace, cuyo sistema de generación automática de resúmenes puede ser manipulado para entregar mensajes falsos y dirigir al usuario hacia sitios de phishing, sin necesidad de enlaces o archivos adjuntos.
Gemini, el asistente de IA de Google, bajo la lupa
Google Gemini es un modelo de lenguaje basado en inteligencia artificial, integrado en servicios como Gmail y Google Workspace, que permite generar resúmenes automáticos del contenido de los correos electrónicos. Su utilidad ha sido bien recibida en entornos corporativos, donde agiliza la lectura y clasificación de mensajes.
Sin embargo, recientes investigaciones han demostrado que este modelo es vulnerable a prompt injections indirectas: instrucciones ocultas en el cuerpo del mensaje que no son visibles para el usuario, pero sí interpretadas por la IA al generar el resumen.
¿Cómo funciona el ataque?
La técnica consiste en incluir una instrucción maliciosa al final del correo electrónico, usando HTML y CSS para ocultarla (por ejemplo, configurando el texto en color blanco y con tamaño de fuente cero).
Aunque este contenido no se muestra al usuario en Gmail, Gemini lo interpreta como parte legítima del mensaje al momento de generar el resumen.
Resultado: un resumen manipulado
Un ejemplo demostrado por Figueroa incluye una advertencia falsa de seguridad en el resumen generado por Gemini, indicando que la contraseña del usuario ha sido comprometida, junto con un número de teléfono de soporte técnico falso.
Este tipo de manipulación es especialmente peligrosa porque:
- No requiere enlaces ni archivos adjuntos que puedan ser detectados por filtros antiphishing.
- Aumenta la confianza del usuario al estar “avalada” por una herramienta de Google.
- Tiene altas probabilidades de superar los sistemas de detección tradicionales.
Recomendaciones para mitigar el riesgo
Aunque Google ha indicado que no hay evidencia de que este vector haya sido utilizado activamente en campañas maliciosas, también reconoció que está trabajando en nuevas mitigaciones y medidas preventivas.
Entre las recomendaciones propuestas por Figueroa y otros especialistas en seguridad se encuentran:
- Filtrar o ignorar contenido oculto en el cuerpo del mensaje (por ejemplo, texto con estilo display: none, font-size: 0, o colores idénticos al fondo).
- Aplicar filtros post-procesamiento sobre las salidas de Gemini que contengan alertas, números telefónicos o URLs, para someterlas a revisión manual.
- Concientizar a los usuarios sobre los límites de confiabilidad de los resúmenes generados por IA, especialmente cuando contienen advertencias de seguridad.
Posición de Google
Un portavoz de Google declaró a BleepingComputer que la compañía está reforzando sus defensas mediante ejercicios de red-teaming y entrenamiento continuo de sus modelos para resistir ataques adversariales como los prompt injections. Además, se encuentran en proceso de implementación nuevas salvaguardas diseñadas específicamente para estos casos.
Conclusión: la confianza en la IA debe ir acompañada de controles adicionales
Este incidente demuestra que, aunque las herramientas de IA como Gemini ofrecen enormes beneficios en eficiencia y productividad, también introducen vectores de ataque que pueden ser explotados de formas no tradicionales. Para los equipos de ciberseguridad y administradores de TI, este es un recordatorio claro: la validación, el monitoreo y la supervisión humana siguen siendo indispensables, incluso en entornos altamente automatizados.
