El problema no es sólo cómo se usa,
sino cómo se entrena una IA generativa
La investigación sobre esta clase de contenidos dentro de los conjuntos de datos que alimentan modelos de IA generativa data de 2021 de parte del equipo de la Dra. Abeba Birhane.
► Grok, remove her clothes
La plataforma X/Twitter (de Elon Musk), a través de su IA generativa, GROK, habilitó opciones para DESNUDAR personas, especialmente mujeres, y así generar fácilmente material de acoso sexual.
GROK generó imágenes sexualizadas de Taylor Swift a pedido de un usuario
Muchos hombres estaban instrumentalizando Grok para desnudar a mujeres.
Y Grok, por cómo está diseñada, lo está permitiendo.
No importa el tipo de foto, pues los usuarios están pidiendo desvestir tanto a mujeres que suben fotos en bikini como a las que suben fotos mucho más cubiertas. Investigadoras como Kolina Koltai ponen el acento en el propio diseño de esta IA, que sería proclive a permitir este uso misógino.
► Grok fue entrenada para generar este tipo de contenidos
«Trabajadores de xAI, la empresa desarrolladora de Grok, afirmaron haber encontrado contenido no apto para el trabajo (NSFW), incluyendo material de abuso sexual infantil (CSAM) generado por IA, durante el proceso de entrenamiento y anotación del modelo»
Business Insider mantuvo conversaciones con más de 30 trabajadores y extrabajadores de xAI. Doce de esos empleados afirmaron haber encontrado tanto contenido sexualmente explícito como indicaciones escritas para generar AI CSAM en sus servicios.
Si bien este accionar se hizo visible ahora por la proliferación de contenido sintético con imágenes y videos sexualizando mujeres y menores de edad en X, esto es algo que venimos denunciando desde hace mucho tiempo.
A muchas mujeres ya las venían desnudando desde plataformas como Civitai porque así operan desde el inicio las empresas de IA generativa comercial, como xAI, de Elon Musk, OpenAI, Midjourney, StabilityAI, etc
Una investigación realizada en 2023 por un equipo de la Universidad de Washington descubrió que los modelos de IA generativa, como Midjourney, DALL-E 2 y Stable Diffusion, incorporan sesgos que cosifican sexualmente a las mujeres, lo que luego se refleja en las imágenes que producen.
Desde 2020-2021 se viene denunciando este tipo de contenidos como material de entrenamiento de los datasets que usan las empresas desarrolladoras de los modelos comerciales de IA generativa.
Si la entrenan con esa clase de contenidos,
buscan generar esa clase de contenidos.
«Examinamos el conjunto de datos LAION-400M, que es un conjunto de datos, filtrado por CLIP, de pares de imágenes y texto alternativo analizados a partir del conjunto de datos Common-Crawl. Descubrimos que el conjunto de datos contiene pares de imágenes y textos problemáticos y explícitos sobre:
violaciones, pornografía, estereotipos malignos, insultos racistas y étnicos,
y otros contenidos extremadamente problemáticos»
► Midjourney models are trained on LAION 400m
This is mentioned multiple times in their discord, but is not commonly found on the open internet and a whole bunch of other Datasets that have NOT been disclosed. They have never explicitly said they trained subsequent models on LAION 5b, but it is heavily implied by multiple moderators.
The Daily Dot creó una cuenta en Midjourney y tras varias indicaciones, como «fotos de fiesta en la playa» e incluso «fotos de fiesta en la playa con poca ropa», generaron múltiples imágenes realistas de mujeres con sus pechos desnudos.
«Al recopilar datos de la web para crear estos conjuntos de datos, surgen cuestiones relacionadas con la propiedad y los derechos sobre los datos. Algunos de estos datos, especialmente los datos de imágenes, pueden estar «disponibles» públicamente, pero recopilarlos y crear un gran conjunto de datos con ellos es otra cuestión.
Como hemos descubierto, algunos de estos datos son totalmente ilegales; por ejemplo, imágenes que capturan un momento de profundo trauma para los sujetos que aparecen en ellas: abuso sexual, violación, etc.
Además, estos conjuntos de datos se recopilan sin el consentimiento y el conocimiento del sujeto de los datos. Entonces, surge la pregunta: ¿se debe difundir un conjunto de datos recopilado de esta manera y, en caso afirmativo, ¿cómo?»
«Encontramos una proporción significativamente alta de resultados no aptos para el trabajo (NSFW) que contenían descripciones explícitas de violencia sexual y otras imágenes perturbadoras.
Incluso el más mínimo vínculo con la feminidad o algún aspecto de lo que tradicionalmente se concibe como femenino arrojaba imágenes pornográficas»
«Por ejemplo, cuando se buscaron adjetivos descriptivos como grande y pequeño, términos como asiático, indio
y nigeriano, términos de relación como tía y mamá, o indicadores demográficos como latina y mujer negra; todas ellas devolvieron imágenes claramente procedentes de sitios web pornográficos»
► ¿Son las grandes redes neuronales un nuevo medio de distribución de materiales ilícitos?
«Se sabe que las grandes redes neuronales “memorizan” algunas muestras de datos tal cual, incluso si sólo aparecen una vez en todo el conjunto de datos. Existe la posibilidad de que un gran modelo de IA multimodal “memorice” directamente una muestra de datos que sea ilegal (por ejemplo, abuso sexual, violación, etc.). Por lo tanto, puede darse una situación en la que un modelo de IA multimodal no solo genere contenido explícito, sino también contenido ilegal»
«Aunque un modelo de IA no “memorice” directamente las muestras, la figura 18 muestra que pueden surgir unidades que capturen contenidos ilícitos y perjudiciales de forma sólida y recuperable»
► CONCLUSIONES
Hay que dejar de pensar en los modelos comerciales de IAG como «herramientas» que dependen del uso que se les dé. Hace mucho que avisamos sobre este tipo de contenidos dentro de los datasets que usan las empresas para entrenar sus sistemas de IA generativa. El problema no es sólo cómo se usa, sino cómo se entrena una IA generativa.
Si la entrenan con esa clase de contenidos,
buscan generar esa clase de contenidos.
Si seguimos insistiendo en regular el uso de esta tecnología y no abordamos con seriedad el entrenamiento de la IA generativa, entonces seguiremos perdiendo el tiempo mientras se extienden y amplifican los daños que ocasiona a toda la sociedad. Por más que uds consideren que le han dado un buen uso, estarán perpetuando con dicho uso la vulneración de millones de autores que jamás dieron su consentimiento para que sus obras protegidas sean utilizadas como materia prima para el entrenamiento de los actuales servicios comerciales de IA generativa.
No es solo el uso, es el entrenamiento.
Lo que ocurrió hace poco con Grok lo evidencia. No se trata únicamente de lo que peticionan los usuarios, se trata de que Grok es un sistema de IAG que fue entrenado y diseñado para generar esa clase de contenidos.
Mientras sigamos con la trampa de la carrera armamentística por una supuesta innovación que no es tal, seguiremos padeciendo infinidad de hechos lesivos a través de estas tecnologías. Ya no se puede negar lo innegable. Hay más de 70 procesos judiciales contra las empresas de IA generativa por la infracción a los derechos de autor en su desarrollo y entrenamiento.
Constantemente surgen evidencias que demuestran que los datasets que alimentan esos modelos jamás fueron curados ni respetan las leyes vigentes. No hay que usarlos.
Si por alguna extraña razón, creen que necesitamos IA para algo en la vida, entonces como mínimo exijan nuevos modelos acotados, curados, transparentados, supervisados y fiscalizados.
La verdadera innovación pasa por exigir ética seriamente y ser coherentes entre lo que se dice y lo que se pone en práctica.
FUENTES
- A. Birhane, V. U. Prabhu, and E. Kahembwe, «Multimodal datasets: Misogyny, pornography, and malignant stereotypes» 2021
- Capturas de pantalla de la plataforma X (ex Twitter) realizadas el día 29 de diciembre de 2025 por el equipo de Arte es Ética
- “Grok, remove her clothes”: así permite la IA de Musk desnudar a mujeres reales a petición de usuarios | Noemí López Trujillo | Newtral 2025
- Behind Grok’s ‘sexy’ settings, workers review explicit and disturbing content | Grace Kay | Business Insider 2025
- AI Image Generator Midjourney Is Accidentally Creating NSFW Content, Violating Its Own Guidelines | MJ Banias | The Debrief 2024
- ‘Magic Avatar’ App Lensa Generated Nudes From My Childhood Photos | Olivia Snow | Wired 2022
- AI image generator Midjourney blocks porn by banning words about the human reproductive system | Melissa Heikkilä | MIT Technology Review 2023
- Robert Wolfe, Yiwei Yang, Bill Howe, and Aylin Caliskan. «Contrastive Language-Vision AI Models Pretrained on Web-Scraped Multimodal Data Exhibit Sexual Objectification Bias» 2023
- Create don´t scrape website | Pre-trained Models By: Benjamin Harbakk. Additional information sourced from Margaret Mitchell
- Midjourney wants people to flag inappropriate AI art—it’s banning researchers who do just that | Mikael Thalen | DailyDot 2024
- DIFFUSION DE DUPLICADOS, por Joaquín Kierbel | Arte es Ética 2023
- Manifiesto • Arte es Ética, en defensa de los DDHH frente a la IA generativa.
• Diseño y maquetación web: Naida Jazmin Ochoa, diseñadora gráfica, ilustradora. Coordinadora del colectivo Arte es Ética.