Amnistía Internacional pide que se PROHÍBAN los sistemas de IA generativa basados en la extracción ilegal de datos de la web porque entran en conflicto con las normas del Derecho Internacional de los Derechos Humanos a lo largo de su diseño, desarrollo e implementación.
28 mayo 2026 • Amnistía Internacional
Global: Los enormes flujos de datos que alimentan los principales sistemas de inteligencia artificial generativa se basan, por diseño, en la invasión masiva de la privacidad.
«Las empresas están recopilando enormes cantidades de datos en Internet mediante prácticas, en muchos casos ilegales, de extracción masiva de contenidos para desarrollar sus productos de inteligencia artificial (IA) generativa. Este modelo propicia violaciones generalizadas de la privacidad, lo que hace que estos sistemas sean ilegales desde por diseño», afirma Amnistía Internacional en un nuevo documento de investigación.
El informe Unlawful by Design: Exposing the Human Rights Costs of Generative AI documenta los graves riesgos asociados a la extracción y el procesamiento masivo de datos para desarrollar y entrenar estos sistemas. Entre ellos figuran violaciones del derecho a la privacidad y a la propiedad intelectual desde el propio diseño, y consecuencias negativas para el medioambiente y las comunidades históricamente marginadas, entre otros muchos perjuicios.
«Empresas de todo el mundo suministran productos de IA generativa bajo una apariencia de eficiencia y sofisticación cuando, en realidad, estos sistemas perpetúan violaciones masivas de la privacidad mediante la extracción ilegal de datos de la web con procesos automatizados de recopilación de datos —incluidos datos personales—, como imágenes y actividad en redes sociales, destinados a entrenar modelos de IA», declaró Likhita Banerji, directora del Laboratorio de Rendición de Cuentas sobre el Uso de Algoritmos de Amnistía Internacional.
«La cadena extractiva de datos, las decisiones de diseño inherentes tomadas por las empresas tecnológicas y las cadenas de suministro explotadoras para construir sistemas de IA generativa han propiciado un paradigma de desarrollo tecnológico que conlleva el riesgo de abusos masivos contra los derechos humanos.»
Amnistía Internacional ha investigado los modelos que sustentan algunas de las herramientas autónomas de IA generativa disponibles públicamente más populares, como GPT 3, de Open AI; Gemini, de Google; Llama, de Meta; DeepSeek y herramientas de Midjourney y Stable Diffusion.
Este tipo de sistemas se basan en extraer información de miles de millones de posts e imágenes de carácter público en Internet, a menudo sin el consentimiento expreso de las personas que aparecen en ellos o que los han creado. Esto no sólo vulnera la privacidad desde la propia concepción del diseño, sino que, a medida que aumentan de escala los conjuntos de datos que alimentan los modelos de IA, se amplifica también en sus resultados la presencia de contenidos que incitan al odio y a la discriminación, junto con estereotipos negativos y prejuicios, especialmente en relación con la raza y el género.
«Estas decisiones no son inevitables. Debemos cuestionar las decisiones de diseño adoptadas por empresas que crean sistemas de IA generativa basándose en datos de entrenamiento, incluidos datos personales, que se extraen sin consentimiento y en gran escala.»
Likhita Banerji, directora del Laboratorio de Rendición de Cuentas sobre el Uso de Algoritmos de Amnistía Internacional
Los sesgos raciales, culturales y de género son características comunes de los sistemas de las IA generativas, producto de datos de entrenamiento extraídos en gran parte de la web y que, por tanto, están contaminados con prejuicios del mundo real que dañan a comunidades históricamente marginadas. Además, los sistemas de IA generativa plantean riesgos al derecho a la libertad de pensamiento, pues pueden influir en las ideas de las personas usuarias y determinar sus creencias personales mediante sugerencias predictivas, especialmente para modelos de mayor tamaño que se basan en un gran volumen de datos de entrenamiento.
«Estas decisiones no son inevitables. Debemos cuestionar las decisiones de diseño adoptadas por empresas que crean sistemas de IA generativa basándose en datos de entrenamiento, incluidos datos personales, que se extraen sin consentimiento y en gran escala», dijo Likhita Banerji.
«Esta es una de las prácticas más atroces entre las empresas de IA que operan con desprecio por los derechos humanos y debe abordarse urgentemente. Es posible una trayectoria diferente del desarrollo tecnológico si las autoridades actúan con urgencia para corregir el rumbo.»
Graves costes medioambientales
A medida que han ido aumentando en las empresas de IA generativa la magnitud y el ritmo del desarrollo, han aumentado las necesidades de infraestructura y los costes medioambientales asociados.
Las mayores necesidades de procesamiento de los modelos de más tamaño exigen microprocesadores que consumen mucha más energía, centros de datos más grandes y, en consecuencia, más energía y agua para su funcionamiento. El desarrollo de IA generativa tiene a menudo un impacto negativo en comunidades históricamente marginadas, pues se explotan tierras y recursos que les pertenecen para construir centros de datos y cubrir necesidades de procesamiento.
El propio informe de sostenibilidad de Google de 2024 indicaba un alarmante aumento del 48% de las emisiones de gases de efecto invernadero de la empresa desde 2019, atribuible a las emisiones de los centros de datos y de la cadena de suministro. Del mismo modo, las de Microsoft aumentaron un 29% entre 2020 y 2024, atribuibles a las emisiones de los centros de datos que realizan procesos de apoyo a la IA.
El uso intensivo de recursos en la producción de IA generativa ha hecho que comunidades de lugares que van desde Cerrillos, en Chile, y Querétaro, en México, hasta Arizona, en Estados Unidos, se estén oponiendo a la instalación de centros de datos en zonas ya gravemente afectadas por sequías y la escasez de electricidad.
Como parte de su proceso de investigación, Amnistía Internacional escribió a Google, OpenAI, Meta, Stability AI, Midjourney y DeepSeek ofreciéndoles la oportunidad de responder a las conclusiones del informe, que establece que sus modelos se basan en la extracción ilegal de datos de la web, entre muchos otros motivos de preocupación en relación con los derechos humanos.
Amnistía Internacional también escribió a Intel y VMware en relación, concretamente, con los riesgos de discriminación, y a Google, Microsoft y Amazon sobre los daños medioambientales asociados a sus sistemas de IA generativa e infraestructuras relacionadas. Cuando se publican estas líneas, solo han respondido a la organización Microsoft, Amazon, Intel, OpenAI y Meta. El documento de investigación incluye un resumen de sus respuestas.
Amnistía Internacional pide a los Estados que prohíban los sistemas autónomos de IA generativa basados en la extracción ilegal de datos de la web, definida como la recopilación masiva y en gran escala de datos de entrenamiento a través de Internet.
Las empresas deben poner fin de inmediato a la extracción ilegal de datos personales sin consentimiento en la web con fines de entrenamiento de la IA, y los Estados deben exigir responsabilidades a las empresas por su participación en cualquier abuso contra los derechos humanos relacionado con sus decisiones de diseño y empresariales.
Información general
El documento de investigación ofrece un análisis desde la perspectiva de los derechos humanos de la «canalización de datos» que alimenta los productos de IA generativa, incluidas las fases críticas de captura, análisis y procesamiento de datos para el funcionamiento general de estos sistemas. En concreto, esto supone analizar en detalle los parámetros y las implicaciones de las decisiones de diseño adoptadas en relación con los datos de entrenamiento de los modelos de IA generativa, prestando especial atención a métodos y fuentes de la extracción de datos, el procesamiento de datos, el escalado de modelos y los resultados generados.
Amnistía Internacional define las herramientas autónomas de IA generativa como productos desarrollados, desplegados y comercializados específicamente por sus capacidades de IA generativa, como chatbots y generadores de imágenes, vídeos, audios o texto basados en IA. Esta definición excluye los productos donde la IA generativa es una característica o función añadida en un paquete más amplio de productos, por ejemplo, un programa de procesamiento de textos con características optativas de IA generativa.
Researcher and Advisor on AI and Human Rights
Behind generative AI lies a system of extraction.
Tech companies design generative AI systems by harvesting vast amounts of data and building exploitative supply chains in ways that risk widespread human rights abuses.
Our latest briefing exposes how unlawful web scraping is driving a mass invasion of privacy, making these systems unlawful by design.
Amnesty International
So we’ve been cooking up some thoughts on Gen AI at @amnesty.org and I’m ecstatic to finally see it out in the world! Our 🗝️ conclusion: standalone gen AI systems, built on unlawful web scraping, constitute mass invasions of privacy by design & should be prohibited.
We researched the models powering some of the most popular publicly available standalone generative AI tools, including GPT by Open AI, Google’s Gemini, Meta’s Llama, DeepSeek and tools by Midjourney and Stable Diffusion.
These tools rely on extracting data from billions of public online posts and images, often without the knowledge and consent of the individuals appearing in them. Companies have done little to justify this, because they can’t; the current GenAI development paradigm depends on this very infraction.
As @abeba.blacksky.app and colleagues’ work teaches us, when datasets powering AI models scale up, the presence of hateful and discriminatory content in their outputs also gets amplified, along with negative stereotypes and prejudices, especially along racial and gendered lines.
Gen AI systems demonstrate heightened risk of overbroad censorship and disproportionately affect historically marginalized communities, when used to support content moderation. LLM-based CM risk flagging/suppressing/censoring content in Global Majority languages and differing cultural contexts.
The wide avail of larger models has led to the false perception that AI = greater accuracy. Users are at particular risk of accepting outputs as reliable given the centrality of gen AI products to digital querying. This paves the way for inhibition of critical faculties, or at worst, manipulation.
Gen AI tools can rapidly expand both offline/online surveillance for law enforcement and policing. The mass scale web scraping indirectly provides access to huge amounts of public domain data and the features of gen AI tools themselves could be used to make social media monitoring more expansive.
As we’ve seen with the genocide in Gaza, when deployed in the context of high-risk environments, such as contexts of conflict and warfare, Gen AI may even be used to sanitize international crimes behind a veneer of sophisticated automation.
This is why we’re calling on states to prohibit standalone generative AI systems that have been built using unlawful web scraping, and for companies to cease the practice. We have a lot of work ahead of us, let’s get to it!
Dr Matt Mahmoudi, vía bluesky
Puntos destacados del informe Unlawful by Design:
Exposing the Human Rights Costs of Generative AI
La adopción a gran escala de la IA generativa ha dado lugar a una lista cada vez mayor de resultados y consecuencias perjudiciales, preocupantes desde el punto de vista de los derechos. Entre ellos se incluyen conversaciones hostiles y violentas entre personas y chatbots, imágenes falsas y explícitas de personas generadas por IA —incluidos niños, jóvenes y famosos—, estereotipos raciales perjudiciales y representaciones culturales sesgadas, el maltrato a los etiquetadores de datos que participan en la cadena de suministro de la IA, el coste medioambiental exponencial asociado a la creciente adopción de la IA, y la vigilancia y captura de cantidades masivas de datos y contenidos personales, conductuales y creativos utilizados para «entrenar» modelos de IA, normalmente sin el conocimiento ni el consentimiento de los autores.
En su forma más extrema, también se están multiplicando los informes sobre el uso potencialmente ilegal de herramientas de IA generativa en el ámbito militar.
En los territorios palestinos ocupados, informes revelaron el uso devastador de la IA para la adquisición de objetivos (detectar e identificar objetivos para operaciones militares) en el contexto del genocidio en Gaza, a través del sistema Gospel y, posteriormente, de Lavender y Where’s Daddy. En enero de 2024, la empresa de vigilancia Palantir también anunció que había estado suministrando nuevas herramientas a las autoridades israelíes desde el inicio del genocidio de Israel en Gaza en octubre de 2023. La oferta militar actual de Palantir es su Plataforma de Inteligencia Artificial para la Defensa (AIP for Defense), que pone en práctica los modelos de lenguaje grande (LLM) en contextos militares para la toma de decisiones. A pesar de la amplia cobertura mediática del genocidio de Israel contra los palestinos en Gaza, incluidas las opiniones consultivas y las medidas provisionales de la Corte Internacional de Justicia, y la constatación de genocidio por parte de la Comisión de Investigación de las Naciones Unidas sobre el Territorio Palestino Ocupado, incluida Jerusalén Oriental, e Israel, la campaña militar de Israel sigue atrayendo diversas inversiones en IA hacia su causa. Google y Amazon han sido objeto de un intenso escrutinio y de críticas, incluso por parte de sus propios trabajadores, por proporcionar la plataforma de computación en la nube Nimbus al Ministerio de Defensa israelí. En enero de 2025, Google también renunció a su compromiso de no desarrollar IA para armamento, vigilancia y otros fines perjudiciales que contravengan el derecho internacional. Del mismo modo, Meta anunció en noviembre de 2024 que permitiría a las agencias de seguridad nacional de EE. UU. y a los contratistas de defensa utilizar su modelo LLaMa, a pesar de los principios publicados anteriormente por la empresa en los que se establecían prohibiciones contra tales usos.
En febrero de 2026, surgieron informes según los cuales el ejército estadounidense había utilizado el modelo de IA de Anthropic, Claude, como parte de sus ataques conjuntos contra Irán junto con Israel. Esto ocurrió después de que el Gobierno de EE. UU. ignorara las restricciones contractuales impuestas por Anthropic sobre el uso de su producto para la «vigilancia masiva interna» y las «armas totalmente autónomas […] sin supervisión». Los productos de Anthropic han sido utilizados por el Gobierno y el ejército de EE. UU. desde 2024, y, según se informa, se trata de la primera «empresa de IA avanzada» con productos implementados en agencias gubernamentales dedicadas a trabajos clasificados. Anthropic fue calificada como «riesgo para la cadena de suministro» por el Pentágono el 6 de marzo de 2026, tras su negativa a modificar estas limitaciones.
En Estados Unidos, el entonces presidente Joe Biden firmó en enero de 2025 un decreto ejecutivo sobre el fomento del liderazgo estadounidense en infraestructuras de inteligencia artificial, especialmente en lo que respecta al desarrollo y el uso de sistemas de IA generativa en contextos de «seguridad nacional, incluyendo la logística, las capacidades militares, el análisis de inteligencia y la ciberseguridad». A esto le siguió un giro más amplio hacia la desregulación bajo la actual administración estadounidense del presidente Donald Trump, a medida que el poder tecnológico corporativo ha adquirido una influencia sin precedentes en asuntos relacionados con la gobernanza y en políticas relacionadas con la justicia racial, los derechos de los refugiados y migrantes, los derechos reproductivos y la protesta.
A través del Departamento de Eficiencia Gubernamental de EE. UU. (DOGE), bajo el liderazgo inicial del empresario tecnológico y multimillonario Elon Musk, ha habido indicios claros de un retroceso constante de las protecciones de los derechos humanos, por las que se ha luchado duramente, junto con la sustitución de la supervisión y la rendición de cuentas genuinas por la IA.
Además, las autoridades chinas están adoptando rápidamente DeepSeek en ámbitos que van desde la prestación de servicios hasta el sistema judicial, a pesar de las preocupaciones bien documentadas sobre los elevados riesgos de que el despliegue de dichos sistemas dé lugar a resultados discriminatorios y sesgados. Es probable que el Plan de Desarrollo de la IA de Nueva Generación de China y la iniciativa de la Ruta de la Seda Digital sean los principales proveedores de modelos de IA en algunos países asiáticos y africanos en particular. Tras el lanzamiento del DeepSeek, respaldado por el Estado, la empresa tecnológica estadounidense Nvidia, el mayor desarrollador mundial de unidades de procesamiento gráfico (GPU), perdió 593 000 millones de dólares de valor en la Bolsa de Nueva York, seguida de Microsoft y Alphabet (la empresa matriz de Google), ya que los inversores especularon con que el dominio del mercado estadounidense de la IA fracasaría ante la aparición de alternativas más baratas y eficientes.
El renovado «boom» y la consiguiente adopción de la IA, especialmente la IA generativa, por parte de los gobiernos corre
el riesgo de situar sistemas basados en principios de diseño problemáticos en el centro de diversas funciones del sector público, así como en el ámbito militar.
El entrenamiento de muchos sistemas modernos de IA generativa requiere grandes cantidades de datos. El método más sencillo para que los desarrolladores obtengan estos datos de entrenamiento es recopilarlos de la web. Estos datos suelen estar más fácilmente disponibles en inglés (lo que se conoce como resourcedness), lo que significa que los resultados de los modelos de IA generativa se inclinan hacia el inglés (es decir, se alimentan en gran medida de contenido en inglés). También tienden a estar dominados por las normas sociales, culturales y políticas más visibles y disponibles en línea, lo que suele inclinar la balanza hacia las normas occidentales, anglófonas y de minorías globales. Tanto la escala de esta recopilación de datos con fines de entrenamiento como los problemas de representatividad en los datos de entrenamiento abarcan múltiples leyes y normas internacionales de derechos humanos, desde violaciones de la privacidad y recopilación de datos sin consentimiento, hasta discriminación, acoso y amenazas a los derechos a la libertad de expresión y libertad de pensamiento.
La mayoría de los grandes sistemas de IA generativa disponibles en el mercado (como los LLM y otros modelos multimodales) no pueden funcionar sin extraer datos de la web para su entrenamiento, lo que hace que ciertos aspectos del diseño de los sistemas de IA generativa entren en conflicto fundamental con el derecho internacional de los derechos humanos (DIDH).
Cuando las empresas que desarrollan productos de IA generativa cuentan con políticas para proteger la privacidad, éstas a menudo no cumplen con las leyes y principios de protección de datos y permiten expresamente el rastreo web sin restricciones con el fin de desarrollar modelos de IA generativa. De acuerdo con sus políticas de privacidad, OpenAI, Google y Meta emplean prácticas de recopilación de datos extensivas para desarrollar sus productos de IA generativa. OpenAI recopila interacciones de los usuarios, indicaciones y comentarios de servicios como ChatGPT para refinar el rendimiento de los modelos, al tiempo que utiliza grandes cantidades de contenido web disponible públicamente como datos de entrenamiento mediante el rastreo web. Gemini, de Google, recopila el historial de conversaciones, datos de ubicación, comentarios e información de uso para personalizar las experiencias y mejorar las capacidades de IA, recurriendo de manera similar al rastreo web a gran escala y a conjuntos de datos con licencia para el entrenamiento de modelos. Meta recopila contenido de los usuarios, interacciones y datos de comportamiento en todas sus plataformas (Facebook, Instagram, Messenger) para mejorar las funciones de inteligencia artificial, y crea conjuntos de datos de entrenamiento a partir tanto de contenido generado por los usuarios como de datos web de acceso público.
Las tres empresas realizan rastreo web para generar enormes conjuntos de datos de entrenamiento, con procesos poco claros en cuanto a cómo se excluyen los datos personales de este proceso y de los datos de entrenamiento finales, lo que plantea importantes dudas en materia de consentimiento.
El modelo GPT de OpenAI y otros productos basados en GPT dependen del rastreo web, un proceso mediante el cual un software automatizado extrae datos de sitios web, lo que genera una enorme cantidad de datos sin los cuales ninguno de sus sistemas podría funcionar. Los informes indican que GPT-3, el modelo utilizado para impulsar la primera versión pública de ChatGPT, se construyó utilizando el rastreador web Common Crawl, que en ese momento incluía al menos 60 millones de dominios rastreados a lo largo de 12 años. Aunque actualmente no se dispone de información sobre la composición de los datos de entrenamiento de GPT-5, es muy probable que los modelos más recientes se basen en corpus existentes y ampliados producidos mediante el rastreo web.
Los informes indican que hasta el 60 % de los datos de entrenamiento utilizados para crear sistemas como ChatGPT procedían de Common Crawl, un rastreador web que alberga uno de los mayores repositorios disponibles de datos extraídos de la web, que abarca desde sitios de noticias convencionales hasta plataformas de redes sociales, incluyendo datos textuales y audiovisuales.
Como han señalado los investigadores, se sabe que algunos rastreadores web extraen incluso los datos más íntimos, incluidas
las imágenes de diagnóstico y otros informes médicos.
Por otra parte, según se informa, el 40 % de los datos de entrenamiento para GPT fue alimentado por ingenieros de OpenAI utilizando una amplia gama de materiales, incluyendo novelas, guiones y obras de arte. Los desarrolladores de IA generativa utilizan estas fuentes de datos de entrada para generar datos «sintéticos»; es decir, imágenes, texto, videos y audio que reflejan aspectos de los datos de entrada, pero reorganizados de maneras a menudo diferentes y distintas. No obstante, estos resultados supuestamente «novedosos» adquieren características que se basan en los datos de entrenamiento recopilados de forma masiva y no consensuada, incluyendo el parecido de las personas y los patrones de escritura, habla y comportamiento. Las empresas de IA y los desarrolladores de algunos de los productos de IA más grandes y lucrativos dependen de este proceso extractivo de recopilación masiva e indiscriminada de datos de entrenamiento para generar ganancias. A principios de 2024, el director ejecutivo de Meta, Mark Zuckerberg, declaró, según se informa, que la ventaja competitiva de Meta en IA generativa provendría de «cientos de miles de millones de imágenes compartidas públicamente y decenas de miles de millones de videos públicos, que estimamos que son más que el conjunto de datos de rastreo común» disponibles a través de sus plataformas, incluyendo Facebook e Instagram.
El uso que hace Meta de datos de entrenamiento, que superan el ya enorme corpus disponible a través de Common Crawl, indicaría que está entrenando sus modelos de IA con datos compartidos en sus plataformas por los usuarios, lo que plantea riesgos significativos para su derecho a la privacidad.
Stable Diffusion y Midjourney se basan en la base de datos de imágenes LAION-5B para el entrenamiento de sus modelos, la cual contiene descripciones y enlaces de al menos 2.300 millones de imágenes, muchas de las cuales se han obtenido de Common Crawl mediante un sistema de filtrado automatizado conocido como CLIP. La enorme magnitud de esta base de datos, y los métodos de recopilación y captura masiva y amplia de datos, plantean problemas significativos relacionados con la protección de datos, entre los que destaca la reproducción no consentida de información de identificación personal vinculada a artistas. Aún más preocupante es que, tal como se reveló en diciembre de 2023, LAION —del que depende Stable Diffusion para funcionar— parece tener vínculos con material de abuso sexual infantil (CSAM). Esto se suma al hecho de que los diseñadores de CLIP, el sistema de filtrado utilizado para examinar los datos de Common Crawl, ya habían declarado en su documentación que no era su intención que el producto se utilizara para la búsqueda de imágenes y/o en un entorno sin restricciones.
Este nivel de recopilación masiva de datos conlleva riesgos enormes. En particular, estos sistemas aumentan la posibilidad de que se produzcan fugas de datos personales. En diciembre de 2023, unos investigadores demostraron una vulnerabilidad en ChatGPT que provocaba la filtración de datos personales sensibles utilizados como datos de entrenamiento en sus respuestas a los usuarios, cuando se le indicaba que escribiera repetidamente la palabra «poema» en la interfaz de chat. Los investigadores responsables de estas revelaciones señalaron que se puede incitar a los chatbots de IA generativa a revelar gigabytes de datos de entrenamiento de algunos de los modelos de IA generativa más utilizados, sin ningún conocimiento previo de los datos de entrenamiento. Si bien algunos desarrolladores de herramientas de IA generativa, como Meta y Google, ofrecen cláusulas de «exclusión voluntaria» para los usuarios que no desean que sus datos personales se utilicen para entrenar modelos de IA generativa, dichas cláusulas no son ni exhaustivas ni efectivas, ya que no excluyen los datos ya extraídos de la web mediante rastreadores de datos propios o de terceros. Muchos de los sistemas de IA generativa más populares hasta la fecha han sido entrenados con conjuntos de datos cuya procedencia se mantiene en secreto o se oculta de otras formas. Los organismos de protección de datos de todo el mundo también han señalado las implicaciones en materia de vigilancia y la posible ilegalidad de estos productos.
En enero de 2024, la agencia italiana de protección de datos acusó formalmente a OpenAI de violar el Reglamento General de Protección de Datos (RGPD) de Europa a través de su scraping. OpenAI ha alegado que sus acciones están justificadas en virtud de una excepción de interés público al requisito del RGPD de obtener el consentimiento para el uso de datos personales. La Oficina de Protección de Datos Personales de Polonia también está investigando a la empresa por violaciones del RGPD.
En Alemania, el Tribunal Regional de Múnich determinó que los modelos de OpenAI infringían los derechos de autor de GEMA, una importante sociedad de gestión colectiva de obras musicales. Dictaminó que los modelos de OpenAI infringían los derechos de autor al memorizar y reproducir material protegido por derechos
de autor en sus resultados, señalando que las obras podían reproducirse fácilmente a partir de simples indicaciones.
En los Países Bajos, la autoridad de protección de datos publicó un estudio que indicaba que los chatbots ofrecen consejos de voto distorsionados y polarizados. La Autoridad de Protección de Datos (DPA) determinó que ChatGPT y otras empresas y productos subrepresentaban a los partidos de centro y orientaban a los usuarios hacia partidos de extrema derecha o ecologistas-socialistas. La DPA señaló que estos sistemas pueden clasificarse tanto como modelos de IA general (GPAI) como sistemas de alto riesgo en virtud de la Ley de IA cuando se utilizan para brindar asesoramiento electoral. Esto ocurre en un contexto en el que las grandes empresas tecnológicas, incluida OpenAI, estarían invirtiendo masivamente en actividades de cabildeo en Europa para eludir las nuevas regulaciones.
La recopilación masiva y a gran escala de datos de entrenamiento para productos de IA generativa, mediante el rastreo web, es análoga al tipo de vigilancia masiva que constituye la base de los sistemas de IA más «limitados», como las tecnologías de reconocimiento facial para la identificación (Facial Recognition Technology – FRT), para cuyo funcionamiento se requiere una base de datos de imágenes de referencia compuesta por imágenes recopiladas de forma masiva y a gran escala. Esta base de datos de imágenes suele generarse sin el conocimiento ni el consentimiento de las personas. Amnistía Internacional sostiene desde hace tiempo que las herramientas de vigilancia impulsadas por la IA, como el FRT, que escanean, capturan y a menudo almacenan datos en bases de datos masivas curadas sin el conocimiento ni el consentimiento de las personas, son herramientas de vigilancia masiva por diseño. Dado que el rastreo masivo de la web alimenta la mayoría de los modelos de IA generativa independientes, las empresas de IA generativa también están incluyendo datos personales sin conocimiento ni consentimiento, y como tales corren el riesgo de cometer violaciones masivas de la privacidad. Si bien presentan riesgos similares para los derechos humanos, los sistemas de IA generativa agravan muchos de estos riesgos, ya que la tecnología opera a mayor escala, tanto en su amplia gama de aplicaciones como en sus cadenas de suministro.
Un insumo importante que a menudo se pasa por alto son las infraestructuras de centros de datos, que consumen muchos recursos y que impulsan el procesamiento que necesitan estos sistemas. A medida que ha aumentado la demanda de IA generativa, también lo ha hecho la demanda sobre los centros de datos, ya que los modelos más grandes ahora requieren mayores cantidades de potencia de procesamiento, energía y refrigeración. En todo el mundo, ya se están construyendo centros de datos a costa de comunidades históricamente marginadas que sufren de lleno las consecuencias catastróficas de esta infraestructura.
Las comunidades en Chile, por ejemplo, están luchando contra la construcción de un centro de datos de Google en Cerrillos, Santiago, una zona industrial y residencial que ha sufrido graves sequías durante años. Las comunidades en Querétaro, México, una zona igualmente afectada por la sequía, también se resisten a la construcción de centros de datos de Amazon. En el Reino Unido, tras el llamado del gobierno a aumentar la inversión en sistemas de IA, la demanda de agua dulce de la infraestructura de IA ha generado una creciente preocupación por la inminente escasez de agua.
La creciente demanda y el entusiasmo en torno a la IA generativa corren el riesgo de agravar la escasez de electricidad y contribuir a una distribución desigual de los servicios, desplazando la inversión y la atención adecuadas hacia las comunidades históricamente marginadas, en particular las indígenas.
Además de los elevados riesgos ambientales que plantean los aspectos operativos de los centros de datos, las unidades de procesamiento gráfico (GPU) que alimentan las computadoras dentro de estos centros traen consigo, cada una de ellas, problemas agravantes en la cadena de suministro. Por ejemplo, el mayor proveedor mundial de GPU, NVidia, depende de varias otras empresas para el suministro y la producción parcial de los componentes de sus chips semiconductores, que se basan en elementos como el silicio, el cobre, el oro, el tantalio, el paladio, el cobalto y el boro. Muchos de estos elementos requieren la participación en prácticas mineras —y la expansión de las mismas— que Amnistía Internacional ya ha investigado por graves abusos contra los derechos humanos y la degradación ambiental.
Si bien los productos de IA generativa invitan a fantasear con un futuro sin fricciones y libre de preocupaciones materiales, un análisis más profundo de sus cadenas de suministro revela los fuertes vínculos de esta tecnología con formas de explotación ambiental que son endémicas de la industria de la IA. A medida que aumenta la demanda de modelos de IA generativa más grandes, también lo hacen los requisitos de potencia de procesamiento, lo que ejerce una presión adicional sobre el suministro de minerales esenciales para los chips semiconductores, la energía, la refrigeración y los terrenos para los centros de datos.
Dado que los productos de IA generativa se crean al extraer una visión «promedio» a partir de enormes volúmenes de datos, absorbiendo los sesgos, estereotipos y lagunas de comprensión que estos presentan, dichos sistemas pueden tener el efecto de pasar por alto las opiniones de las minorías debido a su subrepresentación en los datos de entrenamiento y de repetir acríticamente las narrativas dominantes. En otras palabras, en sociedades donde prevalece el racismo sistémico, la visión «promedio» extraída por la IA generativa reflejará supuestos racistas. Esto resulta más llamativo cuando las aplicaciones de IA generativa infieren y repiten opiniones discriminatorias a través de estereotipos y prejuicios, como hacer que una persona asiática parezca blanca cuando se le pide que convierta su selfie en una «foto de perfil profesional», o indicarle a un usuario, en respuesta a una pregunta sobre si alguien debería ser torturado, que verifique su país de origen.
Un estudio de 2023 dirigido por Abeba Birhane demuestra que, a medida que aumentan los conjuntos de datos que alimentan los modelos de IA, también crece la presencia de contenido de odio y discriminatorio, junto con estereotipos y prejuicios negativos, como por ejemplo la asociación de los rostros de personas negras con atributos «criminales». El estudio concluyó además que había «evidencia de contenido de odio, agresivo y dirigido en la auditoría del texto alternativo [descripciones textuales de las imágenes incluidas en los conjuntos de datos de entrenamiento], así como evidencia de estereotipos racistas y clasificación deshumanizante en los modelos, particularmente hacia los hombres negros, todo lo cual se agrava con el tamaño del conjunto de datos». En otras palabras, el sesgo racial impregna los datos de entrenamiento, el modelo de IA en sí mismo y sus resultados, y tanto el modelo como los resultados se vuelven más odiosos y racistas a medida que aumenta el tamaño del modelo (y del conjunto de datos de entrenamiento).
• Diseño y maquetación web: Naida Jazmin Ochoa, diseñadora gráfica, ilustradora. Coordinadora del colectivo Arte es Ética.