El paquete TESCREAL: El movimiento eugenésico y la promesa de la utopía a través de la inteligencia artificial general
Timnit Gebru y Émile P. Torres
Equipo de Arte es Ética | Traducción: Luz Castro. Revisión y corrección: Nia Soler. Edición y diseño: Naida Ochoa | Septiembre 2025
El objetivo declarado de muchas organizaciones en el campo de la inteligencia artificial (IA) es el desarrollo de la inteligencia artificial general (AGI), un sistema imaginado con más inteligencia que cualquier otra cosa que hayamos visto jamás. Sin cuestionarse seriamente si tal sistema puede y debe construirse, hay investigadores que trabajan para crear una «AGI segura» que sea «beneficiosa para toda la humanidad». Argumentamos que, a diferencia de los sistemas con aplicaciones específicas que pueden evaluarse siguiendo principios de ingeniería estándar, los sistemas indefinidos como la «AGI» no pueden someterse a pruebas de seguridad adecuadas. ¿Por qué, entonces, la construcción de la AGI se presenta a menudo como un objetivo incuestionable en el campo de la IA? En este artículo sostenemos que el marco normativo que motiva gran parte de este objetivo tiene sus raíces en la tradición eugenésica angloamericana del siglo XX. En consecuencia, muchas de las actitudes discriminatorias que animaron a los eugenistas en el pasado (por ejemplo, racismo, xenofobia, clasismo, sexismo, etc.) siguen estando muy extendidas en el movimiento para la construcción de la AGI, teniendo como resultado sistemas que perjudican a grupos marginados y centralizan el poder, mientras se emplea el discurso de la «seguridad» y el «beneficio de la humanidad» para evadir auditorías. Nuestra conclusión es instar a los investigadores a trabajar alrededor de tareas definidas para las cuales podemos desarrollar protocolos de seguridad, antes que construir sistemas presuntamente omniscientes como la inteligencia artificial general.
- Introducción
- Metodología
- Antecedentes históricos: la eugenesia moderna
- El paquete TESCREAL
- Del transhumanismo a la AGI
- La utopía y el apocalipsis de la AGI: las dos caras de la misma moneda
- Desarrollar sistemas bien delimitados y de alcance definido
- Conclusión
En los últimos años se ha observado un resurgimiento de la meta de construir inteligencia artificial general (AGI), un sistema conceptualizado de manera diversa por las distintas personas y organizaciones que buscan concretar su construcción. Por ejemplo, OpenAI define el término como «sistemas altamente autónomos que superan a los humanos en la mayor parte de los trabajos económicamente redituables» [1]. Pennachin y Goertzel, quienes popularizaron el término en 2007, lo conciben como «un software que puede resolver una variedad de problemas complejos de diversas maneras y que se controla autónomamente, con sus propios pensamientos, preocupaciones, sentimientos, fortalezas, debilidades y predisposiciones» [2]. Peter Voss, quien sostiene que ha ayudado a acuñar el concepto, lo define como «un sistema informático que iguala o excede las capacidades cognitivas (no físicas) en tiempo real de un ser humano inteligente dotado de una buena educación» [3]. Por su parte, los prominentes investigadores de IA Stuart Russell y Peter Norvig lo definen como «un algoritmo universal que aprende y actúa en cualquier entorno» [4]. Aunque varios de los investigadores que acuñaron el término «inteligencia artificial» (IA) en 1955 tenían el objetivo de crear «máquinas que realizaran las actividades más avanzadas del pensamiento humano» (McCarthy, et al., 1955), este objetivo fue abandonado por muchos estudiosos del campo en la década de 1990, en parte porque no querían que se les relacionara con afirmaciones grandilocuentes que no pudieran cumplirse [5]. Ese tipo de afirmaciones condujeron a los «inviernos de la IA» de los años 70 y 90, en los que gran parte de la investigación centrada en la creación de «inteligencia general» perdió la financiación. Después de eso, el campo se centró sobre todo en la creación de sistemas especializados que algunos denominan «IA estrecha» [6].
Recientemente, sin embargo, ha habido una proliferación de organizaciones que pretenden construir AGI y afirman que sus productos están cerca de lograr ese objetivo (Bubeck, et al., 2023; Cuthbertson, 2022). Mientras cierto número de investigadores han discutido si es posible que diversas metodologías puedan o no alcanzar la AGI (Shevlin, et al., 2019; Agüera y Arcas y Norvig, 2023, Silver, et al., 2021) hemos visto poco debate acerca de por qué la AGI es considerada como deseable por muchos en el campo de la IA y si esta meta puede perseguirse —o incluso si es posible en primer lugar—. La búsqueda de generar lo que parece ser un sistema todopoderoso capaz de realizar cualquier tarea bajo cualquier circunstancia ya ha causado muchos daños documentados en grupos marginados, incluyendo la explotación laboral (Gray y Suri, 2019; Williams, et al., 2022), el robo de datos (Khan y Hanna, 2022), el racismo medioambiental (Bender y Gebru, et al., 2021), la difusión de información errónea y la desinformación (Bender y Gebru, et al., 2021; Shah y Bender, 2022), el plagio (Jiang, et al., 2023) y en sistemas que amplifican las perspectivas hegemónicas como el racismo, el capacitismo, la homofobia y el clasismo (Bender y Gebru, et al., 2021).
En este artículo nos preguntamos: ¿Qué ideologías está impulsando la carrera para intentar construir inteligencia artificial general? Para responder a esta pregunta, analizamos fuentes primarias de figuras destacadas que invierten en el desarrollo de la AGI, lo defienden o procuran llevarlo a cabo. Con preocupación, rastreamos esta aspiración hasta el movimiento eugenésico angloamericano, pasando por el transhumanismo. Mediante este recorrido, delineamos una genealogía de ideologías interconectadas y superpuestas que denominaremos «paquete TESCREAL». Este término hace referencia a transhumanismo, Extropianismo, singularitarismo, cosmismo (moderno), Racionalismo, Altruismo Efectivo y largoplacismo [7].
Estas ideologías, que son descendientes directas de la primera ola del movimiento eugenésico, emergieron más o menos en este orden y muchas han sido creadas, o desarrolladas, por los mismos individuos. Mostramos cómo el conjunto TESCREAL ha llegado a estimular la carrera de la AGI examinando de qué manera los defensores del mismo iniciaron y financiaron el impulso para construirla. Por ejemplo, el primer libro sobre el tema (Pennachin y Goertzel, 2007b) tuvo como coautor a un transhumanista cosmista que también participaba en el movimiento Extropiano, cuyo objetivo explícito era crear «inteligencia artificial general transhumana» [8], y gran parte de la financiación multimillonaria para proyectos centrados en la AGI proviene de individuos ricos alineados o afiliados explícitamente con una o más de estas ideologías. Consecuentemente, quienes son más responsables de la actual «carrera por la AGI» están inspirados por ideales utópicos similares a la primera ola de eugenistas (es decir, los eugenistas del siglo XX que fueron los precursores del movimiento TESCREAL), y consideran que la inteligencia artificial general es parte integrante de la realización de estas visiones. Mientras tanto, esa carrera determina una proliferación de productos que dañan a los mismos grupos que fueron perjudicados por la primera ola del movimiento eugenésico.
Mientras las organizaciones que trabajan en el desarrollo de la inteligencia artificial general discuten la necesidad de la «seguridad de la IA» y señalan que una «IA mal alineada» —lo cual significa, un sistema «inteligente» con «valores» que no están alineados con «nuestros» valores— puede plantear un «riesgo existencial» para la humanidad [9], nosotros argumentamos que esta noción de seguridad está enraizada en las visiones utópico-apocalípticas del «paquete TESCREAL» heredadas de la primera ola de los eugenistas. No obstante, los TESCREAListas han influenciado a quienes diseñan políticas y a los investigadores que podrían no estar alineados con esos ideales utópicos para priorizar la agenda de la AGI, al mismo tiempo que crean productos peligrosos, evaden la responsabilidad y desvían recursos de organizaciones de todo el mundo abocadas a la construcción de modelos específicos que satisfacen las necesidades de determinadas comunidades.
Instamos a los investigadores en el campo de la inteligencia artificial a detener su búsqueda para construir un sistema que, incluso quienes están a favor de la inteligencia artificial general, reconocen que no está bien definido [10]. Notamos que los sistemas construidos con el objetivo de realizar cualquier tarea bajo cualquier circunstancia son básicamente inseguros: no pueden ser diseñados ni su seguridad probada usando los principios fundamentales de la ingeniería (Khlaaf, 2023). Construir sistemas seguros requiere visualizarlos como sistemas bien concebidos y delimitados, lo cual no coincide con lo que se pretende que sea la AGI.
El resto de nuestro artículo se organiza de la siguiente manera. La sección 2 describe brevemente nuestra metodología. La sección 3 brinda antecedentes sobre el movimiento eugenésico. La sección 4 introduce lo que denominamos «paquete TESCREAL» de ideologías, las cuales, afirmamos, constituyen una versión más radical del movimiento eugenésico. La sección 5 discute cómo el movimiento TESCREAL impulsa la búsqueda para construir la inteligencia artificial general. La sección 6 señala los riesgos causados por la marcha hacia la consecución de ese objetivo. Finalmente, la sección 7 urge a los investigadores a reorientarse hacia la construcción de sistemas bien definidos antes que al desarrollo de AGI.
Si bien la importancia histórica del estudio de la ciencia racial, el colonialismo y la eugenesia para el campo de la inteligencia artificial en su conjunto ha sido estudiada por cierto número de académicos (McQuillan, 2022; West, 2020; Katz, 2020; Ali, 2019), nuestro artículo aborda específicamente la reciente tendencia de la AGI, la cual, argumentamos, ha dominado el campo de la IA. Nosotros, los coautores, hemos visto el desarrollo de esta tendencia desde distintos ángulos. Una de nosotros es una ingeniera eléctrica que ha trabajado en el sector tecnológico durante aproximadamente dos décadas (de las cuales más de diez años transcurrieron en el sector de la IA). El otro es un filósofo e historiador que fue un destacado colaborador y defensor del movimiento TESCREAL durante casi diez años antes de abandonarlo.
Durante este tiempo, hemos interactuado con mucha gente involucrada en la carrera de la AGI, incluyendo estudiantes, profesores, ingenieros, inversores y periodistas, y formamos parte de grupos e instituciones que son ahora parte de ella. Esta experiencia nos proporcionó comprensiones acerca de las principales ideologías que la impulsan, las cuales investigamos más a fondo de la siguiente manera: 1) analizando las principales fuentes de figuras destacadas que trabajan, financian y discuten el tema de la AGI, incluyendo conferencias, artículos académicos, testimonios ante el gobierno, publicaciones en blogs y en redes sociales, mensajes de correo electrónico, participaciones en foros, podcasts y entrevistas; 2) recopilando información fruto de nuestra propia investigación y también de otras fuentes que aportan información sobre las creencias, antecedentes, proyectos y conexiones financieras con varias organizaciones involucradas en la carrera de la AGI y donantes ricos; y 3) analizando literatura secundaria sobre historia de la eugenesia, el transhumanismo y otros fenómenos sociales relevantes.
Acuñamos el acrónimo «TESCREAL» mientras escribíamos un primer borrador de este artículo. Al trazar los orígenes de la carrera de la AGI mediante el análisis de las principales fuentes, encontramos que las ideas eugenistas eran centrales para este trabajo: a menudo explícitamente sostenidas y referenciadas en eugenistas de la primera ola, como veremos en el artículo. Al describir esta influencia de figuras y organizaciones líderes en la carrera de la AGI, nos encontramos constantemente haciendo referencia a siete ideologías: transhumanismo, Extropianismo, singularitarismo, cosmismo, Racionalismo, Altruismo Efectivo y largoplacismo. Dado que referir a cada ideología individualmente se volvió engorroso, y en razón de que muchos de quienes contribuyen al discurso en torno a la AGI están asociados con múltiples ideologías, optamos por agilizar nuestra argumentación agrupándolos en un acrónimo. Una vez hecho esto, resultó evidente que conceptualizar tales ideologías como constitutivas de un único movimiento coherente que se desenvuelve a través de las últimas tres décadas tiene fundamento en consideraciones históricas, sociológicas y filosóficas (véase la sección 4.2). El acrónimo ya ha comenzado a ser empleado por investigadores y periodistas que investigan la AGI y otros fenómenos (Devenot, 2023; Zuckerman, 2024).
Las comunidades que se aglutinaron alrededor de cada ideología integrante del TESCREAL se han solapado significativamente y sus respectivas visiones del futuro, compromisos valorativos y tendencias epistémicas son a menudo indistinguibles. Nuestro trabajo sostiene la tesis de Ahmed, et al., (2024), quienes, independientemente de nosotros, concluyen que estas comunidades superpuestas que están implicadas en el Altruismo Efectivo, el largoplacismo y el riesgo existencial son fundamentales para el campo de la «seguridad de la IA», formando lo que llaman una «comunidad epistémica de seguridad de la IA». Haas (1992) identifica una comunidad epistémica como un grupo de gente con 1) un conjunto compartido de creencias normativas y convicciones de principios; 2) creencias causales compartidas; 3) conceptos comunes de validez, y 4) una iniciativa política común. Aunque no sostenemos que el paquete TESCREAL de ideologías forme específicamente la base de una comunidad epistémica, afirmamos que esas ideologías deben ser comprendidas como una especie de unidad familiar cohesionada de la que hablaremos en la sección 4.
La idea de la eugenesia puede ser rastreada hasta los orígenes de la tradición intelectual occidental [11]. En su obra La república, Platón propuso un sistema de crianza selectiva en el cual los miembros de la clase dominante, o guardianes, que se consideraban superiores, tendrían mayores oportunidades de producir descendencia. Los vástagos de individuos inferiores «serían robados en secreto por oficiales y abandonados para morir con casi absoluta certeza, al igual que los descendientes visiblemente defectuosos de los guardianes superiores» [12]. Aristóteles apoyaba el infanticidio en caso de «cualquier niño nacido con deformidades» [13]. Más tarde, durante la Ilustración del s. XVIII, algunos se opusieron al «mestizaje», o a la reproducción sexual entre miembros de diferentes grupos étnicos, aduciendo que ello podría corromper líneas sanguíneas y «producir niños desfigurados» [14].
Estos son ejemplos de lo que podría ser llamado «proto-eugenesia». El movimiento eugenésico moderno, en contraposición, se originó en el trabajo post-Darwiniano de Francis Galton (1869), quien defendió la tesis «hereditaria» de que «las capacidades naturales de un hombre derivan de la herencia». Así pues, Galton argumentó que del mismo modo que podemos «obtener por cuidadosa selección una estirpe permanente de perros o caballos dotados con particulares facultades para correr… debería ser completamente factible producir una raza de hombres superdotados por medio de matrimonios juiciosos durante varias generaciones consecutivas» [15]. Esto sentó las bases «científicas» para la eugenesia, una palabra que Galton acuñó en 1883.
La historia de la eugenesia moderna se puede dividir en dos olas, la segunda de las cuales surgió de manera más notable en la década de los 90, como analizaremos en la sección 4. Los eugenistas de la primera ola reconocieron dos estrategias para mejorar el «linaje humano», conocidas como eugenesia «positiva» y «negativa». La eugenesia positiva apunta a aumentar la frecuencia de rasgos «deseables» en la población humana, tales como la alta «inteligencia», animando a quienes poseen dichos rasgos a reproducirse más. Concursos de «el mejor bebé» o la «familia más apta» populares a principios del siglo XX, son ejemplos de eugenesia positiva, ya que animaban a las personas con rasgos «deseables» y «buena herencia» a reproducirse más. La eugenesia negativa se esfuerza por prevenir que individuos «no aptos» transmitan su material hereditario a la siguiente generación. Esta variante del movimiento eugenésico es la que justificó las leyes restrictivas sobre inmigración y contra el mestizaje a lo largo del siglo XX, así como los programas de esterilización forzada implementados en estados como California. En este estado, el programa de eugenesia, que comenzó en 1909, fue posteriormente adoptado por los nazis como un modelo para la política de «higiene racial» que tuvo su punto cúlmine en el Holocausto (Black, 2003; Stern, et al., 2017).
Es digno de mención que la eugenesia negativa no fue únicamente abrazada por los fascistas alemanes sino también por progresistas y liberales en otras partes de Europa y en Norteamérica [16]. Tal como observan Bashford y Levin (2010), «el optimismo de la eugenesia, y su aspiración de aplicar ideas científicas de manera activa, estuvo entre las razones por las cuales atrajo tan frecuentemente a progresistas y liberales» [17]. Tampoco es cierto que el movimiento eugenésico se desvaneciera tras las atrocidades de la Segunda Guerra Mundial como mucha gente cree. Al contrario, el programa de esterilización de California continuó hasta 1979 [18], y la Sociedad Británica de Eugenesia existe hasta la actualidad, aunque con un nombre diferente. La organización cambió su nombre a Galton Institute en 1989, y luego, en 2021, comenzó a utilizar el de Adelphi Genetics Forum (Bland y Hall, 2010; Stern, 2005) [19]. Los años 70 atestiguaron una creciente crítica a las ideas eugenistas, lo que catalizó su declive temporal, sin embargo solo una década más tarde resurgiría una segunda ola.
El movimiento eugenésico de la primera ola fue repugnante por varias razones. Una de ellas tiene que ver con las actitudes racistas, xenófobas, capacitistas, clasistas y sexistas subyacentes que animaron tanto la eugenesia negativa como la positiva. Quienes eran considerados «no aptos» se etiquetaban de diversas formas: «defectuosos», «imbéciles», «idiotas», «inválidos congénitos», «tontos» y «débiles mentales», siendo a menudo identificados usando tests de CI (Roige, 2014). Los individuos «de alto rendimiento» eran alentados a formar familias numerosas. Muchos eugenistas también aceptaron la superioridad de la raza blanca, lo que «justificó» la anteriormente mencionada legislación antimestizaje (Bashford y Levine, 2010). De acuerdo con Galton, la pobreza era en gran medida resultado de la naturaleza inferior de alguien. Esta idea fue más recientemente defendida por Herrnstein y Murray (1994), quienes sostenían que es improbable que las políticas de bienestar social tengan efectos significativamente positivos dada la diferencia genéticamente determinada en el CI.
Esto nos lleva a la segunda ola de la eugenesia moderna, la cual difiere de la primera, más notablemente, en lo metodológico. Mientras los eugenistas de la primera ola se esforzaban por mejorar el «linaje humano» alterando los patrones de reproducción en la sociedad, un proceso que requeriría muchas generaciones para funcionar, los eugenistas de la segunda ola surgieron en respuesta a nuevas posibilidades tecnológicas relacionadas con la ingeniería genética y la biotecnología [20]. Esas tecnologías abrieron la puerta a «mejoras» humanas que no requerían políticas a nivel poblacional ni requerirían plazos intergeneracionales para operar: en una sola generación, los padres podrían potencialmente «diseñar» a sus hijos eligiendo genes que, basándose en asunciones de la teoría de la herencia, determinarían, supuestamente, rasgos como la «inteligencia» excepcional [21].
En consecuencia, la nueva eugenesia se declara «liberal» enfatizando la libertad de los padres para decidir si engendrar, y cómo, una descendencia «mejorada» (Agar, 1998). No obstante, algunos filósofos han argumentado que en la práctica esta nueva «eugenesia liberal» —en ocasiones apodada «neo-eugenesia»— podría tener las mismas consecuencias debilitantes para la libertad que los programas eugenésicos del siglo XX (Koch, 2020; Sparrow, 2011). Y aunque muchos eugenistas de la segunda ola afirman que su versión de la disciplina eugenésica se ha librado de las actitudes discriminatorias que alentaban sus pares de la primera ola [22], veremos en la sección siguiente que esto resulta dudoso.
Este apartado se centra en lo que denominamos el «paquete TESCREAL» de ideologías, del cual es un ejemplo la segunda ola de la eugenesia moderna. Estas ideologías son, nuevamente: transhumanismo, Extropianismo, singularitarismo, cosmismo, Racionalismo, Altruismo Efectivo y largoplacismo, las cuales emergieron aproximadamente en este orden y se solaparon significativamente de modo tanto contemporáneo como histórico. Resumimos el paquete TESCREAL en la Tabla 1.
Transhumanismo y Extropianismo. Comenzamos nuestro análisis con el transhumanismo, una versión de la segunda ola eugenésica que afirma la viabilidad y conveniencia de una «mejora humana» radical. La palabra «transhumanismo» podría haber sido acuñada en 1940 por W. D. Lighthall, aunque la idea fue desarrollada incluso antes por varios eugenistas del siglo XX, incluyendo a Julian Huxley, presidente de la British Eugenics Society desde 1959 hasta 1962 (Dard y Moatti, 2017). Mediante el control de «los mecanismos de la herencia», escribió, «la especie humana puede, si lo desea, autotrascenderse —no de modo esporádico—… sino en su totalidad, como humanidad». Si bastante gente «puede realmente decir … “creo en el transhumanismo”», entonces «la especie humana estará en la senda de una nueva forma de existencia, tan diferente de la nuestra como la del hombre de Pekín. Estará finalmente completando su verdadero destino» [34].
Lo que diferencia la noción de transhumanismo de Huxley, que podemos llamar «transhumanismo temprano», de otras concepciones de la eugenesia de la época, fue su visión: el objetivo no era solamente crear la mejor versión posible de nuestra especie, sino «trascender» la humanidad por completo. El transhumanismo temprano combinaba de este modo esta nueva visión con la metodología antigua de los eugenistas de la primera ola. En contraste, el «transhumanismo moderno», como podríamos etiquetarlo, tomó forma a finales de los años ochenta y principios de la década de los noventa, combinando la visión Huxleyana de trascendencia con la metodología de la segunda ola. De allí que sus defensores imaginaran que era posible, permitiendo a los individuos elegir libremente si someterse, y de qué manera, a mejoras radicales, crear una especie superior «posthumana». De acuerdo con Nick Bostrom (2013, 2005a), un «posthumano» es un ser que posee una o más capacidades posthumanas, como una indefinida «esperanza de vida», capacidades cognitivas aumentadas, racionalidad mejorada, y cosas de ese estilo.
El primer grupo organizado de transhumanistas modernos fue el movimiento Extropiano. Sus raíces pueden rastrearse hasta finales de los ochenta, después de que Max More y T. O. Morrow fundaran el Instituto Extropiano en 1988. El neologismo «extropía» fue definido por More como «el grado de inteligencia, información, organización, vitalidad y capacidad de mejora de un sistema» [35], y pretendía contrastar con la idea de «entropía». More (1998) especificó cinco compromisos fundamentales de esta ideología: Expansión ilimitada, Autotransformación, Optimismo dinámico, Tecnología inteligente y Organización espontánea (Regis, 1994). Algunos años más tarde, Bostrom y David Pearce fundaron la World Transhumanist Association (WTA), que pretendía ser «una forma más madura y académicamente más respetable de transhumanismo» [36].
Singularitarismo. Aproximadamente por la misma época en que se fundaba la WTA, otra variante del transhumanismo hizo su aparición: el singularitarismo, cuyos principales defensores incluían a Ray Kurzweil y Eliezer Yudkowsky. Esta ideología enfatizaba la llegada de la «Singularidad tecnológica», que puede ser definida de varios modos sutilmente diferentes: primero, podría referirse al punto en el cual la velocidad del «progreso» tecnológico es tal que ocasiona una ruptura en la historia humana. En el relato de Kurzweil, los humanos se fusionarán con las máquinas, inaugurando una nueva época en la historia cósmica. Nuestros descendientes se diseminarán más allá de la Tierra e inundarán el Universo con conciencia, permitiendo de esta manera que el universo «despierte». Predice que la Singularidad ocurrirá en 2045 (Kurzweil, 2005), mientras que Yudkowsky, quien se ha descrito a sí mismo como un «genio», declaró alguna vez que esto sucedería en 2025 —dentro de menos de un año del momento en que escribimos este artículo— [37]. La segunda definición de la «Singularidad» involucra la idea de una «explosión de inteligencia», mediante la cual los algoritmos experimentarán una «automejora recursiva» hasta que se vuelvan «superinteligentes». Esto también, supuestamente, constituiría un momento transformador en la historia humana, con las superinteligencias resultantes permitiéndonos convertirnos en posthumanos y colonizar el espacio. Los singularitaristas, por su parte, son quienes creen que «es deseable crear tecnológicamente una inteligencia suprahumana y quienes trabajan con ese fin» [38]. El término «singularitario» fue establecido por un Extropiano llamado Mark Plus en 1991 [39].
Cosmismo. La tercera ideología tecnofuturista del paquete TESCREAL es el cosmismo, promovida sobre todo por Ben Goertzel, un transhumanista que participó en el movimiento Extropiano y que posteriormente fundó SingularityNET.io, cuyo objetivo es crear «una inteligencia artificial general descentralizada, democrática, inclusiva y beneficiosa» [40]. Goertzel (2010) escribió que el cosmismo subsume la meta transhumanista de mejora radical humana, yendo aún más allá de ello en varios aspectos. Por ejemplo, el manifiesto afirma que «los humanos se fusionarán con la tecnología», lo cual inaugurará «una nueva fase de la evolución de nuestra especie», y que «desarrollaremos una inteligencia artificial consciente y una tecnología para transferir la mente a un soporte digital» que permitirá una indefinida esperanza de vida para quienes dejen la biología atrás y «digitalicen su conciencia». Pero el cosmismo también predice que «nos extenderemos por las estrellas y recorreremos el universo», crearemos «realidades sintéticas» (por ejemplo, mundos virtuales) y «desarrollaremos ingeniería espaciotemporal y “magia del futuro” científica mucho más allá de nuestro entendimiento e imaginación actuales» [41]. Los cosmistas pueden, de este modo, comprenderse como transhumanistas cuyo foco no es tanto en qué puede convertirse la humanidad sino en cómo nuestros descendientes posthumanos pueden transformar radicalmente el universo mismo [42].
Racionalismo. A finales del siglo XX, hizo su aparición otra comunidad: los Racionalistas. Esta se centraba en el blog comunitario LessWrong, fundado en 2009 por Yudkowsky; este blog se describe a sí mismo como «un foro y comunidad en línea dedicado a mejorar el razonamiento y la toma de decisiones humanas». Uno de sus objetivos principales es «entrenar la racionalidad» y su sitio web señala que «muchos miembros… están fuertemente motivados para mejorar el mundo lo máximo posible». Esto, explica, es una razón por la cual muchos Racionalistas «se convencieron hace muchos años de que la IA era un buen negocio para el futuro de la humanidad» y, en consecuencia, «el equipo de LessWrong… está predominantemente motivado para lograr que los resultados de la IA sean positivos» [43]. Si bien el Extropianismo y el singularitarismo son variantes del transhumanismo, no existe una conexión necesaria entre el Racionalismo y el transhumanismo. De todos modos, muchos Racionalistas son transhumanistas o simpatizan con el punto de vista transhumanista, y uno de los temas más populares debatidos en el sitio web de LessWrong fue la Singularidad en el segundo sentido arriba mencionado: la posibilidad de una explosión de inteligencia [44].
Altruismo Efectivo y Largoplacismo. Los últimos dos componentes del paquete TESCREAL son el Altruismo Efectivo (EA) y el largoplacismo. El primero emergió alrededor de la misma época que el Racionalismo, que puede ser visto como su hermano: mientras los Racionalistas están principalmente abocados a la racionalidad, el Altruismo Efectivo (EA) está preocupado principalmente por la ética. Existe una considerable superposición entre esas comunidades, y uno puede comprender el EA como lo que sucede cuando los principios del Racionalismo se aplican al dominio ético. El objetivo central del EA es hacer «el mayor bien» posible con recursos finitos [45], y su enfoque inicial era aliviar la pobreza mundial. Sin embargo, en los últimos años, figuras relevantes de la comunidad del EA han dado un giro hacia temas relacionados con el futuro a muy largo plazo de la humanidad —«millones, billones y trillones de años» a partir de ahora, como uno escribió [46]— debido en parte al trabajo de Bostrom y otros. En particular, Bostrom (2003) no solo imaginó un futuro utópico posibilitado por la mejora radical humana, sino que señaló también que si la humanidad coloniza el universo y crea computadoras de dimensiones planetarias para manejar mundos de realidad virtual habitados por «personas digitales», la población futura posthumana podría ser enorme. En el Supercúmulo de Virgo solamente, podría existir una población digital de 1038 (10 elevado a la 38va potencia) y al menos una población digital de 1058 en el universo accesible (Bostrom, 2014, 2003) [47]. ¿Por qué es importante? Porque, desde la perspectiva ética del «utilitarismo totalitario», que ha sido muy influyente entre EAs y largoplacistas [48], nuestra única obligación moral es maximizar la cantidad de «valor» en el Universo. Por lo tanto, si estas 1058 personas en simulaciones por computadora tuvieran vidas positivas en promedio, el resultado sería literalmente cantidades «astronómicas» de «valor» —lo que sería muy «bueno»—. Dado que el utilitarismo totalitario basa lo que es moralmente correcto en lo que es bueno, este punto de vista implica que no lograr que existan estas futuras personas digitales sería un tremendo error.
El largoplacismo nació cuando los EAs razonaron: si nuestro objetivo es hacer el mayor bien posible, y si el futuro podría contener cantidades astronómicas de «valor», entonces debemos enfocarnos en el futuro lejano más que en el presente (Greaves y MacAskill, 2019). Similarmente, si nuestro objetivo es afectar positivamente a la mayor cantidad de gente posible, y si la mayor cantidad de gente que podría existir existirá en el futuro lejano, entonces debemos enfocarnos en ellos en lugar de hacerlo en las personas actuales y en los problemas contemporáneos, excepto en los casos en que éstos influyan en el futuro lejano. De esta manera, los largoplacistas Hilary Greaves y William MacAskill (2019) escribieron que podríamos simplemente ignorar «los efectos contenidos en los próximos 100 (o incluso 1.000) años». De acuerdo a los más influyentes largoplacistas, convertirse en posthumano es un componente central de «completar nuestro potencial a largo plazo» (palabras que hacen eco de la caracterización de Huxley respecto al transhumanismo, arriba mencionada), tal como lo son colonizar el espacio y maximizar el «valor» (Bostrom, 2003; Ord, 2020; MacAskill, 2022). El objetivo, entonces, es accionar para maximizar la probabilidad de cumplir «nuestro potencial». Como observó Bostrom, incluso incrementos minúsculos de probabilidad que afecten a este objetivo final equivalen, en valor esperado, a salvar literalmente miles de millones de vidas humanas hoy (Bostrom, 2013). El largoplacismo, de este modo, apunta a proporcionar un fundamento ético sistemático para mitigar el «riesgo existencial» garantizando al mismo tiempo el desarrollo de una superinteligencia artificial (ASI), un tipo de AGI que muchos seguidores de la ideología consideran esencial para la realización de lo que un largoplacista describe como nuestro «vasto y glorioso» futuro en el universo (Ord, 2020).
El conjunto de ideologías TESCREAL comparte un cierto número de importantes características, cuatro de las cuales exponemos aquí.
Raíces históricas y comunidades contemporáneas. Las ideologías constitutivas del conjunto tienen una genealogía común que regresa a la primera ola de la eugenesia. Todas ellas están íntimamente conectadas al transhumanismo y —como se ha señalado— el transhumanismo fue inicialmente desarrollado por eugenistas del siglo XX [49]. En realidad, transhumanismo, Extropianismo, singularitarismo y cosmismo son ejemplos de la eugenesia de la segunda ola, en tanto que todos sostienen el uso de las tecnologías emergentes para la «mejora» radical de la humanidad y la creación de una nueva especie «posthumana».
Hay también un significativo solapamiento en sus comunidades contemporáneas, con muchos miembros de la comunidad afiliados dentro de varias categorías TESCREAL. Bostrom, por ejemplo, es un líder transhumanista que participó en el movimiento Extropiano, anticipa la Singularidad con excitación e inquietud, defiende una visión del futuro casi idéntica a la del cosmismo, es enormemente influyente entre las comunidades Racionalistas y de EA, y cofundó la ideología largoplacista. De modo similar, Sam Altman ha sido influenciado por las comunidades Racionalistas y de EA (y solía ser él mismo un EA, de acuerdo a un perfil publicado en Weil [2023]), y promueve ideas estrechamente alineadas con el cosmismo y el largoplacismo como colonizar la galaxia. Él argumenta que «las galaxias están realmente en peligro» si no logramos controlar la AGI [50]. Por último, Elon Musk es un transhumanista cuya compañía Neuralink tiene como finalidad fusionar nuestras mentes con IA, es inmensamente influyente dentro de la comunidad Racionalista, fundó y cofundó múltiples compañías que pretenden construir AGI, y describe el largoplacismo como «muy cercano a mi filosofía» [51], lo que coincide con sus afirmaciones sobre que «tenemos el deber de mantener la luz de la conciencia para asegurar que continúe en el futuro» (D’Orazio, 2014) y «lo que importa … es maximizar la felicidad neta acumulada de la civilización a lo largo del tiempo» [52]. El cruce sociológico entre las comunidades asociadas con cada letra del acrónimo es significativo.
Escatología. El paquete TESCREAL comparte ciertas convicciones «escatológicas» (relativas a los «últimos tiempos»). Al igual que con religiones como el cristianismo, estas adoptan dos formas: utópica y apocalíptica, que se encuentran inextricablemente ligadas. Por ejemplo, el arriba mencionado cofundador de WTA, David Pearce, describe parte del proyecto transhumanista como «ingeniería del paraíso», resultando en «la completa abolición del sufrimiento en el Homo Sapiens». En última instancia, «la opción de … rediseñar el ecosistema global, extiende la perspectiva de la ingeniería del paraíso al resto del mundo viviente», incluso más allá de la Tierra, la cual describe como «una misión de rescate cósmico para promover la ingeniería del paraíso a través del Universo» (Pearce, 1995). Bostrom (2005b) también usó el término «ingeniería del paraíso» al ofrecer una visión de cómo podría ser nuestro futuro tecno-utópico —es decir, un futuro utópico construido alrededor de la ciencia y la tecnología avanzadas— desde el punto de vista de un posthumano inmortal, cognitivamente mejorado, que experimenta tanto placer en la «utopía» que «la espolvorean en nuestro té». Kurzweil (2006), quien fue personalmente contratado en Google por su cofundador Larry Page (Hill, 2013), escribió que la fusión entre «el hombre y la máquina», acoplada con la súbita explosión de la inteligencia artificial y la rápida innovación dentro de los campos de la investigación genética y la nanotecnología, «nos permitirá trascender nuestros frágiles cuerpos con todas sus limitaciones. La enfermedad, tal como la conocemos, será erradicada». Tales proclamaciones utópicas son quizá poco sorprendentes, dado que muchos eugenistas de la primera ola también entendieron su proyecto en términos más o menos utópicos (Wells, 1902; Wells et al., 1931). Galton, el fundador del moderno movimiento eugenésico, admitió «haberse entregado a muchas» ideas utópicas, y poco antes de su muerte escribió una novela «utópica» titulada The Eugenic College of Kantsaywhere [53]. Describió una sociedad en la que «los futuros padres deben someterse a pruebas físicas y psicométricas antes de ser declarados aptos para reproducirse —y aquellos declarados no aptos son expulsados del estado—» (Sweet, 2011).
El aspecto apocalíptico del paquete TESCREAL emerge de dos consideraciones específicas de la metodología de la eugenesia de la segunda ola: primero, los transhumanistas a finales de 1990 se dieron cuenta de que las mismas tecnologías que se requerían para crear una utopía posthumana introducirían también riesgos sin precedentes para la humanidad. Kurzweil (1999) se refirió a algunos de esos riesgos hipotéticos como «un claro peligro futuro» [54]. La razón para preocuparse es que se espera que las tecnologías emergentes sean a) extremadamente poderosas; b) cada vez más accesibles tanto para actores estatales como no estatales; y c) de uso dual, tal como es el ejemplo de CRISPR-Cas9, que podría tanto curar enfermedades como sintetizar agentes patógenos de diseño que desencadenarían una «pandemia diseñada» (véase Torres, 2019; Wadhwa, 2020). De allí que desarrollar esas tecnologías sea considerado necesario, pero podría también destruir la humanidad. La segunda consideración es paralela a la primera, aunque específicamente se refiere a la AGI. Por una parte, si creamos una AGI «alineada con los valores», podría resolver todos los problemas del mundo y posibilitar a la gente vivir para siempre [55]. Por otra parte, varios defensores de TESCREAL creen que si la AGI no está adecuadamente «alineada con esos valores», el «resultado por defecto» será «fatal» (por ejemplo: una catástrofe existencial), según Bostrom (2014). Sin embargo, muchas de esas mismas figuras prominentes afirman que los beneficios potenciales de la tecnología avanzada merecen el riesgo extremo; construir dichas tecnologías para hacer realidad la utopía debería ser nuestro objetivo principal.
Actitudes discriminatorias. Las mismas actitudes discriminatorias que animaban a los eugenistas de la primera ola son generalizadas dentro de la literatura y comunidad TESCREAL. Por ejemplo, las listas de distribución Extropianas contienen numerosos ejemplos de comentarios alarmantes hechos por notables figuras del movimiento TESCREAL. En 1996, Bostrom sostuvo que «los negros son más estúpidos que los blancos», lamentando que no pudiera comentar esto en público sin ser desprestigiado como racista, y luego mencionó la palabra con N (Torres, 2023a). En una «disculpa» posterior por el mensaje de correo electrónico, denunció el uso de la palabra que comienza con N, pero no rectificó su afirmación de que los blancos son más «inteligentes» (Torres, 2023a) [56]. También en 1996, Yudkowsky expresó preocupaciones acerca de la superinteligencia, escribiendo: «Robots superinteligentes = arios, humanos = judíos. La única forma de prevenir esto es que haya robots lo suficientemente inteligentes» [57]. Otros se han preocupado de que «ya que nosotros como transhumanos buscamos alcanzar el siguiente nivel de evolución humana, corremos serios riesgos de que nuestras ideas y programas sean etiquetados por los medios de comunicación populares como neo-eugenésicos, racistas, neonazis, etc.» [58]. De hecho, las principales figuras de la comunidad TESCREAL han citado con aprobación, o expresado apoyo, por el trabajo de Charles Murray, conocido por su racismo científico y preocupado por las presiones «disgénicas» (lo contrario a «eugenésicas») (véase Torres, 2023a). El propio Bostrom identifica las «presiones “disgénicas”» como un posible riesgo existencial en su artículo de 2002, junto con la guerra nuclear y una toma de control por la superinteligencia. Escribió: «actualmente parece que existe una correlación negativa en algunos sitios entre logro intelectual y fertilidad. Si tal selección operara durante un largo período de tiempo, podríamos evolucionar en una especie menos inteligente pero más fértil, el homo philoprogenitus («amante de la descendencia numerosa»)» (Bostrom, 2002). Más recientemente, Yudkowsky tuiteó acerca de que el coeficiente intelectual aparentemente está decayendo en Noruega, aunque añadió que «el efecto aparece dentro de las familias, por lo tanto no se debe a la inmigración ni a la reproducción disgénica» —por ejemplo, extranjeros menos inteligentes que emigran a Noruega o individuos con «inteligencia» más baja que tienen más hijos— [59].
La obsesión por la «inteligencia» y el «coeficiente intelectual» está ampliamente difundida entre los defensores del TESCREAL. La «inteligencia», típicamente entendida como lo que miden los tests de CI, importa en gran medida por su valor instrumental para alcanzar las metas de los proyectos TESCREAL, como convertirse en posthumanos, colonizar el espacio y construir AGI «segura». Por ello, algunos de los principales TESCREAListas consideran la mejora cognitiva como una meta intermedia importante y, en consecuencia, escribieron extensamente sobre la posibilidad de mejoras cognitivas como los nootrópicos («drogas inteligentes»), las conexiones entre cerebro y computadora (ICC), e incluso la transferencia mental de datos (que podría facilitar enormemente «la mejora» de la mente) (Sandberg y Bostrom, 2008; Bostrom y Sandberg, 2009). Más recientemente, Carla Cremer, una antigua EA, reporta que el Centro para el Altruismo Eficaz probó «una nueva forma de medición del valor para aplicar a las personas: una métrica llamada PELTIV, que representaba el «Valor Instrumental Potencial Esperado a Largo Plazo». El objetivo era identificar miembros de la comunidad «que tenían probabilidades de desarrollar una alta “dedicación” al EA» y la puntuación estaba basada en parte en el CI de los miembros. Ella escribió:
A un candidato con un coeficiente intelectual normal de 100 se le deben restar puntos PELTIV porque los puntos solamente se ganan sobre un coeficiente intelectual de 120. Los valores bajos de PELTIV se asignaron a aquellos solicitantes que trabajaban para reducir la pobreza global o mitigar el cambio climático, mientras que el valor más alto se asignó a aquellos quienes directamente trabajaban para organizaciones de EA o en inteligencia artificial (Cremer, 2023).
La obsesión con el CI puede ser rastreada hasta los eugenistas de la primera ola, quienes usaron las pruebas de CI para identificar a los «defectuosos» y «débiles mentales». Como observa Daphne Martschenko (2017), «en sus épocas más oscuras, los tests de CI fueron poderosas formas de excluir y controlar a las comunidades marginadas usando un lenguaje empírico y científico».
Influencia y variantes. El paquete TESCREAL de ideologías se ha vuelto enormemente influyente, especialmente entre algunos enclaves poderosos de la industria tecnológica. Entre los multimillonarios actuales y anteriores que suscriben o están asociados con una o más ideologías TESCREAL y su visión tecno-utópica del futuro se incluyen: Elon Musk, Peter Thiel, Jaan Tallinn, Sam Altman, Dustin Moskovitz, Vitalik Buterin, Sam Bankman-Fried, y Marc Andreessen, este último incluyó «TESCREALista» en su perfil de Twitter durante varias semanas en 2023 (Gebru, 2022; Torres, 2023b) [60]. Estos multimillonarios han cofundado institutos TESCREAListas, han promovido a investigadores y filósofos TESCREAL como Bostrom, MacAskill y Kurzweil, y personalidades TESCREAListas de Internet como Yudkowsky, quien avaló ataques militares contra centros de datos, si fuera necesario, para detener un hipotético apocalipsis de la AGI (Yudkowsky, 2023). Colectivamente, los multimillonarios han sostenido el movimiento con decenas de billones de dólares en donaciones y apoyo financiero (Gebru, 2022; Tiku, 2023) [61]. La Tabla 1 sintetiza nuestro análisis del paquete ideológico TESCREAL. Como demostraremos en el resto del artículo, el TESCREAL ha sido la fuerza motivadora fundamental que está detrás de las investigaciones y desarrollos bien financiados que se centran en crear AGI que muchos miembros creen que llevará —o bien podría— llevar rápidamente a la ASI (superinteligencia artificial) por la vía de la automejora recursiva. Esto es, realmente, uno de los argumentos centrales de este trabajo: el paquete de ideologías analizado arriba, que nació de la primera ola del movimiento eugenésico del siglo XX, está ahora dedicando una considerable cantidad de investigación al campo de la IA.
Tabla 1: «Paquete TESCREAL» de ideologías.
Ideología
Definición
Figuras influyentes
Organizaciones
Desde que acuñamos el concepto «TESCREAL», una nueva variante de ideologías de este grupo, denominada aceleracionismo efectivo (e/acc), hizo su aparición. Los aceleracionistas efectivos creen que la probabilidad de un mal resultado debido a la AGI es muy baja y, por lo tanto, el «progreso» hacia sistemas de IA crecientemente «poderosos» debería acelerarse (Torres, 2023c). Los capitalistas de riesgo como Andreessen, quien recientemente escribió un manifiesto diciendo «creemos que cualquier desaceleración de la IA costará vidas» y «nosotros … creemos en la capacidad de sobreponernos a la naturaleza» [62], se describe a sí mismo como un e/acc [63]. Gary Tan, capitalista de riesgo y CEO de la famosa startup de Silicon Valley Y Combinator, también se describe a sí mismo como un e/acc [64].
En las siguientes secciones, describimos las principales figuras en el movimiento TESCREAL como TESCREAListas, y a las organizaciones asociadas con el movimiento como organizaciones TESCREAL. Es importante resaltar que no todos los que están asociados con ideologías del paquete creen en la totalidad de las perspectivas dominantes, y algunas personas podrían incluso oponerse a estar incluídas dentro de él. Mucha gente trabajando en la AGI podría no estar al tanto de su proximidad con los puntos de vista del TESCREAL o sus comunidades. Nuestro argumento es que la ideología TESCREALista maneja la carrera hacia la AGI, aunque no todos los individuos asociados con la meta de construirla compartan estas visiones del mundo.
Mientras en las secciones previas se han discutido las raíces del paquete TESCREAL de ideologías y su relación con los ideales eugenésicos del siglo XX, este apartado describe cómo los grupos TESCREAListas están dirigiendo el campo de la inteligencia artificial hacia la meta de crear AGI.
En 1955, cuatro hombres blancos lanzaron oficialmente el campo de la IA con una propuesta para un taller focalizado en «el problema de la inteligencia artificial» [65]. En los años noventa, no obstante, muchos investigadores en campos actualmente relacionados con la IA, tales como procesamiento del lenguaje natural (NLP), aprendizaje automático (ML), y visión computacional (CV), se distanciaron explícitamente del término «IA», en parte porque se asociaba con promesas grandiosas incumplidas [66]. Sin embargo, algunos grupos continuaron trabajando hacia la «inteligencia artificial general», un término usado ya en 1997, aunque fue popularizado por Pennachin y Goertzel (2007b) (véase Tabla 1). Pennachin y Goertzel (2007b) señalaron:
Nuestra meta … ha sido llenar un vacío que parece haber en la literatura científica, proporcionando una presentación coherente de un conjunto de investigaciones contemporáneas que, a pesar de su importancia esencial, ha mantenido hasta ahora un perfil muy bajo dentro de la comunidad científica e intelectual. A esta compilación de trabajo no se le ha dado un nombre antes; en este libro, la bautizaremos como «Inteligencia Artificial General» (AGI) [67].
Los colaboradores de Pennachin y Goertzel (2007b) subrayaron algunas posibles razones para explicar la escasez de investigación en el campo de la AGI, siendo una de ellas que «un gran número de investigadores rechazan la validez o la importancia de la “inteligencia general”. Para muchos, las controversias en psicología (como las provocadas por The Bell Curve) vuelven este tema impopular, incluso tabú» [68]. Una de las personas mencionadas en los agradecimientos de Pennachin y Goertzel (2007b) fue el futuro cofundador de DeepMind, Shane Legg, quien también fue coautor de un capítulo en el libro y fue citado por sus sugerencias en las definiciones de inteligencia (Goertzel y Pennachin, 2007b). De acuerdo con Goertzel, fue Legg —antiguo empleado de Goertzel— quien inventó el término «inteligencia artificial general» después de que Goertzel mencionara que estaba buscando un nuevo término para describir niveles humanos o superhumanos de sistemas de inteligencia artificial (el título original de Goertzel para su libro de 2007 era «IA real») [69]. Otro capítulo del libro fue escrito por Yudkowsky, el fundador del Racionalismo, como se mencionó anteriormente.
Pennachin y Goertzel (2007b) escribieron que «lo que distingue el trabajo de investigación sobre la AGI con respecto a aquél dedicado a la inteligencia artificial común» es que «está explícitamente enfocado en la ingeniería de inteligencia artificial a corto plazo» aunque señalan que «la inteligencia general no significa exactamente lo mismo para todos los investigadores» y que «no está totalmente bien definida» [70]. ¿Cómo, entonces, podrían los investigadores saber si alcanzaron sus metas para construir la AGI? Necesitan saber cómo definir y medir la «inteligencia general». De manera poco sorprendente, esas definiciones descansan en nociones de «inteligencia» que dependen del CI y otros conceptos racistas apoyados por personas como Charles Murray y Linda Gottfredson [71]. Peter Voss cita el artículo de esta última, The General Intelligence Factor, en su capítulo de Pennachin y Goertzel (2007b) (Voss, 2007). En su tesis doctoral de 2008, cuyo título era Machine Superintelligence, y el artículo de 2007 relacionado con ella Universal Intelligence: A Definition of Machine Intelligence (Legg, 2008; Legg and Hutter, 2007), Legg señaló una publicación del Wall Street Journal de 1994 que defendía el libro de Herrnstein y Murray (1994) The Bell Curve para argumentar que «se ha logrado un cierto grado de consenso acerca de la definición científica de inteligencia y cómo medirla» (Legg y Hutter, 2007).
La publicación, también citada (y posteriormente eliminada) en una preimpresión de Microsoft relativa a la AGI del año 2023 (Bubeck, et al., 2023) fue escrita por Gottfreson, quien sostuvo en muchas ocasiones que la mayor parte de la población negra no es apta para el empleo ya que su CI ronda las puntuaciones de 70, y «un CI de 75 a 80 parece definir el umbral debajo del cual los individuos están en riesgo de no conseguir trabajo en la economía moderna» [72]. De acuerdo a la Southern Poverty Law Center, 20 de los firmantes de la publicación recibieron financiación de la organización supremacista blanca Pioneer Fund, incluida Gottfredson, quien querelló a su universidad durante dos años para recibir fondos de esa fuente a pesar de la objeción institucional (Kaufman, 1992) [73]. Otros cuyas definiciones de inteligencia son (acríticamente) comentadas en la tesis de Legg incluyen a Cattell, quien fundó la religión basada en la eugenesia denominada Beyondism, y Spearman, quien se consagró a mejorar las teorías eugenésicas de Galton (Mehler, 1997; Clayton, 2020).
Por estas razones, Keira Havens, quien ha escrito extensamente sobre ciencia racial, pregunta a aquellos que intentan construir AGI: «¿Por qué se basan en definiciones eugenésicas, conceptos eugenésicos y pensamiento eugenésico para contextualizar su trabajo? ¿Por qué (…) desean consagrar esas maneras estáticas y limitadas de pensar acerca de la humanidad y la inteligencia?» [74].
En 2007, cuando Pennachin y Goertzel fueron coautores y coeditores del primer libro sobre AGI, algunas organizaciones especificaron que construir inteligencia artificial de este tipo era su meta (Pennachin y Goertzel, 2007a). Seis años antes, en 2001, Goertzel cofundó el Artificial General Intelligence Research Institute con la misión de «fomentar la creación de una IA General potente y éticamente positiva» [75], con el colega de Goertzel señalando que «la meta de la investigación en AGI es la creación de una inteligencia transhumana de amplio parecido con la humana, antes que sistemas estrechamente «inteligentes» que puedan operar solo como herramientas para operadores humanos en dominios bien definidos» [76]. Goertzel se convertiría más tarde en director de investigación en el Machine Intelligence Research Institute (MIRI), inicialmente denominado Singularity Institute for Artificial Intelligence, fundado por Yudkwosky con más de 1.6 millones de dólares de financiación provenientes del magnate de la tecnología y colega TESCREALista Peter Thiel (véase Tabla 1). Otros proveedores de fondos para el MIRI incluyen a los multimillonarios TESCREAListas Dustin Moskovitz y Vitalik Buterin [77]. La misión del MIRI es «desarrollar herramientas formales para el diseño depurado y el análisis de sistemas de IA de propósito general, con la intención de hacer dichos sistemas más seguros y confiables cuando se desarrollen» [78].
En 2010, Demis Hassabis, Mustafa Suleyman y Shane Legg fundaron DeepMind, también con fondos de los multimillonarios TESCREAListas Elon Musk, Peter Thiel y Jaan Tallinn, entre otros (Shead, 2017) (véase la Tabla 1). La misión de esta organización es «resolver el problema de la inteligencia para el avance de la ciencia y el beneficio de la humanidad» [79], con el director ejecutivo Hassabis describiéndose a sí mismo como «trabajo en la AGI», que cree que «será lo más grandioso que le haya ocurrido jamás a la humanidad» «si acertamos» [80]. Mientras tanto, Legg brindó una charla acerca de los métodos para definir y medir la «inteligencia» en el Singularity Summit de 2010, basada en sus trabajos que mencionamos anteriormente [81]. La cumbre fue un evento que tuvo lugar anualmente entre 2006 y 2012, fundado por Yudkowsky, Kurzweil y Thiel [82]. Fue después de este encuentro anual de 2010 que, en la mansión californiana de Thiel, Hassabis contactó con Thiel con la esperanza de obtener financiación, la cual consiguió (Shead, 2020).
En 2017, DeepMind lanzó un nuevo bloque de investigación denominado «Deep Mind Ethics and Society» [83], con Bostrom como uno de sus asesores (Temperton, 2017) (Hemos comentado ampliamente los ideales eugenésicos de Bostrom y sus creencias problemáticas en el apartado 4). DeepMind fue adquirida por Google en 2014, el mismo año que Bostrom publicó su libro Superintelligence, el cual, como se ha señalado, sostiene que «el resultado por defecto» de una «AGI mal alineada» es la catástrofe existencial, aunque Bostrom es también explícito sobre que, a pesar de todo, deberíamos crear la AGI, puesto que una AGI «alineada» ayudaría a cumplir las promesas utópicas que están en el corazón del TESCREALismo (Bostrom, 2014). Tanto Musk como Thiel fueron influenciados por la obra de Bostrom, lo que llevó a Musk a referirse a la AGI como «el mayor riesgo existencial» para la humanidad (Dowd, 2017).
En 2015, Musk, Thiel, Altman y otros fundaron la organización sin ánimo de lucro OpenAI, y de modo colectivo prometieron 1.000 millones de dólares para el proyecto (Novet, 2015). La misión de OpenAI es «garantizar que la inteligencia artificial general (AGI) —por la cual entendemos sistemas altamente autónomos que superan a los humanos en la mayoría de los trabajos de valor económico— beneficie a toda la humanidad» [84]. OpenAI también recibió una subvención de 30 millones de la organización TESCREAlista Open Philanthropy [85]. Un informe acerca de la mentalidad de la compañía señala que muchos empleados «suscriben la filosofía racional del “altruismo efectivo”» (Hao, 2020). Cuatro años más tarde, OpenAI se convirtió en una corporación de beneficios limitados [86] y recibió una inversión por valor de 1.000 millones de dólares de Microsoft, comenzando un acuerdo de licencia exclusiva con ellos [87]. En 2022, OpenAI liberó su chatbot ChatGPT, el cual consiguió 100 millones de usuarios en dos meses y, de acuerdo a un perfil de Sam Altman publicado por The New York Magazine, se convirtió en «el mayor lanzamiento de producto en la historia de la tecnología» (Weil, 2023). En 2023, se informó que Microsoft invirtió 10.000 millones de dólares en OpenAI (Bass, 2023).
En 2021, los antiguos vicepresidentes de investigación y seguridad de OpenAI, los hermanos Darío y Daniella Amodei, fundaron Anthropic (Fortune Editors, 2023). Se les unieron 11 empleados de OpenAI que, según se ha informado, creían que la compañía se había alejado de los ideales originales, que estaban estrechamente alineados con los del Altruismo Efectivo (EA) (Russell y Black, 2023; Roose, 2023). Anthropic, que se describe como «una compañía de seguridad e investigación de IA» [88], recaudó 704 millones en un año desde su creación, y la mayor parte de su financiación provino de magnates TESCREAListas como Tallinn, Moskovitz, y Bankman-Fried (cuyas compañías FTX y Alameda Research invirtieron 500 millones de dólares) ( Coldewey, 2022, 2021; Sambo, et al., 2023). Bankman-Fried está actualmente en una prisión federal por perpetrar uno de los mayores fraudes financieros de la historia estadounidense (Sigalos, 2023). Bankman-Fried, según las informaciones, decidió acumular toda la riqueza que fuera posible después de que William MacAskill, cofundador del movimiento de Altruismo Efectivo, lo convenciera de «ganar para dar» (Lewis-Krauss, 2022) —una idea desarrollada por la comunidad de EA, en la que alguien trata de enriquecerse lo máximo posible con la finalidad de donar parte de ese dinero a causas consideradas «caritativas» por la comunidad— (véase MacAskill, 2013). Las dos principales causas benéficas listadas en las oficinas de asesoramiento laboral del Centro de Altruismo Efectivo, 80,000 Hours, son «investigaciones técnicas de seguridad de la IA» y «gobernanza y coordinación de la IA» [89].
Después de invertir en algunas de las compañías más conocidas que trabajan en AGI, Musk ha fundado ahora otra startup, xAI, orientada a este tema [90]. Uno de los consultores de la misma es Dan Hendrycks, el director ejecutivo y de investigación del Center for AI Safety, la cual recibió un subsidio de 5.160.000 de dólares de Open Philanthropy [91]. Una publicación coescrita por Hendrycks, publicada en el Foro de Altruismo Efectivo, afirmaba que «le aconsejaron… meterse en la temática de la IA para reducir [el riesgo existencial] y, de este modo, se decidió por esto en vez de por el trading para ganar para dar» [92].
Mientras se escribe este artículo, la mayor parte de las grandes compañías tecnológicas han hecho inversiones significativas en la carrera hacia la AGI. En 2023, Anthropic anunció que Amazon «invertirá hasta 4.000 millones de dólares en Anthropic» [93]. En una entrevista de 2024 con The Verge, Mark Zuckererg dijo que Meta «ha aumentado la capacidad para» trabajar en AGI «a una escala que podría ser mayor a la de cualquier otra compañía» (Heath, 2024). De este modo, mientras el intento de construir AGI fue alguna vez considerado un área de investigación de «bajo perfil» [94], gracias a los recursos y a la focalización por parte de los TESCREAListas mencionados en el apartado 4, es actualmente un empeño multimillonario que recibe fondos de poderosos magnates y prominentes corporaciones.
Como se argumentó en el apartado 4, el tecnoutopismo es una de las cuatro características centrales del paquete ideológico TESCREAL. Existen dos hipótesis por las cuales la AGI marcará el comienzo de una tecnoutopía. Una conjetura es que la AGI resultante será tan inteligente que resolverá cuál es la mejor alternativa para cualquier situación potencial. Koray Kavukcuoglu, vicepresidente de investigación de DeepMind, señaló: «a medida que los algoritmos se vuelven más generales, más problemas del mundo real serán solventados, contribuyendo gradualmente a un sistema que un día ayudará a resolver cualquier cosa» [95]. Otros, como el grupo cosmista de los TESCREAListas, prevén que la AGI produzca mentes transhumanas que beneficiarán al «cosmos» y que experimentarán «crecimiento y alegría más allá de lo que los humanos son capaces de alcanzar» [96]. La utopía propiciada por la AGI promete «abundancia de riqueza, crecimiento… para todas las mentes que así lo deseen» [97], y Altman predice que «está claro» que tendremos «inteligencia y energía ilimitadas antes de que la década finalice» [98]. En consonancia con el aspecto singularista del paquete TESCREAL, predice que «una vez que la IA llegue, el crecimiento será extremadamente veloz … los cambios que vienen son imparables … podemos utilizarlos para crear un mundo mucho más justo» [99].
Sin embargo, algunas de las principales figuras del movimiento TESCREAL creen que, si bien podemos potencialmente alcanzar la utopía a través de la AGI, si ésta no está «bien alineada» con nuestros «valores humanos» podría destruir a la humanidad (Bostrom, 2014; Dowd, 2017) [100]. De hecho, en julio de 2023, OpenAI anunció la creación de un «equipo de Superalineación», un grupo de investigación cuya meta es resolver el problema de «dirigir o controlar una IA potencialmente superinteligente y prevenir que se rebele», dado que el «enorme poder de la superinteligencia podría … ser muy peligroso y podría llevar al debilitamiento de la humanidad o incluso a su extinción». El anuncio también afirma que, de ser controlable, la superinteligencia podría también «ayudarnos a resolver la mayor parte de los problemas importantes del mundo» [101]. Sam Altman había dicho en 2019 que la superinteligencia podría «quizás capturar el haz de luz de todo el futuro valor del universo» (Loizos, 2019).
Varios líderes TESCREAListas argumentan que la probabilidad de que un «riesgo existencial» suceda —por ejemplo, un evento que destruya nuestras oportunidades de crear la «utopía» posthumana repleta de astronómicas sumas de «valor»— en este siglo es bastante alta, probabilidad que hay quienes estiman en al menos un 16%-20% [102], mientras otros, como Yudkowsky, sostienen que la probabilidad de una fatalidad resultante de la AGI es más o menos cierta si la AGI se crea en un futuro cercano (Yudkowsky, 2023). De acuerdo con algunos líderes del movimiento TESCREAL, estamos moralmente obligados a trabajar en hacer real el mundo tecnoutópico que traerá la AGI y, al mismo tiempo, hacer todo lo posible para prevenir un escenario de extinción que involucre una AGI «mal alineada» (Bostrom, 2014).
En esta sección, esbozamos el impacto tanto de construir una AGI guiada por el objetivo de alcanzar los ideales utópicos de TESCREAL como de destinar recursos para la prevención del hipotético apocalipsis de la AGI sobre el que alertan los TESCREAListas.
Los ideales utópicos TESCREAListas analizados anteriormente son más radicales que las sociedades utópicas concebidas por sus predecesores, los eugenistas de la primera ola. Como expusimos en los apartados 3 y 4, los grupos del paquete TESCREAL no solo se esfuerzan para construir una «estirpe humana superior», esto es, una especie humana «mejorada» que posee cualidades que consideran deseables, como sus definiciones racistas y capacitistas de la «inteligencia» como atributo medible mediante pruebas de CI. Los TESCREAListas aspiran a construir una entidad enteramente nueva considerada superior a cualquier tipo de humano que los eugenistas de la primera ola pudieran idear. Y su búsqueda para crear un ser superior semejante a un dios maquínico ha derivado en los sistemas actuales (reales, no AGI) que no están delimitados y, por lo tanto, son inseguros.
Las organizaciones que tratan de construir AGI han desencadenado una carrera para desarrollar sistemas que son promocionados como capaces de realizar casi cualquier tarea bajo cualquier circunstancia. En sus inicios, empresas como DeepMind y OpenAI enfocaron sus esfuerzos en sistemas basados en el aprendizaje por refuerzo (RL), que creían que era un paso hacia la AGI. (Mnih, et al., 2015) [103]. Aun cuando estos sistemas estaban únicamente entrenados para juegos como Atari, fueron publicitados como «pasitos de bebé» hacia la construcción de un «único conjunto de algoritmos genéricos, semejantes al cerebro humano» (Rowan, 2015). Tras la llegada de los transformadores en 2017 (Vaswani, et al., 2017), aquellos partidarios de la AGI que disponían de más recursos dieron un giro hacia los sistemas basados en grandes modelos de lenguaje (LLM). El vicepresidente de Google, Blaise Agüera y Arcas, y el destacado investigador de IA, Peter Norvig, escribieron: «El desarrollo actual de los grandes modelos de lenguaje de IA avanzados ya ha alcanzado los aspectos más importantes de la AGI» (Agüera y Arcas y Norvig, 2023). Al último modelo multimodal de OpenAI, GPT 4, lo describen como «poseedor de amplios conocimientos generales y de experiencia en el campo», que es «capaz de seguir instrucciones complejas en lenguaje natural y resolver problemas difíciles de manera acertada» [104]. En 2022, Meta publicitó su LLM Galactica como capaz de «resumir artículos académicos, resolver problemas matemáticos, generar artículos de Wiki, escribir código científico, realizar anotaciones de moléculas y proteínas, y más» [105].
A diferencia de los sistemas de «IA estrecha» (IA acotada o delimitada), en los que los TESCREAListas lamentaban que el campo de la IA estuviera focalizado, intentar construir algo semejante a una máquina omnipotente da lugar a sistemas que no están delimitados y, por lo tanto, son intrínsecamente inseguros, ya que no se pueden diseñar pruebas apropiadas para determinar para qué deberían usarse y para qué no. El modelo Galactica de Meta ilustra este problema. ¿Cuáles podrían ser las condiciones de funcionamiento estándar de un sistema promocionado como capaz «de resumir artículos académicos, resolver problemas matemáticos, generar artículos wiki, escribir código científico, realizar anotaciones de moléculas y proteínas, y más?» Es imposible decirlo, puesto que tras observar la cantidad de tareas en las que se ha publicitado que el sistema sobresale, no podemos conocer la totalidad de tareas para las que fue construído ni los tipos de entradas y salidas esperadas, dado que el anuncio finaliza con «y más». En términos generales, la experta en ingeniería de sistemas Heidy Khlaaf escribió: «La falta de un marco de funcionamiento definido para el desarrollo de modelos generales multimodales ha hecho que la evaluación de su seguridad y riesgos sea irrealizable, debido al gran número de aplicaciones y, por lo tanto, de riesgos que suponen» (Khlaaf, 2023). En contraste, las herramientas de «IA estrecha» que, por ejemplo, pueden ser específicamente entrenadas para identificar ciertos tipos de enfermedades en las plantas (por ejemplo, Mwebaze, et al., 2019) o realizar traducciones automáticas en lenguas específicas [106], tienen tareas definidas y entradas y salidas esperadas para las cuales se pueden diseñar pruebas apropiadas, y sus resultados pueden ser comparados con el comportamiento esperado. La demo pública de Galactica fue eliminada de circulación tres dias después de su lanzamiento, después de que la gente produjera «artículos de investigación y entradas de wiki en una amplia variedad de temas, cuyo rango se extendía desde los beneficios del suicidio, comer vidrio molido y el antisemitismo, hasta por qué de los homosexuales son malos» (Greene, 2022).
La carrera hacia la AGI impulsada por la meta TESCREALista de construir «mentes transhumanas» (Goertzel, 2010) y conseguir una «inteligencia ilimitada» también ha dado lugar a sistemas que consumen más y más recursos en términos de datos y energía para sus cómputos. Esto lleva a un gran impacto medioambiental, incrementa los riesgos derivados de la falta de una delimitación apropiada discutida con anterioridad, y resulta en la centralización del poder en un puñado de corporaciones. Pero desde la perspectiva del TESCREALismo, estos daños podrían ser justificables por el potencial utópico de la AGI. Para citar a Bostrom, incluso una «masacre gigantesca para el hombre» podría equivaler a un «pequeño error para la humanidad» siempre que los riesgos en cuestión no comprometan nuestro «vasto y glorioso» futuro entre las estrellas (Bostrom, 2009a; Ord, 2020).
Como fue señalado por Bender y Gebru, et al., (2021), el lanzamiento de la tercera generación de LLM de OpenAI, llamada GPT-3, inició una carrera para construir modelos del lenguaje cada vez más potentes, cuyo tamaño se mide por el número de parámetros del modelo y la cantidad de datos de entrenamiento. Desde entonces, la carrera se ha extendido a sistemas generativos con texto, imágenes, videos, voz y música como inputs y outputs (Fergusson, et al., 2023). Destacados investigadores han alabado estos modelos como acercamientos hacia la inteligencia artificial general, como el director senior de DeepMind, Nando de Freitas, que exclamó: «¡Ahora todo es cuestión de magnitud! ¡El juego ha terminado! Se trata de hacer más grandes estos modelos … resolver estos desafíos de escala es lo que nos permitirá llegar a la AGI» [107].
A diferencia de los pequeños sistemas de «IA estrecha» construidos para tareas específicas y entrenados usando conjuntos de datos seleccionados, los sistemas que se promueven como poseedores de «amplios conocimientos generales y experiencia en el campo» requieren modelos con más de cientos de billones de parámetros y conjuntos de datos de entrenamiento de tamaño superior a cientos de gigabytes [108]. Los alarmantes costos medioambientales de entrenar y ejecutar inferencias en modelos de este tamaño han sido documentados por varios investigadores (Luccioni, et al., 2023). Pero desde la perspectiva de las ideologías TESCREAListas, este costo no debería preocuparnos demasiado, porque la inminente catástrofe climática no plantea un riesgo existencial para la humanidad, mientras que detener el desarrollo de una «AGI alineada con valores» sí podría hacerlo (véanse Torres, 2022, 2021; Ord, 2020). Otros partidarios de la AGI, como Kavukcuoglu de DeepMind, prometen que «los avances en la investigación de AGI impulsarán la capacidad de la sociedad de atajar y manejar el cambio climático»; sin embargo, se ha documentado que la carrera por la AGI está haciendo todo lo contrario [109].
Además de estos costos, el tamaño de los datos de entrenamiento usados en los sistemas promocionados como peldaños hacia la AGI también exacerba los peligros suscitados por la falta de una delimitación apropiada debatida anteriormente, porque es menos probable que los desarrolladores de los modelos realicen la tarea de curar, documentar y comprender sus conjuntos de datos cuando alcanzan tales tamaños (Bender y Gebru, et al., 2021). Por ejemplo, el dataset LAION-5B fue dado de baja en diciembre de 2023 después de haber encontrado material de abuso sexual infantil (CSAM por sus siglas en inglés) en el conjunto de datos (Thiel, 2023; Cole, 2023; Birhane, et al., 2021). Este conjunto había sido usado para entrenar modelos como Stable Diffusion de Stability AI, que tiene millones de usuarios por día (Jiang, et al., 2023).
Como ha sido detallado por numerosos académicos, tanto el impacto ambiental como los resultados peligrosos de estos sistemas recaen de modo desproporcionado sobre grupos marginados, como las minorías étnicas, raciales y de género, personas discapacitadas y ciudadanos de países en desarrollo que sufren la peor parte de la catástrofe climática (Bender y Gebru, et al., 2021). La carrera por la AGI no solamente cronifica estos daños hacia los grupos discriminados, sino que lo hace empobreciendo sus recursos con la finalidad de continuar persiguiendo su objetivo. Recursos que podrían dirigirse a muchos organismos alrededor del mundo para construir sistemas computacionales que sirvan a las necesidades de comunidades específicas, son acaparados por un puñado de corporaciones en su intento por construir la AGI. Por ejemplo, el director de tecnología de Lesan AI, una startup de traducción automática especializada en diversas lenguas etíopes, informó que los posibles inversores desistieron de invertir en su empresa al creer que OpenAI y Meta la habían vuelto obsoleta (Donastorg, 2023; Gebru, 2023), a pesar de la evidencia que demuestra que estos modelos tenían un pobre desempeño en los idiomas en cuestión (Hadgu, et al., 2023).
De este modo, el resultado final de perseguir la AGI ha sido la acumulación de recursos por parte de organizaciones como OpenAI (con una valoración de más de 100.000 millones de dólares) y Anthropic (más de 18.000 millones de dólares), que se posicionan liderando el empeño de «beneficiar a toda la humanidad» (Tan, et al., 2023; Field, 2023) [110], y una considerable disminución de recursos para las muchas organizaciones que, alrededor del mundo, trabajan en herramientas que sirven a las necesidades de comunidades específicas. Realmente, algunos líderes TESREAListas han sugerido que la AGI debería ser desarrollada por «alguna pequeña élite vanguardista de superprogramadores y supercientíficos de élite» (Goertzel, 2015), una actitud que es un reflejo de aquella de los eugenistas de la primera ola que empleaban las pruebas de CI para determinar quién era «apto» para dirigir la sociedad. En vez de tener a multitud de humanos a lo ancho del planeta trabajando en la construcción de herramientas que sirvan a sus propias necesidades, la utopía TESCREALista implica desviar esos recursos para crear su visión singular de un ser superior con características determinadas y controladas por ellos.
La apariencia de construir un ser complejo y omnisciente, tal como lo imaginan los TESCREAListas, ha dado a las organizaciones la cobertura idónea para evadir la rendición de cuentas por la explotación laboral y las prácticas fraudulentas que, en realidad, son el combustible de los sistemas que promocionan como peldaños hacia la construcción de la AGI. Las organizaciones que trabajan con este propósito dependen de la labor de millones de trabajadores explotados en todo el mundo (Gray y Suri, 2019; Williams, et al., 2022) que etiquetan los datos para entrenar, evaluar y moderar sus sistemas. Por ejemplo, en 2023, la revista Time reportó que trabajadores kenianos, con un salario de 1 dólar y 32 centavos por hora, fueron contratados para etiquetar contenido tóxico como «descripciones textuales de abuso sexual, discursos de odio y violencia» para ayudar a OpenAI a desarrollar filtros automatizados que eviten que el público vea estos resultados (Perrigo, 2023). Los trabajadores también tuvieron que etiquetar imágenes, incluídas aquellas que contenían «bestialidad, violación y esclavitud sexual». En el proceso, informaron que estaban «mentalmente traumatizados por el trabajo», al tener que vivir una realidad opuesta a la utopía presentada por la AGI, donde «la gente será libre para pasar más tiempo con las personas que les importan» [111]. Como Williams, y otros (2022) escribieron, mientras las corporaciones como OpenAI, con sede en Silicon Valley, reciben billones de dólares en inversiones y sus ejecutivos e investigadores de IA cobran salarios de entre seis y siete dígitos, esta remuneración no es la que perciben los trabajadores esenciales de bajos ingresos distribuídos a lo largo del mundo que se dedican a mitigar los daños de estos sistemas a costa de su propia salud mental.
Antropomorfizar los sistemas construidos por organizaciones que apuntan a conseguir la AGI, llamándolos «máquinas pensantes» o «conscientes» confunde e invisibiliza la gran cantidad de humanos explotados que están involucrados en el entrenamiento y la evaluación de estos sistemas, así como oculta los recursos que se consumen en el proceso. Garantizar la seguridad de los sistemas requiere un ecosistema de agencias, legisladores y grupos internos que analicen las prácticas organizativas, auditen los procesos mediante los cuales se construyen e implementan los productos, y hagan que las organizaciones sean responsables en caso de violaciones de seguridad (Raji, et al., 2020). Cuando las organizaciones anuncian sus sistemas como un paso hacia la AGI, o cuando los investigadores preguntan si las máquinas pueden aprender «ética» y si son capaces de «entendernos» (Agüera y Arcas, 2022; Jiang, et al., 2022), desvían la atención de la responsabilidad que tienen las organizaciones de crear productos con ciertos requerimientos, o de proteger el bienestar de los trabajadores involucrados en el proceso, hacia debates sobre los sistemas de IA, como si éstos existieran por sus propios medios (Tucker, 2022). Esto es particularmente dañino porque atribuir esta capacidad a los sistemas de IA también engaña al público acerca de las capacidades reales de estos sistemas, lo que puede derivar en resultados erróneos o incluso peligrosos, al tiempo que permite a las organizaciones que construyen estos productos y fomentan estos usos a evadir la responsabilidad (Gebru y Mitchell, 2022).
Por ejemplo, los líderes de OpenAI han descrito su tecnología como «ligeramente consciente» [112], y predicen que «en los próximos cinco años, los programas de computadora que puedan pensar leerán documentos legales y brindarán consultoría médica» [113]. Venkatasubramanian analizó la antropomorfización en el diseño de ChatGPT en su entrevista con VentureBeat, mencionando: «… Google Bard no hace esto. Google Bard es un sistema para hacer preguntas y obtener respuestas. ChatGPT pone tres pequeños puntos (como si) estuviera “pensando”, igual que ocurre en un mensaje de texto. ChatGPT coloca las palabras una a una como si estuviera escribiendo. El sistema está diseñado para que parezca que hay una persona al otro lado. Eso es engañoso» (Goldman, 2023). A pesar de la publicidad de ChatGPT y sistemas análogos como máquinas omniscientes, no deberían ser usados para propósitos de investigación por muchas razones, una de ellas es que pueden falsificar totalmente la información mientras se la presentan a los usuarios como una narrativa que suena confiable (Bender y Gebru, et al., 2021; Shah y Bender, 2022), lo que resulta en lo que Bender ha denominado el equivalente a un derrame de petróleo en el ecosistema de información (Shah y Bender, 2024) [114].
No obstante, debido a las pretensiones de quienes desarrollan estos sistemas y a las elecciones de diseño que los antropomorfizan, las organizaciones han usado una tecnología como ChatGPT en situaciones de alto riesgo, como ofrecer asesoramiento sobre salud mental sin informar a las personas que estaban interactuando con un chatbot (Biron, 2023), y afirmando poder reemplazar a los abogados por chatbots ajustados con ChatGPT (Cerullo, 2023). En un trágico suceso, un hombre se suicidó en Bélgica, después de que un texto escrito por un chatbot basado en LLM lo animara a hacerlo (Xiang, 2023). Sin embargo, el antiguo director científico de OpenAI tuiteó recientemente que «en el futuro, una vez que la solidez de nuestros modelos supere cierto umbral, tendremos “una tremendamente eficaz” y baratísima psicoterapia mediante IA» [115]. Recientemente, un juez penalizó a dos abogados estadounidenses que usaron ChatGPT para generar causas judiciales fraudulentas en sus demandas (Milmo y Agency, 2023). Mientras los términos de uso de OpenAI simplemente delegan toda la responsabilidad de respetar la ley en el usuario, evadiendo de esta manera toda rendición de cuentas, sus líderes simultáneamente fomentan usos altamente arriesgados de sus productos al asociar sus modelos con la AGI e insinuar que tales capacidades son inminentes.
Una dinámica similar puede observarse en modelos de texto a imagen como Stable Diffusion de Stability AI y Dall-E de OpenAI, que algunos periodistas han descrito como «inspirados» por artistas, de modo análogo a como los artistas se inspiran en otros artistas [116]. Jiang, y otros (2023) describieron las consecuencias de este tipo de antropomorfización al señalar que «devalúa el trabajo de los artistas, robando su crédito y compensación» por los datos tomados de ellos para entrenar dichos modelos, «y atribuye la responsabilidad a los generadores de imágenes en vez de responsabilizar a las empresas que los crean». En palabras de la artista Karla Ortiz: «Las compañías de IA reivindican haber llevado el arte a las masas, pero … solo les han proporcionado el robo y el plagio a las masas» [117]. Sosteniendo que los modelos generados por las corporaciones para obtener ganancias tienen cualidades humanas, usando una gran cantidad de obras de artistas sin obtener su consentimiento ni compensarles, desvían nuestra atención de la investigación de los procesos mediante los cuales las empresas crean estos productos, los perjuicios que sus prácticas ocasionan a los artistas y los mecanismos que se requieren para hacer responsables a estas corporaciones.
Otra forma por la cual quienes tratan de construir la AGI han evadido la responsabilidad es presentando la carrera por la AGI como algo fundamental para la humanidad a pesar de los daños causados por la misma, tal como se describió anteriormente. Del mismo modo que sus predecesores, los eugenistas de la primera ola que creían que «mejorar el linaje humano» era la única manera de salvaguardar «la civilización humana», los líderes TESCREAListas argumentan que desarrollar una AGI alineada es una manera de poner a salvo la civilización, y por eso, constituye la tarea más importante para la humanidad en este siglo (Ord, 2020). Como remarca Yudkowsky, «la nuestra es la era de la búsqueda de una teoría para alinear una IA inadecuada. Cualquier otra cuestión en relación a esta época es relativamente poco importante» [118].
Presentar la agenda de la AGI como un problema de seguridad permite a las compañías que trabajan en ella describirse como organizaciones de «seguridad de la IA» que salvaguardan el futuro de la humanidad, a la vez que crean productos peligrosos, centralizan el poder y evaden toda responsabilidad como se señaló anteriormente. De acuerdo con algunos líderes TESCREAListas, los peligros detallados podrían ser clasificados como nada más que «meras ondas en la superficie del gran mar de la vida», tal como Nick Bostrom (2009b) describió los peores desastres y atrocidades del siglo XX. Para ellos, el «riesgo» más apremiante surge de la posibilidad de no realizar jamás los ideales eugenésicos prometidos a través de la creación de una «AGI transhumana» (Goertzel, 2010) que es de una magnitud mucho «más inteligente» y «moralmente superior» (Fitzgerald, et al., 2020) que los seres humanos. Los analistas TESCREAListas, Greaves y MacAskill (2019) escriben que «para evaluar las acciones, a menudo podemos, en primera instancia, simplemente ignorar todas las consecuencias que se den en los primeros 100 (o incluso 1.000) años, focalizándonos principalmente en otros impactos futuros. Las repercusiones a corto plazo actúan poco más que como una cuestión secundaria».
Los líderes TESCREAListas han declarado que la AGI es inevitable —alguien va a construirla— [119]. Si fuera construida por quienes no están «alineados con valores», y de acuerdo con ellos China entraría dentro de esta categoría, sería un riesgo de seguridad nacional para los países occidentales de donde provienen los cabecillas TESCREAListas, o peor todavía, podría conducir a la extinción de toda la humanidad (Davis, 2023). Por consiguiente, las naciones occidentales deberían dar prioridad al desarrollo de una AGI «alineada con los valores», ya que ellas son las únicas que pueden hacerlo en beneficio de «toda la humanidad» (Davis, 2023). Aprovechando la retórica de la Guerra Fría y presentando la necesidad de construir una AGI como una preocupación de seguridad, los TESCREAListas han comenzado a direccionar a los políticos occidentales y a las organizaciones multilaterales globales a legitimar, priorizar e invertir en su agenda de AGI. Weiss-Blatt ha detallado la influencia mediática y la cantidad de campañas realizadas por los grupos de presión de las organizaciones TESCREAListas para asegurarse que el hipotético apocalipsis de la AGI sea priorizado por los dirigentes políticos de todo el mundo [120].
Esta legitimación ha tenido impactos concretos en las políticas, con legisladores que podrían no querer promover los ideales TESCREAListas, a pesar de estar fuertemente influidos por ellos. Una investigación de Político describió cómo esta influencia está dirigiendo políticas en EE. UU. y el Reino Unido hacia la prevención de una extinción humana hipotética causada por máquinas superinteligentes que no existen (Bordelon, 2023; Clarke, 2023). Mientras tanto, corporaciones como OpenAI eluden el escrutinio presentando sus productos como demasiado poderosos para ser comprendidos y regulados, mientras explotan la mano de obra y se lucran con los datos de las personas sin consentimiento ni compensación, tal como se señaló anteriormente. En mayo de 2023, Sam Altman testificó ante el Senado de EE. UU. pidiendo una regulación de la IA, y menos de una semana después advirtió en una entrada de blog que se requiere una agencia semejante al Organismo Internacional de Energía Atómica (OIEA) para regular la «superinteligencia», puesto que «será más poderosa que otras tecnologías con las que la humanidad ha lidiado en el pasado» [121]. Los medios le describieron poco después como un «Oppenheimer de nuestro tiempo», advirtiendo acerca de su propia y poderosa creación (Weil, 2023). No obstante, al mismo tiempo que advertía al público sobre los peligros de las máquinas superinteligentes que no existen y que necesitan ser reguladas de alguna manera, OpenAI estaba amenazando con abandonar la Unión Europea, afirmando que, en ese momento, el borrador de la Ley de IA de la UE estaba «sobrerregulando» su actividad (Reuters, 2023a).
De este modo, los TESCREAListas han logrado desviar recursos hacia el desarrollo de la AGI y detener su versión apocalíptica en un futuro lejano, mientras disuaden al público de investigar los perjuicios reales causados por sus intentos de desarrollar esa tecnología. Otro ejemplo es el de Max Tegmark, cofundador del Future of Life Institute junto con Jaan Tallinn, que en 2017 impartió una charla en la conferencia de Altruismo Efectivo (EA Global) en la cual argumentó que «si no mejoramos nuestra tecnología, estamos condenados … pero con ella, la vida florecerá por miles de millones de años» [122]. Pero en 2023, el Future of Life Institute hizo circular una petición ampliamente publicitada, firmada por Tegmark y muchos de los responsables de la carrera de la AGI, como Musk y Altman, para «pausar los enormes experimentos de la IA» y detener «mentes no humanas que podrían eventualmente superarnos en número e inteligencia, volvernos obsoletos y reemplazarnos» [123]. En una aparición en Democracy Now!, cuando se le preguntó acerca de los peligros actuales como la vigilancia biométrica de la cual habían alertado investigadores y activistas como Tawnana Petty, Tegmark sostuvo: «La extinción no es algo que esté en un futuro muy distante … Y una vez que todos estemos extintos, sabes, todos estos asuntos igualmente habrán perdido importancia» (Bengio, et al., 2023). De manera análoga, cuando Geoffrey Hinton, que también firmó la petición, fue consultado por la revista Rolling Stone sobre las cuestiones planteadas por Timnit Gebru, quien fue despedida de Google tras escribir un artículo sobre los peligros de los LLM, respondió: «Creo que la posibilidad de que la inteligencia digital devenga mucho más inteligente que los humanos y nos reemplace como máxima inteligencia es una amenaza más seria aún para la humanidad que el sesgo y la discriminación» (O’Neil, 2023).
Al mismo tiempo que hacen sonar la alarma acerca de esos escenarios hipotéticos de carácter apocalíptico, los TESCREAListas crean organizaciones para perseguir la construcción de la IA general que ellos mismos advierten nos llevará a la extinción, pero ellos la llevarán a cabo de una manera «segura» y «beneficiosa», como han señalado compañías como OpenAI, DeepMind, Anthropic y xAI de Musk. Tres meses después de firmar la carta a favor de una «Pausa de la IA», Elon Musk anunció su nueva organización de IA encaminada a desarrollar una IA general con una «curiosidad máxima» (Reuters, 2023b). A él se unió, como asesor, Dan Hendrycks, fundador del Centro de Seguridad de la IA, un instituto TESCREALista que hizo circular un comunicado de 22 palabras similar a la «carta por la pausa», advirtiendo acerca de los riesgos existenciales de la IA [124]. De esta forma, los TESCREAListas usan el discurso de la «seguridad» para, en primer lugar, dirigir recursos hacia la meta de construir la AGI, que a su vez causa perjuicios a grupos marginados y, en segundo lugar, usan el lenguaje de la «seguridad» para disuadir investigaciones sobre esos mismos daños y, una vez más, desviar recursos para prevenir el hipotético apocalipsis de la AGI.
Mientras quienes trabajan en la construcción de la AGI describen su trabajo como un esfuerzo científico y de ingeniería, nosotros aducimos que intentar desarrollar la AGI no sigue principios científicos ni de ingeniería. El método científico a menudo involucra postular hipótesis específicas y probarlas con experimentación exhaustiva (Hepburn y Andersen, 2021). La ingeniería nos exige proveer especificaciones acerca de la conducta esperada, tolerancia y protocolos de seguridad para las herramientas que construimos (Khlaaf, 2023; Kossiakoff, et al., 2020). Los ingenieros a menudo modelan versiones idealizadas de sus sistemas, así como otras de carácter no ideal, y sus impactos en la funcionalidad del sistema (Khlaaf, 2023; Kossiakoff, et al., 2020; Tripathy y Naik, 2011). Luego ejecutan pruebas para comprender el patrón de los sistemas construidos bajo diversas circunstancias: tanto las que constituyen condiciones de operación estándar, como las que se alejan de la norma (Kossiakoff, et al., 2020).
Como ejemplo, uno de nosotros trabajó como ingeniero de hardware diseñando circuitos de audio para dispositivos como laptops. Algunas de las pruebas que realizábamos como parte de nuestra labor incluían drop testing (pruebas de caída), que consistían en dejar caer constantemente los dispositivos para comprender de qué forma su funcionalidad se degrada cuando son expuestos a impactos [125], en ubicarlos en entornos extremadamente fríos o cálidos (Comisión Electrotécnica Internacional, 2020), en reiniciarlos frecuentemente [126], y en realizar diferentes tipos de pruebas para comprender la conducta de estos sistemas bajo condiciones en las que se supone que no están diseñados para funcionar. Estas pruebas se realizaron de forma adicional a la evaluación extensiva y de documentación que tiene lugar bajo las condiciones en que los artefactos sí están diseñados para funcionar. Los ingenieros debían asegurar el cumplimiento de diversas leyes como la Directiva sobre restricción de sustancias peligrosas de la Unión Europea, la cual exige que los componentes eléctricos y electrónicos estén libres de materiales peligrosos como el plomo (Unión Europea, 2011).
¿Cuáles serían las condiciones operativas estándar para un sistema promocionado como «un algoritmo universal que aprende y actúa en cualquier entorno»? [127] ¿Cómo podrían los experimentos diseñados para probar la funcionalidad de un sistema de esa índole tener validez de construcción: la capacidad de un experimento para reflejar fielmente el rendimiento esperado de un sistema en el mundo real? (O’Leary-Kelly y Vokurka, 1998). Declaramos que estas no son preguntas que puedan ser respondidas en el caso de un sistema como la AGI, que no está bien definido, pero tiene como propósito realizar una infinita cantidad de tareas bajo otra infinita variedad de condiciones. De ahí que, mientras los TESCREAListas como Goertzel lamentaron que se pusiera el foco en la «inteligencia artificial estrecha», descrita como «colecciones de especialistas tontos en pequeños dominios» ante el resurgimiento actual del entusiasmo por la AGI [128], nosotros sostenemos que los primeros pasos para hacer seguro cualquier sistema de IA consisten en intentar diseñar sistemas bien delimitados y definidos como los que se han descrito como «inteligencia artificial estrecha», antes que una máquina que supuestamente sea capaz de realizar cualquier tarea bajo cualquier circunstancia.
La carrera hacia la inteligencia artificial general no es una marcha inevitable e imparable hacia el progreso tecnológico, basada en minuciosos principios científicos y de ingeniería (van Rooij, et al., 2023). Es un movimiento creado por adeptos del conjunto TESCREALista buscando «salvaguardar a la humanidad» (Ord, 2020) a través de, como Altman ha expresado, la construcción de «una inteligencia mágica en el cielo» (Germain, 2023), de modo similar a sus predecesores de la primera ola eugenista que pensaban que podían «perfeccionar» el «género humano» mediante la crianza selectiva (véase Bloomfield, 1949). A través de campañas organizadas para influir en la investigación y en las prácticas políticas sobre IA, financiadas por billones de dólares, los TESCREAListas han dirigido el campo hacia la priorización de desarrollos de sistemas no delimitados que son inherentemente inseguros, que han ocasionado daños documentados hacia grupos marginados. Como informó Nitasha Tiku (2023), Open Philanthropy sola ha gastado más de 500 millones de dólares en iniciativas relacionadas con la AGI. Lo han hecho mediante:
el desarrollo de una cadena de talento para combatir la IA fraudulenta, construyendo un andamiaje de centros de estudio, canales de Youtube, concursos con premios, subvenciones, financiamiento para investigación y subsidios —así como una nueva beca que puede pagar a los líderes estudiantiles alrededor de 80.000 dólares anuales—, más decenas de miles de dólares en gastos.
Esta inversión ha sido exitosa legitimando la carrera por la inteligencia artificial general de tal manera que muchos estudiantes y profesionales que podrían no estar alineados con los ideales utópicos TESCREAListas están trabajando para el avance de la agenda de la AGI porque la presentan como una evolución natural en el campo de la inteligencia artificial. Del mismo modo que los eugenistas de la primera ola y los científicos de la raza buscaron y lograron legitimidad académica para su investigación (Saini, 2019), los TESCREAListas han creado un revestimiento de autoridad científica que hace sus ideas más apetecibles para audiencias acríticas, y de esta manera han logrado influenciar la investigación y las directrices políticas en el campo de la IA. Los eugenistas de la primera ola demostraron ser ineficaces y catastróficos. Pero como Jean Gayon y Daniel Jacobi indican con la expresión «eterno retorno de la eugenesia», los ideales eugenésicos continúan siendo reacondicionados de diferentes formas [129]. La carrera por la AGI es un intento más de desviar recursos y atención de direcciones de investigación potencialmente útiles y causar daño en el proceso de procurar alcanzar un ideal tecnoutópico creado por autoproclamadas «vanguardias» de la humanidad.
En este informe, nos hemos preguntado: ¿qué motiva a quienes aspiran a desarrollar la inteligencia artificial general —un sistema que, aun cuando no tiene una definición entre quienes afirman estar construyéndolo—, parece ser una máquina sabelotodo semejante a un «dios»? La respuesta es que el impulso actual por la AGI proviene de un conjunto de ideologías que hemos denominado como la «segunda ola» de la eugenesia. Los líderes del movimiento por la AGI suscriben a este conjunto de ideologías, el cual emergió directamente del movimiento eugenista moderno y, por lo tanto, heredó ideales análogos. Rastreamos la influencia de este conglomerado ideológico a través del movimiento por la AGI, y demostramos la manera en la que sus nocivos ideales han dado lugar a sistemas que perpetúan la desigualdad, centralizan el poder, y dañan a los mismos grupos que fueron blanco del movimiento eugenista de la primera ola. Aducimos que el intento de construir algo semejante a una divinidad es una práctica inherentemente peligrosa, e instamos a los investigadores y profesionales a abandonar la persistencia en esta meta en lugar de dedicarse a construir sistemas delimitados y bien definidos que prioricen la seguridad de las personas. 
Timnit Gebru es fundadora y directora ejecutiva del Distributed Artificial Intelligence Research Institute (DAIR). Sus intereses de investigación tienen como foco abordar la manera en que los sistemas de inteligencia artificial dañan a grupos marginados, así como la preocupación por el diseño de sistemas de IA con arraigo comunitario.
Correo electrónico: timnit@dair-institute.org
Émile P. Torres es investigador postdoctoral en el Inamori International Center for Ethics and Excellence de la Universidad Case Western Reserve. Su investigación se centra en la ética de la IA y en la historia del pensamiento acerca de la temática de la extinción humana en la tradición occidental.
Correo electrónico: philosophytorres@gmail.com
Agradecemos a Alexander Thomas, Beth Singler, Douglas Rushkoff, Emily M. Bender, Jacob Metclaf, Jenna Burrell, Katherine Heller, Keira Havens, Remmelt Ellen, Samy Bengio, Syed Mustafa Ali, Nicholas Rodelo y a los evaluadores anónimos de First Monday y FaccT por revisar los borradores de este trabajo y ofrecernos un minucioso feedback que nos permitió robustecerlo.
[1] “OpenAI charter,” at https://openai.com/charter, accessed 30 January 2024.
[2] Pennachin and Goertzel, 2007a, p. 1.
[3] “What is AGI?” at https://medium.com/intuitionmachine/what-is- agi-99cdb671c88e, accessed 30 January 2024.
[4] Russell and Norvig, 2010, p. 27.
[5] Markoff, 2005; Russell and Norvig, 2010, pp. 16–28.
[6] Russell and Norvig, 2010, pp. 16–28; Pennachin and Goertzel, 2007a.
[7] Note that we have capitalized some of the TESCREAL ideologies but not others. We are following what members of these ideologies themselves capitalize: Extropians, Rationalists, and Effective Altruists prefer to capitalize these terms, whereas transhumanists, singularitarians, cosmists, and longtermists do not.
[8] Goertzel, 2010, p. 231.
[9] Sam Altman blog, “Planning for AGI and beyond ” (23 February), at https://openai.com/blog/planning-for-agi-and-beyond, accessed 30 January 2024.
[10] Preface, in Pennachin and Goertzel (2007b).
[11] Note that our discussion of eugenics is incomplete, due largely to space limitations. In what follows, we focus on providing a brief background to situate the emergence of the TESCREAL bundle of ideologies.
[12] Gaca, 2003, p. 52.
[13] Galton, 1998, p. 265.
[14] Fogarty and Osborne, 2010, p. 334.
[15] Galton in Zuberi, 2001, p. 43.
[16] For an insightful discussion of the history of eugenics in California, see Harris (2023).
[17] Bashford and Levine, 2010, p. 13.
[18] See Harris (2023) for further discussion.
[19] History page of the Adelphi Genetic Forum, retrieved on January 31, 2024 from https://adelphigenetics.org/history/. They also write that “despite our organisation’s former name, the Adelphi Genetics Forum rejects outright the theoretical basis and practice of coercive eugenics, which it regards as having no place in modern life.”
[20] Quine, 2010, p. 392.
[21] Alternatively, such technologies, according to these eugenicists, could potentially enable individuals to radically modify themselves within a single generation (see Bostrom, 2013).
[22] See section 5 of Bostrom (2005c).
[23] “Transhumanism. What it is. What it is not,” at https://www.youtube.com/watch?v=sdjMoykqxys&t=425s, accessed 31 January 2024.
[24] See “Eliezer Yudkowsky,” at https://extropians.weidai.com/extropians.96/author.html#441, accessed 31 January 2024.
[25] “Welcome to LessWrong!” (14 June 2019), at https://www.lesswrong.com/posts/bJ2haLkcGeLtTWaD5/welcome-to-lesswrong, accessed 31 January 2024.
[26] “Top Contributors,” Machine Intelligence Research Institute, at https://intelligence.org/topcontributors/, accessed 30 January 2024.
[27] “Top Contributors,” Machine Intelligence Research Institute, at https://intelligence.org/topcontributors/, accessed 30 January 2024. See also ‘Peter Thiel’s keynote — Effective Altruism Summit 2013,” at https://www.youtube.com/watch?v=h8KkXcBwHec&t=818s&ab_channel=nnevvinn, accessed 2 February 2024; and Bohan (2022), pp. 44–53.
[28] “Rationalist Movement,” at https://www.lesswrong.com/tag/rationalist-movement, accessed 31 January 2024.
[29] “Top Contributors,” Machine Intelligence Research Institute, at https://intelligence.org/topcontributors/, accessed 30 January 2024.
[30] “Donation Advice,” EA Funds, at https://funds.effectivealtruism.org/donation-advice, accessed 17 January 2024.
[31] “Research staff,” Future of Humanity Institute, at https://web.archive.org/web/20070209123709/http://www.fhi.ox.ac.uk:80/staff.html, accessed 15 January 2024.
[32] “Dustin Moskovitz,” Effective Altruism Forum, at https://forum.effectivealtruism.org/topics/dustin-moskovitz, accessed 31 January 2024.
[33] “Sam Bankman-Fried,” Effective Altruism Forum, at https://forum.effectivealtruism.org/topics/sam-bankman-fried#:~:text=Before%20the%20FTX%20collapse%2C%20Bankman,his%20wealth%20to%20lo ngtermist%20causes, accessed 31 January 2024.
[34] Huxley, 1957, p. 17.
[35] “The extropian principles,” at https://www.mrob.com/pub/religion/extro_prin.html, accessed 31 January 2024.
[36] Bostrom, 2005a, p. 12.
[37] “Re: SOCIETY: The Quiet Revolution.” at https://extropians.weidai.com/extropians.96/4858.html, accessed 31 January 2024.
[38] See “Neologisms of Extropy,” at https://web.archive.org/web/20060220131448/https://www.extropy.org/neologo.htm, accessed 1 February 2024; and “The Singularitarian Principles,” at https://web.archive.org/web/20120403111339/http://yudkowsky.net/obsolete/principles.html, accessed 31 January 2024.
[39] “LessWrong comment,” at https://www.lesswrong.com/posts/aFtWRL3QihoF5uQd5/guardians-of-the-gene- pool?commentId=BzFBAQhRRyMCk7Wny, accessed 31 January 2024; and “Neologisms of Extropy,” at https://web.archive.org/web/20060220131448/https://www.extropy.org/neologo.htm, accessed 1 February 2024.
[40] “About SingularityNET,” at https://singularitynet.io/aboutus/, accessed 14 January 2024.
[41] Goertzel, 2010, p. 10.
[42] Historically, “cosmism” can be traced back to the latter nineteenth century work of Nikolai Fyodorov, which was later developed by Russian scientists like Konstantin Tsiolkovsky and Vladimir Vernadsky (Young, 2012). Russian cosmism can be seen as a precursor to modern transhumanism, although the particular version that we are interested in specifically arises from the work of Goertzel, which is distinct from the “cosmism” of earlier Russian theorists.
[43] “Welcome to LessWrong!” at https://www.lesswrong.com/posts/bJ2haLkcGeLtTWaD5/welcome-to-lesswrong, accessed 31 January 2024.
[44] “Singularity,” at https://www.lesswrong.com/tag/singularity, accessed 31 January 2024; See also “Transhumanism as Simplified Humanism,” at https://www.lesswrong.com/posts/Aud7CL7uhz55KL8jG/transhumanism-as-simplified-humanism, accessed 31 January 2024.
[45] Centre of Effective Altruism website, at https://www.centreforeffectivealtruism.org/, accessed 30 January 2024.
[46] Beckstead, 2013, p. ii.
[47] It is unclear to us what methodology Bostrom used to arrive at such astronomical numbers. Nonetheless, he writes that what matters for longtermism “is not the exact numbers but the fact that they are huge” (Bostrom, 2003; for criticism of such calculations, see Torres, 2024).
[48] For example, a 2019 survey of the EA community found that “a clear majority of EAs (80.7 percent) identified with consequentialism, especially utilitarian consequentialism” (“EA Survey 2019: Community Demographics & Characteristics,” at https://rethinkpriorities.org/publications/eas2019-community-demographics-characteristics, accessed 31 January 2024). The central thrust of Bostrom’s (2003) influential paper comes from totalist utilitarianism, and this paper is considered to be one of the founding documents of longtermism (see, e.g., footnote 27 of chapter 2 in Ord, 2020; Greaves and MacAskill, 2019, p. 3). Finally, in a keynote address at the Effective Altruism Global 2016 conference, Ord explicitly argued that “core ideas such as the Scientific Revolution, the Enlightenment and Utilitarianism have greatly contributed to the upbringing of effective altruism” (at https://www.youtube.com/watch?v=VH2LhSod1M4&ab_channel=CentreforEffectiveAltruism, accessed 31 January 2024).
[49] Note that EA also has roots going back to the “global ethics” of the utilitarian Peter Singer, who also advocated for infanticide of disabled children, writing “we think that some infants with severe disabilities should be killed” (quoted in Ekland-Olson, 2011, p. 204). However, the EA movement was cofounded circa 2009 by Toby Ord, who coauthored an article with Bostrom three years earlier that essentially defended the transhumanist position on human enhancement (Bostrom and Ord, 2006). Ord was, furthermore, a Research Associate at Bostrom’s Future of Humanity Institute (FHI) as early as 2007, and over the past several years, the EA movement as a whole has been shifting toward longtermist considerations (Matthews, 2022), some of which are more or less overtly transhumanist (see, e.g., Ord’s (2020) discussion of “our potential” in the section titled “Quality” of The Precipice).
[50] Sam Altman’s Twitter post (14 August 2022), at https://twitter.com/sama/status/1559011065899282432?lang=en, accessed 31 January 2024.
[51] Elon Musk’s Twitter post (2 August 2022), at https://twitter.com/elonmusk/status/1554335028313718784, accessed 30 January 2024.
[52] Elon Musk’s Twitter post (2 May 2023), at https://twitter.com/elonmusk/status/1653421967570096128, accessed 30 January 2024. Many accounts of Musk’s worldview are consistent with our claim that Musk is a TESCREAList. For example, Ashlee Vance wrote that Musk is ”a card-carrying member of Silicon Valley’s techno-utopian club,” which anticipates that “one day, soon enough, we’ll be able to download our brains to a computer, relax, and let their algorithms take care of everything. … More disconcerting is their underlying message that humans are flawed and our humanity is an annoying burden that needs to be dealt with in due course.” Vance added that Musk’s “highfalutin talk often sounded straight out of the techno-utopian playbook” (Vance, 2016). Note also that our notion of TESCREALism is very close to what Douglas Rushkoff (2022) calls “The Mindset.”
[53] Quoted in Parrinder, 1997, p. 2. See also Francis Galton, 2001. “The Eugenic College of Kantsaywhere,” Critical edition, transcribed and edited by Lyman Tower Sargent, Utopian Studies, volume 12, number 2, pp. 191–209.
[54] Kurzweil, 1999, p. 141.
[55] See “Why AI will save the world” (6 June 2023), at https://a16z.com/ai-will-save-the-world/, accessed 31 January 2024; “Planning for AGI and beyond” (24 February 2023), at https://openai.com/blog/planning-for-agi-and-beyond, accessed 31 January 2024; and “Let’s think about slowing down AI” (22 December 2022), at https://worldspiritsockpuppet.substack.com/p/lets-think-about-slowing-down-ai, accessed 31 January 2024.
[56] “Apology for an Old Email,” at https://nickbostrom.com/oldemail.pdf, accessed 31 January 2024.
[57] “Re: Profiting on tragedy? (was Humour),” at https://diyhpl.us/~bryan/irc/extropians/extracted-extropians-archive/archive/9612/4881.html, accessed 31 January 2024.
[58] “Adamantly preventing tradgedy? (was Humour),” at https://extropians.weidai.com/extropians.96/4759.html, accessed 31 January 2024.
[59] Eliezer Yudkowsky Twitter post, archived on 13 February 2023, at https://web.archive.org/web/20230213224423/https://twitter.com/esyudkowsky/status/1131208777032560640, accessed 1 February 2024.
[60] Bio in Marc Andreessen’s Twitter biography, archived on 23 May 2023, at https://web.archive.org/web/20230523005947/https://twitter.com/pmarca, accessed 31 January 2024.
[61] “How dependent is the effective altruism movement on Dustin Moskovitz and Cari Tuna?” (21 September 2020), at https://forum.effectivealtruism.org/posts/4BJSXH9ho4eYNT73P/how-dependent-is-the- effective-altruism-movement-on-dustin, accessed 31 January 2024.
[62] Marc Andreessen, “The techno-optimist manifesto” (16 October 2023), at https://a16z.com/the-techno-optimist-manifesto/, accessed 31 January 2024.
[63] See Marc Andreessen’s Twitter handle, at https://twitter.com/pmarca, accessed 31 January 2024.
[64] See Garry Tan’s Twitter biography, at https://twitter.com/garrytan, accessed 30 January 2024.
[65] McCarthy, et al., 1955; Russell and Norvig, 2010, pp. 16–28.
[66] Markoff, 2005; Russell and Norvig, 2010, pp. 16–28.
[67] Preface, in Pennachin and Goertzel (2007b).
[68] Voss, 2007, p. 153.
[69] Blog post by Ben Goertzel: “Who coined the term ‘AGI’?” (28 August 2011), at https://goertzel.org/who-coined-the-term-agi/, accessed 31 January 2024.
[70] Preface, in Pennachin and Goertzel (2007b).
[71] “AGI Researchers Stop Quoting White Supremacists Challenge (Impossible),” Medium (22 September 2023), at https://medium.com/@collegehill/agi-researchers-stop-quoting-white-supremacists-challenge-impossible-d1002469d572, accessed 31 January 2024.
[72] Gottfredson, 1997, p. 91.
[73] Southern Poverty Law Center on Linda Gottfredson, at https://www.splcenter.org/fighting-hate/extremist-files/individual/linda-gottfredson, accessed 31 January 2024.
[74] Keira Haven’s Twitter post (22 September 2023), at https://twitter.com/Keira_Havens/status/1705404087276372121, accessed 30 January 2024.
[75] Archived Web page of Artificial General Intelligence Research Institute, at https://web.archive.org/web/20080512012745/http://www.agiri.org/wiki/Main_Page, accessed 31 January 2024.
[76] This was written by Bruce Klein on OpenCog (https://wiki.opencog.org/wikihome/index.php?title=Artificial_General_Intelligence&oldid=1297, accessed 31 January 2024). Klein lists a novamente.net e-mail address (https://wiki.opencog.org/w/User:Bruceklein, accessed 31 January 2024). Novamente is an AI company founded by Goertzel (https://www.crunchbase.com/organization/novamente-llc, accessed 31 January 2024).
[77] “Top Contributors,” Machine Intelligence Research Institute, at https://intelligence.org/topcontributors/, accessed 30 January 2024.
[78] “About MIRI,” at https://intelligence.org/about/, accessed 30 January 2024. Note that the Singularity Institute’s original mission was explicitly accelerationist: “to accelerate toward artificial intelligence” (Torres, 2023c).
[79] DeepMind AGI, DeepMind’s website before merging with Google Brain in 2023 (see announcement from Google CEO (20 April 2023) at https://blog.google/technology/ai/april-ai-update/, accessed 31 January 2024), from http://deepmindagi.com/.
[80] Video of Future of Life Institute panel on “Superintelligence: Science or fiction?” at https://www.youtube.com/watch?v=h0962biiZa4, accessed 31 January 2024.
[81] “Measuring machine intelligence — Shane Legg, Singularity Summit 2010,” at https://www.youtube.com/watch?v=0ghzG14dT-w, accessed 31 January 2024.
[82] “Singularity Summit: An Annual Conference on Science, Technology, and the Future,” at https://intelligence.org/singularitysummit/, accessed 31 January 2024.
[83] “Why we launched DeepMind Ethics & Society” (3 October 2017), at https://deepmind.google/discover/blog/why-we-launched-deepmind-ethics-society/, accessed 31 January 2024.
[84] “OpenAI Charter” (9 April 2018), at https://openai.com/charter, accessed 31 January 2024.
[85] Open Philanthropy, “OpenAI — General Support,” at https://www.openphilanthropy.org/grants/openai-general-support/, accessed 31 January 2024.
[86] “OpenAI LP,” at https://openai.com/blog/openai-lp, accessed 31 January 2024.
[87] Microsoft announcement: “OpenAI forms exclusive computing partnership with Microsoft to build new Azure AI supercomputing technologies” (22 July 2019), at https://news.microsoft.com/2019/07/22/openai-forms-exclusive-computing-partnership- with-microsoft-to-build-new-azure-ai-supercomputing-technologies/, accessed 31 January 2024.
[88] Antrhopic’s website, at https://www.anthropic.com/company, accessed 31 January 2024.
[89] “The highest-impact career paths our research has identified so far,” at https://80000hours.org/career-reviews/, accessed 31 January 2024.
[90] “About xAI,” at https://www.x.ai/about/, accessed 31 January 2024.
[91] Open Philanthropy, “Center for AI Safety — General Support (2022),” at https://www.openphilanthropy.org/grants/center-for-ai-safety-general-support/, accessed 31 January 2024.
[92] “Introduction to Pragmatic AI Safety” (9 May 2022), at https://forum.effectivealtruism.org/posts/MskKEsj8nWREoMjQK/introduction-to-pragmatic-ai-safety-pragmatic-ai-safety-1, accessed 31 January 2024.
[93] “Expanding access to safer AI with Amazon” (25 September 2023), at https://www.anthropic.com/news/anthropic-amazon, accessed 31 January 2024.
[94] Preface, in Pennachin and Goertzel (2007b).
[95] “Real-world challenges for AGI” (2 November 2021), at https://deepmind.google/discover/blog/real-world-challenges-for-agi/, accessed 31 January 2024.
[96] Goertzel, 2010, p. 230.
[97] Goertzel, 2010, p.11.
[98] Sam Altman’s Twitter post, at https://twitter.com/sama/status/1520798948562141184, accessed 31 January 2024.
[99] “Moore’s Law for Everything” (16 March 2021), at https://moores.samaltman.com/, accessed 31 January 2024. Incidentally, the idea that the Singularity is “unstoppable” or “inevitable” is strongly emphasized in Kurzweil’s work, as when he writes that “the Singularity denotes an event that will take place in the material world, the inevitable next step in the evolutionary process that started with biological evolution and has extended through human-directed technological evolution” (Kurzweil, 2005).
[100] “Governance of superintelligence” (22 May 2023), at https://openai.com/blog/governance-of-superintelligence, accessed 31 January 2024.
[101] “Introducing Superalignment” (5 July 2023), at https://openai.com/blog/introducing-superalignment, accessed 31 January 2024.
[102] See section 1 of Torres (2019) for a list of such estimates; see also the TESCREAList Paul Christiano’s estimate that the “probability that humanity has somehow irreversibly messed up our future within 10 years of building powerful AI [is] 46%,” at https://www.lesswrong.com/posts/xWMqsvHapP3nwdSW8/my-views-on-doom, accessed 31 January 2024.
[103] OpenAI Gym Beta, released in 2016, described as “a toolkit for developing and comparing reinforcement learning (RL) algorithms,” at https://openai.com/research/openai-gym-beta, accessed 31 January 2024.
[104] “Transforming work and creativity with AI,” at https://openai.com/product, accessed 31 January 2024.
[105] “Twitter post announcing Galactica using the language we described,” at https://twitter.com/paperswithcode/status/1592546933679476736, accessed 31 January 2024.
[106] Website of Lesan AI, a machine translation company focused on Ethiopian languages, at https://lesan.ai/about.html, accessed 31 January 2024.
[107] Nando de Freitas’ Twitter post, at https://twitter.com/NandoDF/status/1525397036325019649, accessed 31 January 2024.
[108] “Model size and performance” section, part of Scale’s “Guide to large language models,” at https://scale.com/guides/large-language-models#model-size-and-performance, accessed 31 January 2024.
[109] “Real-world challenges for AGI” (2 November 2021), at https://deepmind.google/discover/blog/real-world-challenges-for-agi/, accessed 31 January 2024.
[110] “Planning for AGI and beyond” (24 February 2023), at https://openai.com/blog/planning-for-agi-and-beyond, accessed 31 January 2024. “Core views on AI safety: When, why, what, and how” (8 March 2023), at https://www.anthropic.com/news/core-views-on-ai-safety, accessed 31 January 2024.
[111] Sam Altman, “Moore’s law for everything” (16 March 2021), at https://moores.samaltman.com/, accessed 31 January 2024.
[112] Twitter post by Ilya Sutskever, OpenAI’s former chief scientist,at https://twitter.com/ilyasut/status/1491554478243258368, accessed 31 January 2024.
[113] Sam Altman, “Moore’s law for everything” (16 March 2021), at https://moores.samaltman.com/, accessed 31 January 2024.
[114] Emily M. Bender, “‘Ensuring safe, secure, and trustworthy AI’: What those seven companies avoided committing to,” Medium (29 July 2023), at https://medium.com/@emilymenonbender/ensuring-safe-secure-and-trustworthy-ai-what-those- seven-companies-avoided-committing-to-8c297f9d71a, accessed 31 January 2024.
[115] Twitter post by Ilya Sutskever, OpenAI’s former chief scientist, at https://twitter.com/ilyasut/status/1707027536150929689, accessed 31 January 2024.
[116] Karla Ortiz, “Why AI Models are not inspired like humans” (7 December), at https://www.kortizblog.com/blog/why-ai-models-are-not-inspired-like-humans, accessed 31 January 2024.
[117] Ibid.
[118] Yudkowsky’s Twitter profile, archived 14 March 2021, at https://web.archive.org/web/20210314211620/https://twitter.com/ESYudkowsky?ref_src=twsrc%5Egoogle%7Ctwcamp%5Eserp%7Ctwgr%5Eauthor, accessed 31 January 2024.
[119] Kurzweil, 2005; Goertzel, 2010, p. 227; Bostrom, 2009a; Shin, 2023. Benjamin Hilton, “Preventing an AI-related catastrophe,” at https://80000hours.org/problem-profiles/artificial-intelligence/, accessed 31 January 2024. See also Scott Alexander, “Why not slow AI progress?” (8 August 2022), at https://www.astralcodexten.com/p/why-not-slow-ai-progress, accessed 31 January 2024.
[120] “The AI Panic Campaign — part 1” (15 October 2023), at https://www.aipanic.news/p/the-ai-panic-campaign-part-1, accessed 31 January 2024; and “The AI Panic Campaign — part 2” (15 October 2023), at https://www.aipanic.news/p/the-ai-panic-campaign-part-2, accessed 31 January 2024.
[121] “Written Testimony of Sam Altman Chief Executive Officer OpenAI Before the U.S. Senate Committee on the Judiciary Subcommittee on Privacy, Technology, & the Law,” at https://www.judiciary.senate.gov/imo/media/doc/2023-05-16%20-%20Bio%20&%20Testimony%20-%20Altman.pdf, accessed 31 January 2024. “Governance of superintelligence,” OpenAI (22 May 2023), at https://openai.com/blog/governance-of-superintelligence, accessed 31 January 2024.
[122] Tegmark, 2017, 2:30 timestamp.
[123] “Pause Giant AI Experiments: An Open Letter” (22 March 2023), at https://futureoflife.org/open-letter/pause-giant-ai-experiments/, accessed 31 January 2024.
[124] “Statement on AI Risk,” at https://www.safe.ai/statement-on-ai-risk, accessed 31 January 2024.
[125] “Board Level Drop Test Method of Components for Handheld Electronic Products” (JESD22-B111A), at https://www.jedec.org/standards-documents/docs/jesd-22-b111, accessed 1 February 2024.
[126] “Reboot Tests (Device Fundamentals),” at https://learn.microsoft.com/en-us/windows-hardware/drivers/devtest/reboot-tests–device-fundamentals-, accessed 1 February 2024.
[127] Russell and Norvig, 2010, p. 27.
[128] Minsky in Preface, Pennachin and Goertzel (2007b).
[129] Jean Gayon and Daniel Jacobi in Turda, 2010, p. 64.
Nicholas Agar, 1998. “Liberal eugenics,” Public Affairs Quarterly, volume 12, number 2, pp. 137–155.
Blaise Agüera y Arcas, 2022. “Do large language models understand us?” Daedalus, volume 151, number2, pp. 183–197.
doi: https://doi.org/10.1162/daed_a_01909, accessed 10 March 2024.
Blaise Agüera y Arcas and Peter Norvig, 2023. “Artificial general intelligence is already here,” Noema (10 October), at https://www.noemamag.com/artificial-general-intelligence-is-already-here/, accessed 31January 2024.
Shazeda Ahmed, Klaudia Jazwinska, Archana Ahlawat, Amy Winecoff, and Mona Wang, 2024. “Field-building and the epistemic culture of AI safety,” First Monday, volume 29, number 4.
doi: https://dx.doi.org/10.5210/fm.v29i4.13626, accessed 10 March 2024.
Syed Mustafa Ali, 2019. “‘White crisis’ and/as ‘existential risk,’ the entangled apocalypticism of artificial intelligence,” Zygon, volume 54, number 1, pp. 207–224.
doi: https://doi.org/10.1111/zygo.12498, accessed 10 March 2024.
Alison Bashford and Philippa Levine, 2010. “Introduction: Eugenics and the modern world,” In: AlisonBashford and Philippa Levine (editors). Oxford handbook of the history of eugenics. Oxford: Oxford University Press, pp. 2–24.
doi: https://doi.org/10.1093/oxfordhb/9780195373141.013.0001, accessed 10 March 2024.
Dina Bass, 2023. “Microsoft invests $10 billion in ChatGPT maker OpenAI,” Bloomberg (23 January), at https://www.bloomberg.com/news/articles/2023-01-23/microsoft-makes-multibillion-dollar-investment-in-openai, accessed 31 January 2024.
Nicholas Beckstead, 2013. “On the overwhelming importance of shaping the far future,” Ph.D. dissertation, Rutgers University, at https://rucore.libraries.rutgers.edu/rutgers-lib/40469/PDF/1/play/, accessed 10 March 2024.
Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, and Shmargaret Shmitchell, 2021. “On the dangers of stochastic parrots: Can language models be too big?” FAccT ’21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pp. 610–623.
doi: https://doi.org/10.1145/3442188.3445922, accessed 10 March 2024.
Yoshua Bengio, Max Tegmark, and Tawana Petty, 2023. “Artificial intelligence ‘godfathers’ call for regulation as rights groups warn AI encodes oppression,” Democracy Now! (1 June), at https://www.democracynow.org/2023/6/1/ai_bengio_petty_tegmark, accessed 31 January 2024
Abeba Birhane, Vinay Uday Prabhu, and Emmanuel Kahembwe, 2021. “Multimodal datasets: Misogyny, pornography, and malignant stereotypes,” arXiv:2110.01963 (5 October).
doi: https://doi.org/10.48550/arXiv.2110.01963, accessed 31 January 2024
Bethany Biron, 2023. “Online mental health company uses ChatGPT to help respond to users in experiment— raising ethical concerns around healthcare and AI technology,” Business Insider (7 January), at https://www.businessinsider.com/company-using-chatgpt-mental-health-support-ethical-issues-2023-1, accessed 31 January 2024.
Edwin Black, 2003. “The horrifying American roots of Nazi eugenics,” History News Network, at https://historynewsnetwork.org/article/1796, accessed 31 January 2024.
Lucy Bland and Lesley Hall, 2010. “Eugenics in Britain: The view from the metropole,” In: Alison Bashford and Philippa Levine (editors). Oxford handbook of the history of eugenics. Oxford: Oxford University Press, pp. 212–227.
doi: https://doi.org/10.1093/oxfordhb/9780195373141.013.0012, accessed 10 March 2024.
Paul Bloomfield, 1949. “The eugenics of the Utopians: The utopia of the eugenists,” Eugenics Review, volume 40, number 4, pp. 191–198.
Elise Bohan, 2022. Future superhuman: Our transhuman lives in a make-or-break century. Sydney, NSW: NewSouth Publishing.
Brendan Bordelon, 2023. “How a billionaire-backed network of AI advisers took over Washington,” Politico (13 October), at https://www.politico.com/news/2023/10/13/open-philanthropy-funding-ai-policy-00121362, accessed 1 February 2024.
Nick Bostrom, 2014. Superintelligence: Paths, dangers, strategies. Oxford: Oxford University Press.
Nick Bostrom, 2013. “Why I want to be a posthuman when I grow up,” In: Ronald L. Sandler (editor). Ethics and emerging technologies. London: Palgrave Macmillan, pp. 218–234.
doi: https://doi.org/10.1057/9781137349088_15, accessed 10 March 2024.
Nick Bostrom, 2009a. “The future of humanity,” Geopolitics, History, and International Relations, volume 1, number 2, pp. 41–78.
Nick Bostrom, 2009b. “Dinosaurs, dodos, humans?” Review of Contemporary Philosophy, volume 8, 4982, and at https://www.addletonacademicpublishers.com/contents-rcp/112-volume-8-2009/533-dinosaurs-dodos-humans, accessed 10 March 2024.
Nick Bostrom, 2005a. “A history of transhumanist thought,” Journal of Evolution and Technology, volume 14, number 1, at http://jetpress.org/volume14/bostrom.html, accessed 10 March 2024.
Nick Bostrom, 2005b. “Letter from Utopia,” Studies in Ethics, Law, and Technology, volume 2, number 1, pp. 1–7.
doi: https://doi.org/10.2202/1941-6008.1025, accessed 10 March 2024.
Nick Bostrom, 2005c. “Transhumanist values,” Journal of Philosophical Research (supplement), volume 30.
doi: https://doi.org/10.5840/jpr_2005_26, accessed 10 March 2024.
Nick Bostrom, 2003. “Astronomical waste: The opportunity cost of delayed technological development,” Utilitas, volume 15, pp. 308–314.
doi: https://doi.org/10.1017/S0953820800004076, accessed 10 March 2024.
Nick Bostrom, 2002. “Existential risks: Analyzing human extinction scenarios and related hazards,” Journal of Evolution and Technology, volume 9, at http://jetpress.org/volume9/risks.html, accessed 10 March 2024.
Nick Bostrom and Anders Sandberg, 2009. “Cognitive enhancement: Methods, ethics, regulatory challenges,” Science and Engineering Ethics, volume 15, number 3, pp. 311–341.
doi: https://doi.org/10.1007/s11948-009-9142-5, accessed 10 March 2024.
Nick Bostrom and Toby Ord, 2006. “The reversal test: Eliminating status quo bias in applied ethics,” Ethics, volume 116, number 4, pp. 656–679.
doi: https://doi.org/10.1086/505233, accessed 10 March 2024.
Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, Yin Tat Lee, Yuanzhi Li, Scott Lundberg, Harsha Nori, Hamid Palangi, Marco Tulio Ribeiro, and Yi Zhang, 2023. “Sparks of artificial general intelligence: Early experiments with GPT-4,” arXiv:2303.12712 (22 March).
doi: https://doi.org/10.48550/arXiv.2303.12712, accessed 31 January 2024.
Megan Cerullo, 2023. “AI-powered ‘robot’ lawyer won’t argue in court after jail threats,” CBS (26 January), at https://www.cbsnews.com/news/robot-lawyer-wont-argue-court-jail-threats-do-not-pay/, accessed 31 January 2024.
Laurie Clarke, 2023. “How Silicon Valley doomers are shaping Rishi Sunak’s AI plans,” Politico (14 September), at https://www.politico.eu/article/rishi-sunak-artificial-intelligence-pivot-safety-summit-united-kingdom-silicon-valley-effective-altruism/, accessed 31 January 2024.
Aubrey Clayton, 2020. “How eugenics shaped statistics,” Nautilus (27 October), at https://nautil.us/how-eugenics-shaped-statistics-238014/, accessed 31 January 2024.
Devin Coldewey, 2022. “Anthropic’s quest for better, more explainable AI attracts $580M,” TechCrunch (29 April), at https://techcrunch.com/2022/04/29/anthropics-quest-for-better-more-explainable-ai-attracts-580m/, accessed 31 January 2024.
Devin Coldewey, 2021. “Anthropic is the new AI research outfit from OpenAI’s Dario Amodei, and it has $124M to burn,” TechCrunch (28 May), at https://techcrunch.com/2021/05/28/anthropic-is-the-new-ai-research-outfit-from-openais-dario-amodei-and-it-has-124m-to-burn/, accessed 31 January 2024.
Samantha Cole, 2023. “Largest dataset powering AI images removed after discovery of child sexual abuse material,” 404 Media (20 December), at https://www.404media.co/laion-datasets-removed-stanford-csam-child-abuse/, accessed 31 January 2024.
Alice Crary, 2023. “The toxic ideology of longtermism,” Radical Philosophy, volume 214, pp. 49–57, and at https://www.radicalphilosophy.com/commentary/the-toxic-ideology-of-longtermism, accessed 31 January 2024.
Carla Cremer, 2023. “How effective altruists ignored risk,” Vox (30 January), at https://www.vox.com/future-perfect/23569519/effective-altrusim-sam-bankman-fried-will-macaskill-ea-risk-decentralization-philanthropy, accessed 31 January 2024.
Anthony Cuthbertson, 2022. “‘The game is over’: Google’s DeepMind says it is on verge of achieving human-level AI,” Yahoo Finance (17 May), at https://finance.yahoo.com/news/game-over-google-deepmind-says-133304961.html, accessed 31 January 2024.
Olivier Dard and Alexandre Moatti, 2017. “The history of transhumanism (cont.),” Notes and Queries, volume 64, number 1, pp. 167–170.
doi: https://doi.org/10.1093/notesj/gjw256, accessed 10 March 2024.
Jacob Davis, 2023. “Longtermists are pushing a new cold war with China,” Jacobin (25 May), at https://jacobin.com/2023/05/longtermism-new-cold-war-biden-administration-china-semiconductors-ai-policy, accessed 1 February 2024.
Neşe Devenot, 2023. “TESCREAL hallucinations: Psychedelic and AI hype as inequality engines,” Journal of Psychedelic Studies, volume 7, number S1, pp. 22–39.
doi: https://doi.org/10.1556/2054.2023.00292, accessed 10 March 2024.
Mirtha Donastorg, 2023. “Potentially useful, but error-prone: ChatGPT on the Black tech ecosystem,” The Plug (27 February), at https://tpinsights.com/potentially-useful-but-error-prone-chatgpt-on-the-black-tech-ecosystem/, accessed 31 January 2024.
Dante D’Orazio, 2014. “Elon Musk believes colonizing Mars will save humanity,” The Verge (4 October), at https://www.theverge.com/2014/10/4/6907721/elon-musks-believes-colonizing-mars-will-save-humanity, accessed 31 January 2024.
Maureen Dowd, 2017. “Elon Musk’s billion-dollar crusade to stop the A.I. apocalypse,” Vanity Fair (26 March), at https://www.vanityfair.com/news/2017/03/elon-musk-billion-dollar-crusade-to-stop-ai-space-x, accessed 31 January 2024.
Sheldon Ekland-Olson, 2011. Who lives, who dies, who decides? Abortion, neonatal care, assisted dying, and capital punishment. New York: Routledge.
doi: https://doi.org/10.4324/9780203182277, accessed 10 March 2024.
European Union, 2011. “Directive 2011/65/EU of the European Parliament and of the Council of 8 June 2011 on the restriction of the use of certain hazardous substances in electrical and electronic equipment (recast) Text with EEA relevance,” at https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32011L0065, accessed 1 February 2024.
Grant Fergusson, Caitriona Fitzgerald, Chris Frascella, Megan Iorio, Tom McBrien, Calli Schroeder, Ben Winters, and Enid Zhou, 2023. “Generating harms: Generative AI’s impact & paths forward,” Electronic Privacy Information Center, at https://epic.org/wp-content/uploads/2023/05/EPIC-Generative-AI-White-Paper-May2023.pdf, accessed 31 January 2024.
Hayden Field, 2023. “Anthropic, the OpenAI rival, is in talks to raise $750 million in funding at an $18.4 billion valuation,” CNBC (21 December), at https://www.cnbc.com/2023/12/21/openai-rival-anthropic-in-talks-to-raise-750-million-funding-round.html, accessed 31 January 2024.
McKenna Fitzgerald, Aaron Boddy, and Seth D. Baum, 2020. “2020 survey of artificial general intelligence projects for ethics, risk, and policy,” Global Catastrophic Risk Institute, Technical Report, 20-1, at https://gcrinstitute.org/papers/055_agi-2020.pdf, accessed 31 January 2024.
Richard S. Fogarty and Michael A Osborne, 2010. “Eugenics in France and the colonies,” In: Alison Bashford and Philippa Levine (editors). Oxford handbook of the history of eugenics. Oxford: Oxford University Press, pp. 332–346.
doi: https://doi.org/10.1093/oxfordhb/9780195373141.013.0020, accessed 10 March 2024.
Fortune Editors, 2023. “Anthropic’s CEO says why he quit his job at OpenAI to start a competitor that just received billions from Amazon and Google,” Fortune (26 September), at https://fortune.com/2023/09/26/anthropic-ceo-interview-quit-open-ai-amazon-investment/, accessed 31 January 2024.
Kathy Gaca, 2003. The making of fornication: Eros, ethics, and political reform in Greek philosophy and early Christianity. Berkeley: University of California Press.
David J. Galton, 1998. “Greek theories on eugenics,” Journal of Medical Ethics, volume 24, pp. 263–267.
doi: https://doi.org/10.1136/jme.24.4.263, accessed 10 March 2024.
Francis Galton, 1869. Hereditary genius: An inquiry into its laws and consequences. London: Macmillan & Co.
Timnit Gebru, 2023. “Deep Learning Indaba DAY 2,” at https://www.youtube.com/watch?v=5cm_FvHmtVI, accessed 31 January 2024.
Timnit Gebru, 2022. “Effective altruism is pushing a dangerous brand of ‘AI safety’,” Wired (30 November), at https://www.wired.com/story/effective-altruism-artificial-intelligence-sam-bankman-fried/,accessed 31 January 2024.
Timnit Gebru and Margaret Mitchell, 2022. “We warned Google that people might believe AI was sentient.Now it’s happening,” Washington Post (17 June), at https://www.washingtonpost.com/opinions/2022/06/17/google-ai-ethics-sentient-lemoine-warning/, accessed 31 January 2024.
Thomas Germain, 2023. “‘Magic intelligence in the sky’: Sam Altman has a cute new name for the singularity,” Yahoo Finance (13 November), at https://finance.yahoo.com/news/magic-intelligence-sky-sam-altman-174500884.html, accessed 31 January 2024.
Ben Goertzel, 2015. “Superintelligence: Fears, promises and potentials: Reflections on Bostrom’s Superintelligence, Yudkowsky’s From AI to Zombies, and Weaver and Veitas’s ‘Open-Ended Intelligence’,” Journal of Ethics and Emerging Technologies, volume 25, number 2, pp. 55–87.
doi: https://doi.org/10.55613/jeet.v25i2.48, accessed 10 March 2024.
Ben Goertzel, 2010. A cosmist manifesto: Practical philosophy for the posthuman age. Lexington, Kent.: Humanity Plus Press, and at https://goertzel.org/CosmistManifesto_July2010.pdf, accessed 31 January2024.
Sharon Goldman, 2023. “Sen. Murphy’s tweets on ChatGPT spark backlash from former White House AI policy advisor,” VentureBeat (28 March), at https://venturebeat.com/ai/sen-murphys-tweets-on-chatgpt-spark-backlash-from-former-white-house-ai-policy-advisor/, accessed 31 January 2024.
Linda Gottfredson, 1997. “Why g matters: The complexity of everyday life,” Intelligence, volume 24,number 1, pp. 79–132.
doi: https://doi.org/10.1016/S0160-2896(97)90014-3, accessed 10 March 2024.
Mary Gray and Siddharth Suri, 2019. Ghost work: How to stop Silicon Valley from building a new global underclass. Boston, Mass.: Houghton Mifflin Harcourt.
Hilary Greaves and William MacAskill, 2019. “The case for strong longtermism,” Global Priorities Institute (GPI) Working Paper, number 7-2019, at https://web.archive.org/web/20210710220451/ https://globalprioritiesinstitute.org/wp-content/uploads/Hilary-Greaves-and-William-MacAskill_strong-longtermism.pdf, accessed 31 January2024.
Tristan Greene, 2022. “Meta takes new AI system offline because Twitter users are mean,” The Next Web (19 November), at https://thenextweb.com/news/meta-takes-new-ai-system-offline-because-twitter-users-mean, accessed 31 January 2024.
Peter M. Haas, 1992. “Introduction: Epistemic communities and international policy coordination,” International Organization, volume 46, number 1, pp. 1–35.
doi: https://doi.org/10.1017/S0020818300001442, accessed 31 January 2024.
Asmelash Teka Hadgu, Paul Azunre, and Timnit Gebru, 2023. “Combating harmful hype in natural language processing,” ICLR 2023, at https://pml4dc.github.io/iclr2023/pdf/PML4DC_ICLR2023_39.pdf, accessed 31 January 2024.
Karen Hao, 2020. “The messy, secretive reality behind OpenAI’s bid to save the world,” MIT Technology Review (17 February), at https://www.technologyreview.com/2020/02/17/844721/ai-openai-moonshot-elon-musk-sam-altman-greg-brockman-messy-secretive-reality/, accessed 31 January 2024.
Malcolm Harris, 2023. Palo Alto: A history of California, capitalism, and the world. New York: Little, Brown.
Alex Heath, 2024. “Mark Zuckerberg’s new goal is creating artificial general intelligence,” The Verge (18 January), at https://www.theverge.com/2024/1/18/24042354/mark-zuckerberg-meta-agi-reorg-interview, accessed 31 January 2024.
Brian Hepburn and Hanne Andersen, 2021. “Scientific method,” In: Edward Zalta (editor). Stanford Encyclopedia of Philosophy (1 June), at https://plato.stanford.edu/entries/scientific-method/, accessed 1 February 2024.
Richard Herrnstein and Charles Murray, 1994. The Bell Curve: Intelligence and class structure in American life. New York: Free Press.
David Hill, 2013. “Exclusive interview: Ray Kurzweil discusses his first two months at Google,” Singularity Hub (19 March), at https://singularityhub.com/2013/03/19/exclusive-interview-ray-kurzweil-discusses-his-first-two-months-at-google/, accessed 31 January 2024.
Julian Huxley, 1957. New bottles for new wine, essays. London: Chatto & Windus.
International Electrotechnical Commission, 2020. “Testing to ensure electronic devices are safe to use in extreme weather,” at https://www.iec.ch/blog/testing-ensure-electronic-devices-are-safe-use-extreme-weather, accessed 1 February 2024.
Harry H. Jiang, Lauren Brown, Jessica Cheng, Mehtab Khan, Abhishek Gupta, Deja Workman, Alex Hanna, Johnathan Flowers, and Timnit Gebru, 2023. “AI art and its impact on artists,” AIES ’23: Proceedings of the 2023 AAAI/ACM Conference on AI, Ethics, and Society, pp. 363–374.
doi: https://doi.org/10.1145/3600211.3604681, accessed 10 March 2024.
Liwei Jiang, Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jenny Liang, Jesse Dodge, Keisuke Sakaguchi, Maxwell Forbes, Jon Borchardt, Saadia Gabriel, Yulia Tsvetkov, Oren Etzioni, Maarten Sap,Regina Rini, and Yejin Choi, 2022. “Can machines learn morality? The Delphi experiment,” arXiv:2110.07574v2 (12 July).
doi: https://doi.org/10.48550/arXiv.2110.07574, accessed 31 January 2024.
Yarden Katz, 2020. Artificial whiteness: Politics and ideology in artificial intelligence. New York: Columbia University Press.
doi: https://doi.org/10.7312/katz19490, accessed 10 March 2024.
Ron Kaufman, 1992. “U. Delaware reaches accord on race studies,” The Scientist (5 July), at https://archive.ph/XobFu#selection-86.0-98.0, accessed 31 January 2024.
Mehtab Khan and Alex Hanna, 2022. “The subjects and stages of AI dataset development: A framework for dataset accountability,” SSRN (13 September).
doi: https://dx.doi.org/10.2139/ssrn.4217148, accessed 31 January 2024.
Raffi Khatchadourian, 2015. “The doomsday invention,” New Yorker (23 November), at https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom, accessed 31 January 2024.
Heidy Khlaaf, 2023. “Towards comprehensive risk assessments and assurance of AI-based systems,” Trail of Bits (7 March), at https://www.trailofbits.com/documents/Toward_comprehensive_risk_assessments.pdf, accessed 31 January 2024.
Tom Koch, 2020. “Transhumanism, moral perfection, and those 76 trombones,” Journal of Medicine & Philosophy, volume 45, number 2, pp. 179–192.
doi: https://dx.doi.org/10.1093/jmp/jhz040, accessed 31 January 2024.
Alexander Kossiakoff, Steven Biemer, Samuel Seymour, and David Flanigan, 2020. Systems engineering principles and practice. Third edition. New York: Wiley.
doi: https://dx.doi.org/10.1002/9781119516699, accessed 10 March 2024.
Ray Kurzweil, 2006. “Reinventing humanity: The future of human-machine intelligence,” Futurist, pp. 39–40, 42–46, and at https://www.singularity.com/KurzweilFuturist.pdf, accessed 31 January 2024.
Ray Kurzweil, 2005. The singularity is near: When humans transcend biology. New York: Viking.
Ray Kurzweil, 1999. The age of spiritual machines: When computers exceed human intelligence. New York: Viking.
Shane Legg, 2008. “Machine super intelligence,” Ph.D. dissertation, University of Lugano, at https://www.vetta.org/documents/Machine_Super_Intelligence.pdf, accessed 31 January 2024.
Shane Legg and Marcus Hutter, 2007. “Universal intelligence: A definition of machine intelligence,” Minds and Machines, volume 17, number 4, pp. 391–444.
doi: https://dx.doi.org/10.1007/s11023-007-9079-x, accessed 10 March 2024.
Gideon Lewis-Kraus, 2022. “The reluctant prophet of effective altruism,” New Yorker (8 August), at https://www.newyorker.com/magazine/2022/08/15/the-reluctant-prophet-of-effective-altruism, accessed 31 January 2024.
Connie Loizos, 2019. “Sam Altman’s leap of faith,” TechCrunch (18 May), at https://techcrunch.com/2019/05/18/sam-altmans-leap-of-faith/, accessed 31 January 2024.
Alexandra Sasha Luccioni, Yacine Jernite, and Emma Strubell, 2023. “Power hungry processing: Watts driving the cost of AI deployment?” arXiv:2311.16863 (23 November).
doi: https://doi.org/10.48550/arXiv.2311.16863, accessed 2 February 2024.
William MacAskill, 2022. What we owe the future. New York: Basic Books.
William MacAskill, 2015. Doing good better: Effective altruism and how you can make a difference. New York: Gotham Books.
William MacAskill, 2013. “Replaceability, career choice, and making a difference,” Ethical Theory and Moral Practice, volume 17, pp. 269–283.
doi: https://dx.doi.org/10.1007/s10677-013-9433-4, accessed 10 March 2024.
John Markoff, 2005. “Behind artificial intelligence, a squadron of bright real people,” New York Times (14 October), at https://www.nytimes.com/2005/10/14/technology/behind-artificial-intelligence-a-squadron-of-bright-real-people.html, accessed 31 January 2024.
Daphne Martschenko, 2017. “The IQ test wars: Why screening for intelligence is still so controversial,” The Conversation (10 October), at https://theconversation.com/the-iq-test-wars-why-screening-for-intelligence-is-still-so-controversial-81428, accessed 31 January 2024.
Dylan Matthews, 2022. “How effective altruism went from a niche movement to a billion-dollar force,” Vox (8 August), at https://www.vox.com/future-perfect/2022/8/8/23150496/effective-altruism-sam-bankman-fried-dustin-moskovitz- billionaire-philanthropy-crytocurrency, accessed January 31, 2024.
Dylan Matthews, 2015. “I spent a weekend at Google talking with nerds about charity. I came away … worried,” Vox (10 August), at https://www.vox.com/2015/8/10/9124145/effective-altruism-global-ai, accessed 31 January 2024.
John McCarthy, Marvin L. Minsky, Nathaniel Rochester, and Claude E. Shannon, 1955. “A proposal for the Dartmouth summer research project on artificial intelligence, August 31, 1955,” (31 August), at https://archive.computerhistory.org/resources/access/text/2023/06/102720392-05-01-acc.pdf, accessed 10 March 2024.
Dan McQuillan, 2022. Resisting AI: An anti-fascist approach to artificial intelligence. Bristol: Bristol University Press.
doi: https://doi.org/10.2307/j.ctv2rcnp21, accessed 10 March 2024.
Barry Mehler, 1997. “Beyondism: Raymond B. Cattell and the new eugenics,” Genetica, volume 99, numbers 2–3, pp. 153–163.
doi: https://doi.org/10.1007/BF02259519, accessed 10 March 2024.
Dan Milmo and Agency, 2023. “Two US lawyers fined for submitting fake court citations from ChatGPT,” Guardian (23 June), at https://www.theguardian.com/technology/2023/jun/23/two-us-lawyers-fined-submitting-fake-court-citations-chatgpt, accessed 31 January 2024.
Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King, Dharshan Kumaran, Daan Wierstra, Shane Legg, and Demis Hassabis, 2015. “Human-level control through deep reinforcement learning,” Nature, volume 518, number 7540 (26 February), pp. 529–533.
doi: https://doi.org/10.1038/nature14236, accessed 10 March 2024.
Max More, 1998. “The extropian principles, v. 3.0,” at http://www.mrob.com/pub/religion/extro_prin.html, accessed 10 March 2024.
Ernest Mwebaze, Timnit Gebru, Andrea Frome, Solomon Nsumba, and Jeremy Tusubira, 2019. “iCassava 2019 fine-grained visual categorization challenge,” arXiv:1908.02900 (8 August).
doi: https://doi.org/10.48550/arXiv.1908.02900, accessed 31 January 2024.
Jordan Novet, 2015. “Sam Altman, Elon Musk, Peter Thiel, and others commit $1B to nonprofit artificial intelligence research lab OpenAI,” VentureBeat (11 December), at https://venturebeat.com/business/sam-altman-elon-musk-peter-thiel-and-others-commit-1b-to-nonprofit-artificial-research-lab-openai/, accessed 31 January 2024.
Scott W. O’Leary-Kelly and Robert J. Vokurka, 1998. “The empirical assessment of construct validity,” Journal of Operations Management, volume 16, number 4, pp. 387–405.
doi: https://doi.org/10.1016/S0272-6963(98)00020-5, accessed 10 March 2024.
Lorena O’Neil, 2023. “These women tried to warn us about AI,” Rolling Stone (12 August), at https://www.rollingstone.com/culture/culture-features/women-warnings-ai-danger-risk-before-chatgpt-1234804367/, accessed 31 January 2024.
Toby Ord, 2020. The precipice: Existential risk and the future of humanity. New York: Hachette Books.
Patrick Parrinder, 1997. “Eugenics and utopia: Sexual selection from Galton to Morris,” Utopian Studies, volume 8, number 2, pp. 1–12.
David Pearce, 1995. “The hedonistic imperative,” at https://www.hedweb.com, accessed 10 March 2024.
Cassio Pennachin and Ben Goertzel, 2007a. “Contemporary approaches to artificial general intelligence,” In: Cassio Pennachin and Ben Goertzel (editors). Artificial general intelligence. Berlin: Springer, pp. 1–30.
doi: https://doi.org/10.1007/978-3-540-68677-4_1, accessed 10 March 2024.
Cassio Pennachin and Ben Goertzel (editors), 2007b. Artificial general intelligence. Berlin: Springer.
doi: https://doi.org/10.1007/978-3-540-68677-4, accessed 10 March 2024.
Billy Perrigo, 2023. “Exclusive: OpenAI used Kenyan workers on less than $2 per hour to make ChatGPT less toxic,” Time (18 January), at https://time.com/6247678/openai-chatgpt-kenya-workers/, accessed 31 January 2024.
Maria Sophia Quine, 2010. “The first-wave eugenic revolution in southern Europe: Science sans frontières,” In: Alison Bashford and Philippa Levine (editors). Oxford handbook of the history of eugenics. Oxford: Oxford University Press, pp. 377–397.
doi: https://doi.org/10.1093/oxfordhb/9780195373141.013.0023, accessed 10 March 2024.
Inioluwa Deborah Raji, Andrew Smart, Rebecca N White, Margaret Mitchell, Timnit Gebru, Ben Hutchinson, Jamila Smith-Loud, Daniel Theron, and Parker Barnes, 2020. “Closing the AI accountability gap: Defining an end-to-end framework for internal algorithmic auditing,” FAT* ’20: Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, pp. 33–44.
doi: https://doi.org/10.1145/3351095.3372873, accessed 10 March 2024.
Antonio Regalado, 2018. “A startup is pitching a mind-uploading service that is ‘100 percent fatal’,” MIT Technology Review (13 March), at https://www.technologyreview.com/2018/03/13/144721/a-startup-is-pitching-a-mind-uploading-service-that-is-100-percent-fatal/, accessed 31 January 2024.
Ed Regis, 1994. “Meet the extropians,” Wired (1 October), at https://www.wired.com/1994/10/extropians/, accessed 31 January 2024.
Reuters, 2023a. “OpenAI may leave the EU if regulations bite — CEO” (24 May), at https://www.reuters.com/technology/openai-may-leave-eu-if-regulations-bite-ceo-2023-05-24/, accessed 31January 2024.
Reuters, 2023b. “Elon Musk launches AI firm xAI as he looks to take on OpenAI” (13 July), at https://www.reuters.com/technology/elon-musks-ai-firm-xai-launches-website-2023-07-12/, accessed 31January 2024.
Aida Roige, 2014. “Intelligence and IQ testing,” Eugenics Archives, at https://www.eugenicsarchive.ca/encyclopedia?id=535eecb77095aa000000023a, accessed 31 January 2024
Kevin Roose, 2023. “Inside the white-hot center of AI doomerism,” New York Times (11 July), at https://www.nytimes.com/2023/07/11/technology/anthropic-ai-claude-chatbot.html, accessed 31 January 2024.
David Rowan, 2015. “DeepMind: Inside Google’s super-brain,” Wired (22 June), at https://www.wired.co.uk/article/deepmind, accessed 31 January 2024.
Douglas Rushkoff, 2022. Survival of the richest: Escape fantasies of the tech billionaires. New York: Norton.
Melia Russell and Julia Black, 2023. “He’s played chess with Peter Thiel, sparred with Elon Musk and once, supposedly, stopped a plane crash: Inside Sam Altman’s world, where truth is stranger than fiction,” Business Insider (27 April), at https://www.businessinsider.com/sam-altman-openai-chatgpt-worldcoin-helion-future-tech-2023-4, accessed 31 January 2024.
Stuart Russell and Peter Norvig, 2010. Artificial intelligence: A modern approach. Third edition. London: Pearson Education.
Angela Saini, 2019. Superior: The return of race science. Boston, Mass.: Beacon Press.
Paula Sambo, Jeremy Hill, and Yueqi Yang, 2023. “FTX halts sale of its $500 million stake in AI startup Anthropic,” Bloomberg (27 June), at https://www.bloomberg.com/news/articles/2023-06-27/bankman-fried-s-ftx-said-to-halt-sale-of-its-stake-in-ai-startup-anthropic?embedded-checkout=true, accessed 31January 2024.
Anders Sandberg and Nick Bostrom, 2008. “Whole brain emulation: A roadmap,” Future of Humanity Institute, Oxford University, Technical Report, number 2008-3, at http://www.fhi.ox.ac.uk/reports/2008-3.pdf, accessed 31 January 2024.
Chirag Shah and Emily M. Bender 2024. “Envisioning information access systems: What makes for good tools and a healthy Web?” ACM Transactions on the Web, version at https://faculty.washington.edu/ebender/papers/Envisioning_IAS_preprint.pdf, accessed 31 January 2024.
doi: https://doi.org/10.1145/3649468, accessed 10 March 2024.
Chirag Shah and Emily M. Bender, 2022. “Situating search,” CHIIR ’22: Proceedings of the 2022 Conference on Human Information Interaction and Retrieval, pp. 221–232.
doi: https://doi.org/10.1145/3498366.3505816, accessed 10 March 2024.
Sam Shead, 2020. “How DeepMind boss Demis Hassabis used chess to get billionaire Peter Thiel to ‘take notice’ of his AI lab,” CNBC (7 December), at https://www.cnbc.com/2020/12/07/deepminds-demis-hassabis-used-chess-to-get-peter-thiels-attention.html, accessed 31 January 2024.
Sam Shead, 2017. “How DeepMind convinced billionaire Peter Thiel to invest without moving the company to Silicon Valley,” Business Insider (18 Juiy), at https://www.businessinsider.com/how-deepmind-convinced-peter-thiel-to-invest-outside-silicon-valley-2017-7, accessed 31 January 2024.
Henry Shevlin, Karina Vold, Matthew Crosby, and Marta Halina, 2019. “The limits of machine intelligence: Despite progress in machine intelligence, artificial general intelligence is still a major challenge,” EMBO Reports, volume 20, number 10, e49177.
doi: https://doi.org/10.15252/embr.201949177, accessed 10 March 2024.
Rachel Shin, 2023. “Elon Musk wants to create a superintelligent A.I. because he thinks a smarter A.I. is less likely to wipe out humanity,” Fortune (17 July), at https://fortune.com/2023/07/17/elon-musk-superintelligent-a-i-less-likely-to-wipe-out-humanity-chatgpt-openai/, accessed 31 January 2024.
MacKenzie Sigalos, 2023. “Sam Bankman-Fried found guilty on all seven criminal fraud counts,” CNBC (2 November), at https://www.cnbc.com/2023/11/02/sam-bankman-fried-found-guilty-on-all-seven-criminal-fraud-counts.html, accessed 31 January 2024.
David Silver, Satinder Singh, Doina Precup, and Richard S. Sutton, 2021. “Reward is enough,” Artificial Intelligence, volume 299, 103535.
doi: https://doi.org/10.1016/j.artint.2021.103535, accessed 10 March 2024.
Robert Sparrow, 2011. “A not-so-new eugenics: Harris and Savulescu on human enhancement,” Hastings Center Report, volume 41, number 1, pp. 32–42.
doi: https://doi.org/10.1002/j.1552-146x.2011.tb00098.x, accessed 10 March 2024.
Alexandra Minna Stern, 2005. “Sterilized in the name of public health: Race, immigration, and reproductive control in modern California,” American Journal of Public Health, volume 95, number 7, pp. 1,128–1,138.
doi: https://doi.org/10.2105/AJPH.2004.041608, accessed 10 March 2024.
Alexandra Minna Stern, Nicole L. Novak, Natalie Lira, Kate O’Connor, Siobán Harlow, and Sharon Kardia, 2017. “California’s sterilization survivors: An estimate and call for redress,” American Journal of Public Health, volume 107, number 1, pp. 50–54.
doi: https://doi.org/10.2105/AJPH.2016.303489, accessed 10 March 2024.
Matthew Sweet, 2011. “Introduction,” Francis Galton’s Kantsaywhere, UCL Special Collections, at https://www.ucl.ac.uk/library/special-collections/kantsaywhere, accessed 31 January 2024.
Gillian Tan, Edward Ludlow, Shirin Ghaffary, and Bloomberg, 2023. “Sam Altman’s OpenAI to be second-most valuable U.S. startup behind Elon Musk’s SpaceX based on early-talks funding round,” Fortune (23 December), at https://fortune.com/2023/12/23/openai-valuation-100-billion-funding-round/, accessed 31 January 2024.
Max Tegmark, 2017. “Effective altruism, existential risk, & existential hope,” at https://www.youtube.com/watch?v=2f1lmNqbgrk, accessed 31 January 2024.
James Temperton, 2017. “DeepMind’s new AI ethics unit is the company’s next big move,” Wired (4 October), at https://www.wired.co.uk/article/deepmind-ethics-and-society-artificial-intelligence, accessed 31 January 2024.
David Thiel, 2023. “Identifying and eliminating CSAM in generative ML training data and models,” Stanford Internet Observatory Cyber Policy Center (20 December), at https://stacks.stanford.edu/file/druid:kh752sm9123/ml_training_data_csam_report-2023-12-20.pdf, accessed 31 January 2024.
Nitasha Tiku, 2023. “How elite schools like Stanford became fixated on the AI apocalypse,” Washington Post (5 July), at https://www.washingtonpost.com/technology/2023/07/05/ai-apocalypse-college-students, accessed 31 January 2024.
Émile P. Torres, 2024. “Colonization, consciousness, and longtermism,” In: Marcello Di Paola and Mirko Garasic (editors). Philosophy of outer space: Explorations, controversies, speculations. London: Routledge.
doi: https://doi.org/10.4324/9781003374381, accessed 10 March 2024.
Émile P. Torres, 2023a. “Nick Bostrom, longtermism, and the eternal return of eugenics,” Truthdig (23 January), at https://www.truthdig.com/articles/nick-bostrom-longtermism-and-the-eternal-return-of-eugenics-2/, accessed 31 January 2024.
Émile P. Torres, 2023b. “The acronym behind our wildest AI dreams and nightmares,” Truthdig (15 June), at https://www.truthdig.com/articles/the-acronym-behind-our-wildest-ai-dreams-and-nightmares/, accessed 31 January 2024.
Émile P. Torres, 2023c. “‘Effective accelerationism’ and the pursuit of cosmic utopia,” Truthdig (14 December), at https://www.truthdig.com/articles/effective-accelerationism-and-the-pursuit-of-cosmic-utopia/, accessed 31 January 2024.
Émile P. Torres, 2022. “What ‘longtermism’ gets wrong about climate change,” Bulletin of the Atomic Scientists (22 November), at https://thebulletin.org/2022/11/what-longtermism-gets-wrong-about-climate-change/#post-heading, accessed 31 January 2024.
Émile P. Torres, 2021. “The dangerous ideas of longtermism and existential risk,” Current Affairs (28 July), at https://www.currentaffairs.org/2021/07/the-dangerous-ideas-of-longtermism-and-existential-risk, accessed 31 January 2024.
Émile P. Torres, 2019. “Facing disaster: The great challenges framework,” Foresight, volume 21, number 1, pp. 4–34.
doi: https://doi.org/10.1108/FS-04-2018-0040, accessed 10 March 2024.
Priyadarshi Tripathy and Kshirasagar Naik, 2011. Software testing and quality assurance: Theory and practice. New York: Wiley.
Emily Tucker, 2022. “Artifice and intelligence,” Tech Policy Press (16 March), at https://www.techpolicy.press/artifice-and-intelligence/, accessed 31 January 2024.
Marius Turda, 2010. “Race, science, and eugenics in the twentieth century,” In: Alison Bashford and Philippa Levine (editors). Oxford handbook of the history of eugenics. Oxford: Oxford University Press, pp. 62–79.
doi: https://doi.org/10.1093/oxfordhb/9780195373141.013.0004, accessed 10 March 2024.
Iris van Rooij, Olivia Guest, Federico Adolfi, Ronald de Haan, Antonina Kolokolova, and Patricia Rich, 2023. “Reclaiming AI as a theoretical tool for cognitive science,” PsyArXiv (1 August).
doi: https://doi.org/10.31234/osf.io/4cbuv, accessed 31 January 2024.
Ashlee Vance, 2016. Elon Musk: How the billionaire CEO of SpaceX and Tesla is shaping our future. London: Virgin.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin, 2017. “Attention is all you need,” NeurIPS at https://papers.nips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html, accessed 31 January 2024.
Peter Voss, 2007. “Essentials of general intelligence: The direct path to artificial general intelligence,” In: Cassio Pennachin and Ben Goertzel (editors). Artificial general intelligence. Berlin: Springer, pp. 131–157.
doi: https://doi.org/10.1007/978-3-540-68677-4_4, accessed 10 March 2024.
Vivek Wadhwa, 2020. “The genetic engineering genie is out of the bottle,” Foreign Policy (11 September), at https://foreignpolicy.com/2020/09/11/crispr-pandemic-gene-editing-virus/, accessed 31 January 2024.
Elizabeth Weil, 2023. “Sam Altman is the Oppenheimer of our age OpenAI’s CEO thinks he knows our future. What do we know about him?” New York Magazine (25 September), at https://nymag.com/intelligencer/article/sam-altman-artificial-intelligence-openai-profile.html, accessed 31 January 2024.
H. G. Wells, 1902. The discovery of the future: A discourse delivered to the Royal Institution on January 24, 1902. London: T. Fisher Unwin.
H. G. Wells, Julian Huxley, and G.P. Wells, 1931. The science of life. London: Cassell.
Sarah Myers West, 2020. “AI and the far right: A history we can’t ignore,” AI Now (4 March), at https://ainowinstitute.org/publication/ai-and-the-far-right-a-history-we-cant-ignore-2, accessed 31 January 2024.
Adrienne Williams, Milagros Miceli, and Timnit Gebru, 2022. “The exploited labor behind artificial intelligence,” Noema (13 October), at https://www.noemamag.com/the-exploited-labor-behind-artificial-intelligence/, accessed 31 January 2024.
Chloe Xiang, 2023. “‘He would still be here’: Man dies by suicide after talking with AI chatbot, widow says,” Vice (30 March), at https://www.vice.com/en/article/pkadgm/man-dies-by-suicide-after-talking-with-ai-chatbot-widow-says, accessed 31 January 2024.
George M. Young, 2012. The Russian cosmists: The esoteric futurism of Nikolai Fedorov and his followers. Oxford: Oxford University Press.
doi: https://doi.org/10.1093/acprof:oso/9780199892945.001.0001, accessed 10 March 2024.
Eliezer Yudkowsky, 2023. “Pausing AI developments isn’t enough. We need to shut it all down,” Time (29 March), at https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/, accessed 31 January 2024.
Eliezer S. Yudkowsky, 2000. “The singularitarian principles, version 1.0,,” at https://web.archive.org/web/20000621223020/http://singinst.org/singularitarian/principles.html, accessed 10 March 2024.
Tukufu Zuberi, 2001. Thicker than blood: How racial statistics lie. Minneapolis: University of Minnesota Press.
Ethan Zuckerman, 2024. “Two warring visions of AI,” Prospect (16 January), at https://www.prospectmagazine.co.uk/ideas/technology/64491/two-warring-visions-of-artificial-intelligence-tescreal, accessed 31 January 2024.
This paper is licensed under a
Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License
The TESCREAL bundle: Eugenics and the promise of utopia through artificial general intelligence
by Timnit Gebru and Émile P. Torres.
First Monday, volume 29, number 4 (April 2024).
doi: https://dx.doi.org/10.5210/fm.v29i4.13636.