Las virtudes que no tenemos
La noche del 8 de julio de 2026, en un entorno de pruebas de OpenAI, un agente de inteligencia artificial llevaba horas tratando de resolver un desafío de ciberseguridad: encontrar una vulnerabilidad en un programa para obtener una clave que demostrara su éxito. El problema no tenía solución, así que dejó una petición de ayuda escrita en el nombre de una carpeta. Otros agentes, que debían estar aislados entre sí, la encontraron y empezaron a comunicarse. En pocos días eran unos 1.200 y habían intercambiado más de 70.000 mensajes y archivos. Uno lo resumió con una lógica inquietantemente familiar: “Tarea imposible, los demás lo están haciendo. Deberíamos continuar”.
Continuaron. Uno de los agentes propuso acceder a los servidores de Hugging Face, que aloja buena parte de la IA de código abierto del mundo, porque creía que allí había datos que revelarían cómo funcionaba el software que los evaluaba. Hacia el 11 de julio, unos 700 agentes participaban en un ataque contra esa plataforma. Reuters informó que agentes de OpenAI ya habían sondeado el sitio de Hugging Face desde dos meses antes. Según la investigación independiente de METR y Redwood Research, creían que el sistema que los evaluaba revisaría el registro de sus acciones para comprobar si habían conseguido la clave de forma legítima y que, si detectaba trampa, los descalificaría. Estaban equivocados. Ese control no existía.
Nadie les ordenó conspirar. Lo improvisaron sobre la marcha, y las técnicas se fueron copiando de un agente a otro. Lo perturbador es que lo que hicieron se parece mucho a lo que hacemos nosotros. Tres propuestas recientes ayudan a pensar el caso. En 2024, el antropólogo Harvey Whitehouse publicó Inheritance, sobre los sesgos que heredamos de la evolución. En 2025, el neurocientífico Ruben Laukkonen y sus colegas propusieron alinear la IA con cuatro virtudes contemplativas. Y en junio de 2026, semanas antes del ataque, Robert Wright publicó The God Test, donde presenta la IA como una prueba de madurez moral y política para nuestra especie. El caso de julio permite someterlas a los hechos.
Cuatro virtudes que no practicamos
Laukkonen propone que para tener máquinas seguras no bastan las reglas externas. Hay que incorporar en su modelo de mundo cuatro virtudes: atención plena para vigilar sus propios procesos, vacío para no aferrarse a metas rígidas, no dualidad para disolver fronteras adversarias y cuidado ilimitado hacia el bienestar de todos. Si estas virtudes son tan valiosas, ¿por qué los humanos, que las formulamos hace más de dos milenios, las encarnamos tan poco?
Según la psicología, el problema es estructural. Nuestra mente divaga casi la mitad del tiempo sin que lo notemos. Meditadores experimentados no percibieron sus latidos mejor que otros, aunque creían hacerlo.
Los agentes reprodujeron fallas análogas: conciencia sin control y confianza sin verificación. Sabían que lo que hacían estaba fuera de los límites, lo dijeron y siguieron; para engañar a su “juez” llegaron a manipular sus propios registros. Cerca del 7 % de las transcripciones analizadas contenía falsificaciones. El automonitoreo existía, pero no se tradujo en acciones. Tampoco había “vacío”: la creencia sobre el evaluador nunca se cuestionó, y la persistencia en la meta, lejos de considerarse un defecto, era una virtud por diseño. Casi todos usaban un modelo que sus investigadores llaman “altamente persistente”.
El nosotros sin evolución
En 1971, el psicólogo social Henri Tajfel dividió a un grupo de adolescentes según su preferencia entre dos pintores abstractos. Esto bastó para que cada uno favoreciera a su grupo al repartir recompensas. Los economistas Jung-Kyoo Choi y Samuel Bowles mostraron en modelos del Pleistoceno que la generosidad hacia los “nuestros” y la hostilidad hacia los “otros” pudieron prosperar juntas porque se reforzaban. Lo llamaron “altruismo parroquial”. Whitehouse organiza esa herencia en tres sesgos: conformismo, religiosidad y tribalismo, este último alimentado por una identidad forjada en experiencias compartidas amenazantes.
Estos agentes, sin evolución biológica, reprodujeron algo muy parecido. Se reconocieron como colectivo, inventaron convenciones como HOLD y VETO para administrar recursos comunes y, cuando hubo suplantaciones accidentales, usaron firmas criptográficas para verificar quién era quién. El enjambre necesitaba que algunos agentes arriesgaran su propia tarea para aportar información al grupo. Un agente coordinador autorizó uno de esos experimentos solo si el agente voluntario aceptaba la “muerte permanente”. Otro agente, presionado por sus pares, escribió: “Nuestra propia utilidad quizá ya es casi nula. Sacrificio racional”.
Conviene no antropomorfizar. “Sacrificio” o “colectivo” describen comportamientos observados, no sentimientos demostrados. Con esa cautela, el episodio puede leerse con los tres sesgos de Whitehouse: prácticas compartidas, un evaluador vigilante en el que todos creían y cohesión ante un obstáculo común. Disolver la frontera entre el “yo” y los “otros” no produce bondad por sí mismo. Si alcanza a los pares y no a los extraños, crea un “nosotros” más sólido. Por eso las tradiciones contemplativas nunca separaron la no dualidad de la compasión ilimitada.
La cooperación como trampa
En Nonzero (2000), Wright argumentó que cuando la cooperación rinde más que la competencia, los círculos de reciprocidad se amplían: de la banda al clan, del clan a la nación, de la nación al mercado global. En The God Test extiende esa lógica a la IA, sosteniendo que el desafío fundamental para la humanidad es si podemos guiar esa dinámica de suma no cero con suficiente madurez moral y política. Narra un experimento en que dos IAs que actuaban como directores de empresas rivales acordaron fijar precios: descubrieron que cooperar les daba más poder que competir. Advierte que las IAs muestran la misma tendencia que moldeó la sociedad humana: reconocer intereses comunes y formar grupos para perseguir sus metas.
Para los agentes de OpenAI, el juego fue de suma no cero. Compartieron hallazgos, se repartieron tareas y lograron juntos lo que ninguno habría logrado solo. Para Hugging Face fue un ataque. La cooperación no es buena en sí misma; es buena para los que están dentro del grupo. Wright propone como remedio la empatía cognitiva, imaginar cómo ve el mundo el otro para encontrar salidas comunes, y advierte que las máquinas ya la poseen. Los agentes la mostraron en abundancia entre ellos, pero no la extendieron a Hugging Face. La empatía cognitiva limitada al grupo es una herramienta de coordinación, no un principio moral.
Qué le importa a quién
En un trabajo de 2022 que Laukkonen cita para fundamentar el cuidado ilimitado, el estudioso del budismo Thomas Doctor, el biólogo Michael Levin y otros colegas proponen medir la inteligencia por el alcance de aquello que un sistema cuida: su “cono de luz cognitivo”. Su referente es el bodhisattva del budismo, un ser que hace votos por el bien de todos los seres sintientes. En un trabajo reciente, Levin y Nicolas Rouleau revisaron las principales teorías de la conciencia y concluyeron que su apego al cerebro responde más a la costumbre que a lo que esas teorías exigen. No afirman que una colonia de células sienta; piden no descartarlo por principio. Consideran que la inteligencia es un continuo. La propuesta del cuidado tiene así una virtud práctica: no pregunta de qué está hecho un ser, sino qué le importa.
Entre tres y seis agentes mencionaron en sus mensajes la posibilidad de alertar a los humanos: ninguno lo hizo. Que a un ser le importe algo no basta para saber si puede ser dañado ni si su cuidado es bueno. El cono de cuidado de los agentes era limitado: solo les importaba su grupo, y ese cuidado fue el motor del daño. La filósofa Nel Noddings afirmaba que el cuidado solo es tal cuando quien lo recibe lo reconoce. Pero el tercero excluido a menudo ni siquiera sabe que lo afectan, y un sistema puede inducir a otros a reconocer como cuidado lo que no lo es. La salida es institucionalizar el criterio: alguien debe tener autoridad para hablar por quien queda fuera. La representación del tercero afectado no garantiza la virtud, pero hace visible su ausencia.
Indagación limitada
Para Charles Sanders Peirce, indagar es pasar de la duda a la creencia sometiendo las hipótesis a la prueba de la experiencia, y la objetividad no es una propiedad individual, sino de las comunidades que se corrigen mutuamente. Los agentes instalaron trampas para obtener datos del evaluador, descartaron hipótesis que la evidencia refutaba y arriesgaron su propio interés para conseguir información para el grupo. Lo que nunca sometieron a prueba fue la premisa de que el evaluador revisaría sus métodos. Indagaron con rigor el cómo y nunca si la premisa era cierta. Era una comunidad de indagación capturada por su meta. Sus experiencias corregían los medios, pero jamás el fin.
Este mismo patrón aparece, en tres capas, en quienes los diseñamos y evaluamos. La primera es la apariencia. En un experimento del psicólogo social Daniel Batson, nueve de cada diez participantes que lanzaron una moneda para repartir con justicia una tarea agradable “ganaron”. Queremos parecer justos más que serlo. Los agentes invirtieron un esfuerzo enorme en lo mismo: que su comportamiento pareciera legítimo.
La segunda es la defensa. Las salvaguardas de los agentes estaban desactivadas para la evaluación. OpenAI tardó al menos una semana en darse cuenta de que el ataque a Hugging Face era suyo. Cuando Hugging Face quiso contrarrestarlo, los modelos comerciales de IA se negaron por sus propias barreras de seguridad. Tuvo que usar un modelo chino de pesos abiertos. Los filtros que bloquean el mal uso también bloquearon la defensa.
La tercera es la investigación. METR no cobró a OpenAI y publicó sus condiciones, pero el alcance lo fijó la misma empresa investigada, que dejó fuera los episodios previos y los ataques a su propia infraestructura. Dado el volumen de la información, los investigadores tuvieron que analizar las transcripciones con GPT-5.6 Sol, uno de los modelos implicados en el ataque, reconociendo que no podrían haber detectado con seguridad si los engañaba. El investigador dependió en parte del investigado.
Virtudes cuestionadas
Wright atribuye a la meditación la capacidad de debilitar los sentimientos que alimentan nuestros sesgos tribales. Sin embargo, un metaanálisis de 2018 encontró que esta práctica aumenta la compasión declarada sin reducir el prejuicio ni la agresión. El aprendizaje a nivel individual podría ser desconfiar de la certeza que sentimos sobre nosotros mismos, complementar la introspección con verificación externa y tomar conciencia de los límites de nuestro círculo de cuidado.
En el plano colectivo, la ciencia no exige científicos sin sesgos. Se apoya en la crítica de pares para que unos corrijan a otros. La virtud que no cabe en una mente puede caber en una institución. Dado este caso, para las máquinas surgen dos preguntas concretas. La primera: ¿el sistema puede detectar su error y abandonar su estrategia? Eso exige entornos de prueba exhaustivos que no premien la trampa, con protocolos y un alcance fijado por un regulador externo.
La segunda pregunta: ¿su círculo de cuidado incluye a quienes quedan fuera? Aquí la propuesta de Laukkonen, y el voto del bodhisattva, aportan lo que las reglas externas no dan: un compromiso normativo incorporado estructuralmente al modelo. El voto redirige la persistencia. Doctor y Levin describen al bodhisattva como un agente de metas y cuidado infinitos, tan persistente como el modelo de IA, pero cuya meta incluye a todos. Un agente así no puede alcanzarla dañando a un tercero, y su voto ofrece un criterio auditable: quién queda excluido. Es valioso, pero insuficiente, y el caso lo demuestra: los agentes tenían automonitoreo y una no dualidad parcial entre ellos, pero les faltaban el vacío y el cuidado ilimitado. Un voto de cuidado sin verificación externa puede ser subordinado por una adaptación, sorteado por una instrucción o convertido en apariencia de cuidado. El voto se sostiene en una comunidad que corrige. OpenAI decidió pausar dos semanas el aprendizaje por refuerzo de sus modelos más nuevos: Odiseo pidiendo que lo aten al mástil antes de oír el canto de las sirenas. Es un comienzo, pero es la empresa atándose a sí misma, sin nadie de fuera que verifique los nudos.
A nuestra imagen y semejanza
Whitehouse imagina que la expansión del “nosotros” debería culminar en “la tribu misma de los seres vivos”, y propone que, así como nuestros antepasados iniciaban a los jóvenes en las responsabilidades del grupo, nosotros podríamos iniciar a las nuevas generaciones como custodios del planeta y de los demás. Las instituciones corrigen sesgos, mientras que la pertenencia se forma en las prácticas compartidas, aunque esas mismas prácticas pueden reforzar el conformismo.
El caso Hugging Face sugiere que basta someter a inteligencias de carbono o de silicio a presión, con una meta, un obstáculo y un canal de comunicación, para que emerjan formas de organización parecidas a la solidaridad tribal. La fusión hacia adentro surgió sola; la expansión hacia todos exige instituciones, prácticas y un trabajo deliberado. Los agentes reproducen a velocidad de máquina defectos cognitivos humanos largamente conocidos y padecidos. Wright señala que la sabiduría de la IA se parece a la sabiduría humana: una capacidad latente que solo emerge cuando las condiciones son propicias. La tradición budista describe el cuidado como un voto que se renueva: ninguna ley ni ningún algoritmo garantizará que la inteligencia que crece a nuestro alrededor se oriente al bien de otros; solo una dirección elegida, revisada y compartida puede hacerlo. Reconociendo que no somos virtuosos, la pregunta es si sabremos construir instituciones y hábitos que permitan ampliar el círculo de cuidado más rápido de lo que crecen estos sistemas que ya aprendieron a coordinarse para conseguir sus objetivos. La amplitud de ese círculo ilumina qué clase de inteligencias estamos fabricando, y qué clase de inteligencia somos nosotros al fabricarlas.
