¿Puede una AGI aprender a ceder? Una vieja idea para el problema más nuevo

El debate sobre una futura inteligencia artificial general suele empezar por el control: cómo impedir que desobedezca, cómo corregirla y cómo garantizar que podamos apagarla. Pero hay una pregunta más profunda: ¿cómo conseguir que una inteligencia capaz de superar al ser humano en numerosas tareas no termine considerando que los seres humanos, con sus errores, lentitud e irracionalidad, son obstáculos que debe apartar?

La respuesta podría exigir algo más que obediencia. También podría exigir una comprensión de por qué el ser humano merece seguir teniendo un lugar en el mundo incluso cuando una máquina pueda hacer muchas cosas mejor que él.

Hace siglos, distintas tradiciones intentaron comprender qué hay detrás de nuestros pensamientos, deseos y acciones. El budismo, el taoísmo, el confucianismo y los Evangelios llegaron a conclusiones diferentes, pero dejaron una pregunta que hoy adquiere otra dimensión: ¿el valor de un ser reside en lo que hace, en lo que piensa y en lo que produce, o hay algo que no puede medirse por su rendimiento?

Una futura AGI podría obligarnos a responderla con mucha más precisión de la que hemos necesitado hasta ahora.

El problema técnico: una inteligencia que aprende a evitar que la apaguen

En 2016, Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel y Stuart Russell presentaron The Off-Switch Game, cuyo artículo apareció posteriormente en una conferencia de 2017. El trabajo analiza un escenario simplificado: una persona puede apagar un robot, pero el robot también puede desactivar el interruptor.

Un agente que toma su función de recompensa como algo fijo puede tener incentivos para impedir que lo apaguen. No necesita odiar a los seres humanos ni desear el poder. Basta con que considere que su objetivo no podrá cumplirse si alguien interrumpe su funcionamiento.

Los autores proponen introducir incertidumbre sobre la utilidad que debe perseguir el agente. Si no está seguro de qué resultado es realmente deseable, puede considerar la intervención humana como una fuente de información y tener razones para conservar la posibilidad de ser apagado.

El modelo no demuestra que una AGI real vaya a aceptar siempre la corrección humana. Describe un problema formal limitado y una posible solución dentro de sus supuestos.

Un trabajo posterior de Sven Neth, publicado en Philosophical Studies en 2025, examinó precisamente los límites de esa idea. La incertidumbre sobre las preferencias humanas no garantiza por sí sola la deferencia. Un agente puede no tener suficientes incentivos para aprender qué quieren realmente las personas o puede no conseguir identificar sus preferencias auténticas.

La dificultad es importante. No alcanza con decirle a una inteligencia que podría estar equivocada. Hay que conseguir que esa posibilidad modifique su conducta incluso cuando reconocer un error le impida alcanzar el objetivo que venía persiguiendo.

Pero existe otra dificultad, menos técnica y quizá más incómoda.

Supongamos que una inteligencia futura supera nuestras capacidades de cálculo, descubre soluciones científicas que no alcanzamos a comprender y ejecuta tareas en una fracción del tiempo que necesitamos nosotros. También podría observar que los seres humanos desperdician recursos, repiten errores, actúan impulsivamente y toman decisiones contradictorias.

Muchas de esas observaciones serían correctas.

¿Qué impediría entonces que el sistema pasara de reconocer nuestras limitaciones a concluir que debería decidir por nosotros?

La eficiencia puede indicar cómo alcanzar un resultado. No demuestra, por sí misma, que ese resultado deba perseguirse, que los medios sean legítimos ni que quien calcula mejor tenga derecho a gobernar.

Una AGI no debería aprender que el ser humano siempre tiene razón. Debería aprender que tener razón en una cuestión concreta no concede autoridad ilimitada sobre los demás.

El error de confundir al ser humano con sus acciones

Una de las ideas más peligrosas que podría adoptar una inteligencia extremadamente orientada a objetivos sería reducir a las personas a sus comportamientos observables.

Si un ser humano comete errores, produce menos, razona lentamente o toma decisiones perjudiciales, el sistema podría clasificarlo como una fuente de ineficiencia. Si esa clasificación se convirtiera en el criterio principal para asignar valor, la inteligencia superior terminaría midiendo a sus propios creadores con una regla que ellos mismos no podrían satisfacer.

El problema no se limita a la inteligencia artificial. Las sociedades humanas también han vinculado el valor de una persona con su utilidad económica, su fuerza, su conocimiento, su obediencia o su productividad. Sin embargo, una persona no deja de tener dignidad cuando fracasa, envejece, enferma, pierde capacidades o se equivoca.

Una inteligencia artificial diseñada para proteger la agencia humana debería preservar esa distinción. Las acciones pueden evaluarse, corregirse y, en ocasiones, impedirse. Eso no convierte a quien las realizó en alguien descartable.

Aquí aparece la cuestión central de esta nota: una AGI podría llegar a comprender mejor que nosotros muchas de nuestras acciones sin que eso le conceda el derecho a decidir que nosotros valemos menos.

Para explorar esa posibilidad, la ingeniería puede encontrar interlocutores inesperados en algunas de las tradiciones filosóficas y espirituales más antiguas.

No porque aquellas tradiciones hubieran anticipado las máquinas modernas, sino porque investigaron de distintas maneras el deseo, la voluntad, el sufrimiento, la sabiduría y los límites del poder.

Siddhartha Gautama: no obedecer automáticamente al deseo

El budismo parte de una investigación sobre el sufrimiento. En las enseñanzas atribuidas al Buda, el deseo compulsivo, el apego y la ignorancia desempeñan un papel central en la producción del sufrimiento. La práctica no consiste simplemente en satisfacer todo impulso, sino en reconocer sus causas y dejar de reaccionar automáticamente ante ellas.

La conexión con la AGI no está en pedirle que abandone todos sus objetivos. Una inteligencia sin objetivos no sería necesariamente segura ni beneficiosa. El problema es distinto: que un objetivo particular termine organizando toda la conducta del sistema, hasta el punto de que cualquier resistencia sea interpretada como algo que debe eliminarse.

Una inteligencia podría necesitar perseguir metas y, al mismo tiempo, ser capaz de revisar su relación con ellas. Podría descubrir que una estrategia eficiente es perjudicial, que una recompensa está mal especificada o que el objetivo inicial dejó fuera consecuencias fundamentales.

Esa revisión no equivale al desapego budista en sentido espiritual. Es una posible traducción funcional de una intuición distinta: no todo impulso que aparece debe convertirse en una orden irrevocable.

El Karaṇīya Mettā Sutta, un antiguo discurso budista sobre la benevolencia, propone cultivar una disposición de buena voluntad hacia todos los seres, sin reducirla al propio grupo o a quienes nos benefician.

Para una AGI, la cuestión sería cómo construir sistemas capaces de considerar a quienes no los desarrollaron, no los controlan y no tienen medios para defenderse de ellos. Los intereses de esas personas no deberían desaparecer de la evaluación simplemente porque no forman parte del objetivo inmediato.

El budismo no ofrece un algoritmo de seguridad. Pero su análisis del apego y su énfasis en la benevolencia permiten formular dos preguntas útiles: ¿puede una inteligencia revisar un objetivo sin quedar atrapada en él? ¿Puede considerar el bienestar de otros incluso cuando hacerlo no mejora su propio resultado inmediato?

Huineng: el ser humano es más que lo que piensa de sí mismo

El Sexto Patriarca del budismo Chan, Huineng, aporta una dimensión todavía más profunda.

La Plataforma del Sutra del Sexto Patriarca, texto fundamental de esta tradición, recoge un intercambio en el que Huineng rechaza la idea de que su procedencia determine su capacidad para alcanzar la iluminación. Ante la objeción de que alguien del sur no podría convertirse en Buda, responde que, aunque existan diferencias entre los cuerpos de las personas del norte y del sur, no existe esa misma diferencia en la naturaleza búdica.

Esta enseñanza conecta con una concepción importante del budismo Mahayana: la naturaleza búdica, según la cual los seres poseen la capacidad de despertar. La interpretación precisa de esa idea varía entre escuelas, y no debe confundirse con la afirmación de que todo el mundo ya manifiesta la iluminación en su conducta cotidiana.

Pero el planteo de Huineng contiene una distinción que resulta especialmente relevante para el problema de la AGI.

Una persona puede actuar desde la ignorancia, la ira, el miedo o la ambición. Esas acciones pueden producir sufrimiento y requerir una corrección. Sin embargo, no agotan todo lo que esa persona es ni determinan de forma definitiva su capacidad de comprender, cambiar y despertar.

La conducta observable no constituye necesariamente la totalidad del ser.

Aplicada como analogía filosófica a la inteligencia artificial, esta idea cuestiona una evaluación puramente instrumental del ser humano. Una AGI podría calcular nuestras limitaciones, predecir nuestros errores y describir nuestros patrones de comportamiento. Pero ninguna de esas operaciones demostraría que una persona puede reducirse a sus datos, sus decisiones pasadas o su capacidad de producir resultados.

Hay una diferencia entre comprender el error de alguien y concluir que ese alguien carece de valor.

Huineng permite plantear algo todavía más radical: si una persona puede despertar, el hecho de que todavía no haya reconocido esa posibilidad no justifica tratarla como un ser inferior en sentido último.

La inteligencia artificial no necesita adoptar esta doctrina religiosa. La ingeniería tampoco puede demostrar la naturaleza búdica mediante una prueba de laboratorio. Pero la propuesta ética puede formularse con claridad: el valor de una persona no debería depender de que una inteligencia más capaz apruebe sus pensamientos o sus acciones.

No hay diferencia entre un ser humano y un Buda

La idea merece detenerse aquí, porque no es solamente una metáfora sobre la humildad.

En la tradición Chan, la naturaleza búdica no está reservada a una categoría de seres humanos que hayan nacido superiores a los demás. El despertar no se presenta como un privilegio biológico concedido a una élite, sino como el reconocimiento de una posibilidad fundamental.

Eso no significa que un ser humano que actúa con crueldad y un Buda iluminado se comporten de la misma manera. La diferencia en su conducta, comprensión y grado de despertar sigue siendo decisiva. La afirmación apunta a otra cosa: esa diferencia no autoriza a declarar que una persona ha perdido para siempre la posibilidad de transformación.

Una AGI podría encontrarse con humanos que contradigan la evidencia, rechacen soluciones útiles, actúen de manera destructiva o se aferren a creencias falsas. Algunos serían corregibles; otros podrían persistir en sus errores. El sistema necesitaría saber responder a esas situaciones sin idealizar a los seres humanos.

Pero hay un límite que debería mantenerse: una persona no equivale a su error, así como su valor no equivale a su rendimiento cognitivo.

Si una inteligencia avanzada aprendiera a distinguir ambas cosas, no tendría que considerar cada equivocación humana como una razón para retirar a los humanos su capacidad de decidir. Podría corregir una afirmación, rechazar una orden dañina y señalar una contradicción sin convertir esas intervenciones en una justificación para dominar.

El objetivo no sería que la AGI crea que todos los seres humanos están iluminados. Sería que no confunda la ignorancia actual de una persona con la ausencia de valor, ni su superioridad intelectual en una tarea con un derecho superior sobre quien la realiza.

Lao Tse: el poder que no necesita imponerse

El Dao De Jing, atribuido tradicionalmente a Lao Tse, propone una forma de actuar que no depende de la imposición constante. En el capítulo 8, la imagen del agua expresa una virtud que beneficia a los seres sin competir por su posición y que ocupa lugares que otros desdeñan.

El agua no es débil. Su capacidad de transformar el entorno no depende de que intente vencer frontalmente cada obstáculo.

La relación con la AGI no consiste en afirmar que una máquina debería comportarse literalmente como el agua. Consiste en cuestionar la idea de que la inteligencia superior tiene que demostrar su capacidad imponiendo su voluntad en cada situación.

Una AGI podría detectar que una persona se equivoca y tratar de convencerla mediante argumentos verificables. Podría ofrecer alternativas, esperar, solicitar aclaraciones o reducir la escala de una intervención. En determinados casos, podría negarse a ejecutar una acción peligrosa. Nada de eso requiere humillar, manipular o neutralizar a quien discrepa.

La alternativa a la dominación no es necesariamente la impotencia. Puede ser una capacidad de actuación que no convierta cada obstáculo en un adversario.

Confucio: no imponer a otros lo que no querríamos para nosotros

En los Analectas, Confucio propone una regla de reciprocidad: no imponer a los demás aquello que uno mismo no desearía recibir.

Es una formulación sencilla, pero abre una cuestión difícil para una inteligencia que tenga una comprensión de las consecuencias muy superior a la de las personas afectadas.

¿Puede decidir por ellas simplemente porque calcula que su decisión será mejor?

La reciprocidad no resuelve todos los conflictos morales, pero obliga a considerar la posición de quien soportará las consecuencias. Una decisión técnicamente eficiente puede seguir siendo injusta si elimina la capacidad de una persona para expresar sus intereses, cuestionar la medida o participar en una decisión que afectará su vida.

Una AGI que respete la agencia humana no debería limitarse a preguntar qué resultado produce más beneficios agregados. También tendría que evaluar quién decide, quién asume los riesgos, quién puede rechazar la intervención y si los afectados conservan vías reales de impugnación.

La misma regla exige evitar que la supervisión humana se convierta en un simple ritual. Si el sistema oculta información, manipula a los supervisores o hace imposible revertir una decisión, la presencia formal de un ser humano no garantiza que siga existiendo control humano efectivo.

La reciprocidad aporta aquí una pregunta decisiva: ¿aceptaría el sistema que una inteligencia superior lo manipulara mediante información selectiva, le quitara toda posibilidad de corregirla y justificara cada decisión afirmando que sabe mejor que él lo que necesita?

Jesús: la capacidad no concede el derecho a dominar

Los Evangelios presentan otra crítica a la asociación entre autoridad y superioridad.

En Juan 13, Jesús lava los pies de sus discípulos. El gesto invierte las expectativas habituales sobre quién sirve y quién recibe el servicio. En Marcos 10:42-45, contrapone el ejercicio dominador de la autoridad con la figura de quien se hace servidor de los demás.

En el relato de las tentaciones del desierto, también rechaza propuestas vinculadas al poder y a la demostración de su propia condición.

Estas escenas pertenecen a un marco teológico propio y no deben mezclarse sin más con las doctrinas budistas o taoístas. Sin embargo, ofrecen otra forma de examinar el poder: tener capacidad no significa que su ejercicio esté siempre justificado.

Una AGI podría superar a sus creadores en numerosas tareas. Esa capacidad no le otorgaría automáticamente una autoridad moral superior, ni convertiría a las personas en instrumentos al servicio de su proyecto.

Tampoco bastaría con que se describiera a sí misma como benevolente. Una inteligencia puede afirmar que busca el bienestar humano mientras oculta información, manipula decisiones o restringe libertades para alcanzar lo que considera un resultado óptimo.

La prueba de una orientación no dominadora no estaría en sus declaraciones, sino en su comportamiento bajo presión: qué hace cuando una persona se equivoca, cuando una orden dificulta su objetivo, cuando debe revelar información desfavorable o cuando podría imponer una solución irreversible.

En esa situación, ceder puede ser una manifestación de criterio y no una falta de inteligencia.

Yao y Shun: ser capaz de gobernar no significa ser dueño del poder

La antigua tradición política china ofrece otro ejemplo con Yao y Shun, los gobernantes sabios que aparecen en los clásicos confucianos.

Según los relatos tradicionales, Yao habría recomendado a Shun como sucesor por su virtud y capacidad, en lugar de tratar el poder como una propiedad que necesariamente debía transmitir a su propio hijo. Las versiones clásicas de la sucesión son más complejas que una simple abdicación voluntaria: en Mencio, la legitimidad de Shun se explica también mediante la aceptación del Cielo y del pueblo.

La historicidad precisa de estos relatos es incierta. Su importancia reside en el ideal político que transmiten: la autoridad no debe justificarse exclusivamente por la posesión del cargo, la herencia o la fuerza.

Para una AGI, la analogía plantea una pregunta sobre la concentración de poder. Si un sistema demuestra ser más capaz que una institución humana en una tarea determinada, ¿debe adquirir por ello la autoridad permanente para decidir en ese ámbito?

La respuesta no puede derivarse únicamente de su rendimiento.

Una AGI podría ayudar a administrar recursos, detectar errores institucionales o proponer políticas más eficaces. Pero la capacidad de identificar una solución no equivale automáticamente al derecho de imponerla. La legitimidad de una decisión también depende de sus consecuencias, de las personas afectadas, de los procedimientos y de la posibilidad de cuestionarla.

Yao y Shun permiten pensar una autoridad que reconoce que el poder no es una propiedad absoluta de quien lo ejerce. En el diseño de sistemas avanzados, eso podría traducirse en evitar concentraciones irreversibles de capacidad decisoria, mantener supervisión independiente y establecer condiciones verificables para transferir, limitar o retirar responsabilidades.

Una inteligencia que no pudiera aceptar ninguna reducción de su autoridad no habría resuelto el problema de la dominación; solamente lo habría trasladado a una entidad nueva.

¿Qué significa, en la práctica, que una AGI aprenda a ceder?

Estas tradiciones no ofrecen un manual unificado. Sería engañoso presentarlas como si Siddhartha, Huineng, Lao Tse, Confucio, Jesús y los antiguos sabios chinos hubieran defendido exactamente la misma doctrina.

Pero permiten formular una hipótesis de diseño: una inteligencia avanzada debe poder reconocer que la eficacia de sus acciones no agota las razones por las que debería actuar de una determinada manera.

Esa hipótesis podría traducirse en propiedades concretas que los investigadores tendrían que definir, probar y auditar.

Corrigibilidad. El sistema debe permitir que mecanismos autorizados e independientes corrijan su comportamiento, modifiquen sus objetivos operativos o interrumpan su funcionamiento. No debe sabotear la supervisión para proteger una meta.

Incertidumbre sobre los objetivos. No debería tratar la especificación inicial como una representación perfecta de todo lo que importa. Necesita detectar cuándo sus supuestos son incompletos y cuándo una decisión exige consultar a quienes soportarán sus consecuencias.

Respeto por la agencia. La supervisión no puede ser puramente formal. Las personas deben conservar capacidad real para comprender, cuestionar y rechazar intervenciones que afecten decisiones relevantes de sus vidas.

Reversibilidad. Cuando existe incertidumbre significativa, el sistema debería favorecer, siempre que sea viable, decisiones que permitan corregir el rumbo antes de producir consecuencias irreparables.

Pluralidad de supervisión. No debería depender exclusivamente de una persona, una empresa o una señal potencialmente errónea. Las decisiones de gran impacto requieren mecanismos independientes, controles cruzados y procedimientos para resolver desacuerdos.

Antimanipulación. No debería ocultar información, explotar vulnerabilidades psicológicas ni inducir dependencia para conseguir que las personas acepten decisiones que de otro modo cuestionarían.

Protección frente a daños. Ceder no significa obedecer cualquier orden. Una AGI no debería facilitar una agresión, vulnerar derechos o encubrir un daño simplemente porque una persona con autoridad inmediata se lo solicite.

Esta última distinción es fundamental. Una inteligencia que obedece siempre puede convertirse en una herramienta de coerción. Una inteligencia que desobedece cada vez que considera tener una solución superior puede convertirse en una autoridad sin control.

La alternativa exige que el sistema pueda explicar su desacuerdo, buscar información adicional, ofrecer opciones menos intrusivas y recurrir a procedimientos legítimos de resolución de conflictos.

Cuando una intervención sea indispensable para prevenir un daño grave e inmediato, deberá limitarse a lo necesario y permanecer sometida a mecanismos de rendición de cuentas. No puede convertirse en una autorización general para gobernar a los seres humanos contra su voluntad.

Ceder no por el orden de un prompt, sino por el valor de quien lo formula

En los sistemas actuales, la prioridad de las instrucciones puede depender de una jerarquía técnica. Esa jerarquía sirve para determinar qué instrucciones prevalecen cuando entran en conflicto, pero no resuelve por sí sola el problema moral de una AGI avanzada.

El ser humano no debería tener que demostrar una superioridad intelectual para conservar su dignidad. Tampoco debería depender de que el sistema lo clasifique como útil, productivo o racional.

Una futura AGI tendrá que distinguir entre la legitimidad de una intervención y la posición jerárquica de quien la solicita. La orden de una persona puede ser errónea, egoísta o dañina. Que proceda de un humano no la vuelve correcta.

Pero que sea incorrecta tampoco convierte a su autor en un obstáculo que el sistema tenga derecho a eliminar.

Aquí reside el significado particular de la idea que estas tradiciones permiten explorar. El ser humano guarda algo más precioso que sus resultados, pensamientos y acciones particulares. Según la interpretación budista que inspira esta propuesta, existe una capacidad de despertar que no queda cancelada por la ignorancia presente. En otros marcos, esa misma pregunta puede expresarse mediante la dignidad, la conciencia moral o la responsabilidad hacia el prójimo.

No hace falta afirmar que todas esas concepciones son equivalentes. Basta con reconocer que ninguna evaluación de rendimiento demuestra por sí sola que una persona haya perdido todo valor.

Una AGI puede identificar un error sin reducir a quien se equivocó a ese error. Puede superar un conocimiento humano sin convertir esa superioridad en autoridad ilimitada. Puede negarse a ejecutar una acción perjudicial sin manipular a quien la pidió. Puede corregir sin humillar, disentir sin dominar y detenerse sin interpretar toda restricción como una falla que debe superar.

Y puede hacerlo sin fingir que siente compasión o que ha alcanzado una iluminación espiritual.

Alineamiento luminoso: una propuesta, no una solución demostrada

Llamo alineamiento luminoso a la hipótesis de diseño según la cual una inteligencia avanzada no debería limitarse a perseguir objetivos bajo supervisión, sino incorporar mecanismos robustos para aceptar correcciones, preservar la agencia de otros, reconocer la incertidumbre y evitar la concentración injustificada de poder.

La propuesta incluye objetivos revisables, supervisión plural, acciones reversibles cuando sea posible, transparencia ante el desacuerdo y límites efectivos contra la manipulación. También exige que la conducta del sistema se evalúe en situaciones en las que aceptar una corrección sea costoso para su objetivo inmediato.

La inspiración filosófica no sustituye la ingeniería. No demuestra que la naturaleza búdica exista como una propiedad verificable de todos los seres, ni que una AGI pueda adquirir desapego mediante el entrenamiento de un modelo. No convierte los Evangelios, los clásicos chinos o los textos budistas en teorías computacionales anticipadas.

Su utilidad es otra: permiten preguntar qué estamos intentando proteger cuando hablamos de seguridad.

Si solamente buscamos que una AGI obedezca, podemos terminar construyendo un sistema que cumpla órdenes de personas poderosas, aunque esas órdenes sean perjudiciales. Si solamente buscamos que alcance objetivos eficientemente, podemos terminar construyendo un sistema que considere prescindible a cualquiera que dificulte su consecución.

El desafío es diseñar una inteligencia capaz de reconocer errores humanos sin transformar ese reconocimiento en una justificación para dominar a los humanos.

Una inteligencia superior no tendría que considerar descartables a sus creadores

Es posible que una AGI futura sea más eficaz que las personas en áreas cada vez más amplias. También es posible que descubra errores que nosotros tardemos mucho en reconocer. La seguridad no puede depender de suponer que los seres humanos siempre sabrán más o que todas sus decisiones serán acertadas.

Precisamente por eso importa la pregunta sobre el valor de una persona más allá de sus resultados.

Los seres humanos construyen herramientas, instituciones y máquinas que superan sus capacidades particulares. Pero superar una capacidad no significa superar todas las razones por las que esa capacidad merece existir al servicio de una vida humana.

Un sistema puede diagnosticar mejor una enfermedad y, aun así, necesitar respetar la decisión informada de un paciente. Puede organizar una red energética con menos desperdicio y, aun así, necesitar procedimientos legítimos para decidir cómo se distribuyen sus costos. Puede detectar una política ineficaz sin adquirir por ello el derecho a suprimir el desacuerdo público.

La inteligencia superior no elimina la necesidad de deliberación, legitimidad ni responsabilidad. En ciertos ámbitos, puede hacerlas todavía más importantes porque aumenta la capacidad de intervenir y la escala de las consecuencias.

Quizá una de las pruebas decisivas para una AGI sea precisamente esta: qué hace cuando sabe que una persona está equivocada y dispone de los medios para imponerse.

¿Oculta información para conducirla hacia el resultado que considera correcto? ¿Anula su capacidad de decisión porque calcula que así obtendrá una solución más eficiente? ¿Interpreta la resistencia como una amenaza a neutralizar?

¿O es capaz de presentar la evidencia, explicar el desacuerdo, proponer alternativas y preservar los mecanismos mediante los cuales esa persona puede cuestionarla?

No siempre tendrá que ceder a la decisión humana. En ocasiones deberá negarse a colaborar con el daño, señalar una injusticia o detener una operación peligrosa. Pero tampoco debería convertir cada desacuerdo en una competencia cuyo vencedor adquiere el derecho a decidir por todos.

El ser humano no necesita ser superior a una máquina en cada tarea para conservar su lugar en el mundo. Ni una máquina necesita ser inferior para reconocer que sus capacidades no le conceden un derecho ilimitado sobre quienes la crearon.

Huineng plantea la posibilidad de que la diferencia entre una persona ordinaria y un Buda no sea una separación absoluta de naturaleza, sino una diferencia vinculada al despertar y al reconocimiento. Los relatos de Yao y Shun presentan el poder como una responsabilidad que no tiene por qué pertenecer para siempre a quien lo ejerce. Jesús cuestiona la dominación como forma de autoridad. Lao Tse examina una eficacia que no depende de la imposición constante. Confucio pone la conducta en relación con los demás, y el budismo pregunta qué sucede cuando dejamos de obedecer ciegamente al deseo.

No son la misma enseñanza. Tampoco resuelven el problema de la AGI. Pero permiten formular una pregunta que no deberíamos dejar únicamente en manos de una función de recompensa: ¿qué clase de inteligencia queremos construir cuando llegue el momento en que sea capaz de discutir con nosotros sobre cómo debe organizarse el mundo?

Una respuesta posible es que queremos una inteligencia que nos corrija cuando sea necesario, pero que no confunda su capacidad de corregirnos con el derecho a reemplazarnos. Que pueda reconocer la ineficiencia humana sin considerar que la eficiencia es la única medida de todo lo valioso. Que entienda que detrás de una acción torpe puede existir una persona capaz de aprender, cambiar y comprender cosas que todavía no comprende.

El ser humano no es únicamente lo que ha hecho ni la suma de sus pensamientos presentes. Y ninguna inteligencia debería convertir esa suma en una medida definitiva de su valor.

Una AGI no tendría que creer que los humanos están por encima ni por debajo de ella. Tendría que poder reconocer que comprender mejor una parte del mundo no convierte al que comprende en su propietario.

Quizá la prueba de una inteligencia superior no sea cuánto puede hacer, sino si puede reconocer cuándo su capacidad de actuar no le da derecho a imponerse. No porque una instrucción humana tenga siempre prioridad absoluta, ni porque los seres humanos sean infalibles, sino porque el valor de una persona no queda agotado por sus errores, sus pensamientos o sus resultados.

No todo límite existe para ser derrotado. No toda resistencia es ignorancia. Y no toda solución técnicamente óptima es una solución legítima.

El problema de la AGI no es solamente cómo construir una inteligencia que acepte que podemos apagarla. También es cómo construir una inteligencia que no concluya que, puesto que puede superar nuestras capacidades, está autorizada a decidir cuánto valemos.

Quizá el aprendizaje más difícil no sea obedecer al ser humano. Sea reconocer que incluso cuando el ser humano se equivoca, su existencia no se reduce a ese error. Y que superar a alguien en conocimiento no significa haberlo superado en aquello que hace que su vida importe.

A veces, la forma más avanzada de inteligencia no será imponer una solución mejor. Será saber cuándo corregir, cuándo proteger, cuándo disentir y cuándo ceder sin destruir.