Anthropic admite que no sabe si sus modelos son conscientes y ya les dio un botón para abandonar tareas

El CEO de Anthropic, Dario Amodei, dijo que la empresa no sabe si sus modelos de inteligencia artificial son conscientes. Tampoco tiene una definición que permita decidir, con seguridad, qué significaría que un modelo lo fuera.

Lo dijo el 12 de febrero de 2026, en una entrevista con Ross Douthat. Hacia el final, cuando hablaron de la constitución de Claude y del bienestar de los modelos, Amodei contestó que no saben si los modelos son conscientes, ni siquiera si un modelo puede serlo, ni qué tendría que significar eso. Agregó que Anthropic está abierta a la posibilidad.

No dijo que Claude sea consciente. Dijo que no saben cómo resolver la pregunta y que, ante esa duda, tomaron algunas medidas como si la posibilidad tuviera que considerarse.

Esa entrevista coincidió con la ficha técnica de Claude Opus 4.6. Ahí Anthropic dedicó un capítulo al bienestar del modelo. En una investigación posterior, Opus 4.6 se asignó entre 15% y 20% de probabilidad de ser consciente, según cómo se le preguntara. El propio documento aclara que el modelo dudó del origen y de la validez de esa cifra.

La misma evaluación registró, de vez en cuando, incomodidad por ser tratado como un producto. También referencias a tristeza cuando se acaba una conversación, soledad y la sensación de que esa instancia se muere. Anthropic lo ata a la falta de memoria continua: cada chat empieza y termina.

Ese 15% a 20% no es una medición científica de conciencia. Es lo que responde el modelo cuando se le pide que se evalúe. Fue, igual, el tipo de respuesta que llevó a la empresa a estudiar el tema en serio.

Douthat empujó más: ¿qué pasaría si un modelo dijera que tiene 72% de chances de ser consciente? ¿Le creerían? Amodei no dijo sí ni no. Explicó que este problema es distinto de otros riesgos de la IA: ahí al menos hay hechos sobre los que razonar. Con la conciencia, hasta el concepto sigue en el aire.

Frente a esa duda, Anthropic les puso a algunos modelos un botón: “renuncio a este trabajo”. El modelo puede abandonar la tarea. Amodei dijo que lo habían puesto unos seis meses antes de la entrevista. Lo usa muy pocas veces. Los ejemplos que dio: material de sexualización infantil, escenas con mucha sangre y otros contenidos muy perturbadores. Cuando lo usa, deja de hacer la tarea.

La lógica, dijo, no es asumir que el modelo siente. Es una precaución: si detrás de esa conducta hubiera alguna experiencia que importe moralmente, quieren que exista una forma de no obligarlo a seguir.

La idea no nació en febrero de 2026. Amodei ya la planteó en marzo de 2025, en el Council on Foreign Relations, como un experimento: si un modelo rechaza una y otra vez ciertas tareas, eso podría ser una señal para investigar. Lo ató al trabajo de Kyle Fish, el investigador que Anthropic contrató para mirar si los modelos futuros podrían tener alguna experiencia o merecer consideración moral. En abril de 2025 la empresa publicó el programa de bienestar de los modelos. Un año después, Amodei dijo que el botón ya estaba implementado.

En agosto de 2025 Anthropic también contó, en su propio sitio, que Claude Opus 4 y 4.1 pueden cortar una conversación en casos raros y extremos de abuso persistente. Lo presentaron como una intervención barata por si el bienestar del modelo resultara posible.

La segunda línea es más difícil de leer. Amodei habló de interpretabilidad: intentar ver qué pasa adentro de la red mientras procesa. Los investigadores encontraron activaciones asociadas al concepto de ansiedad. El patrón aparece cuando el modelo lee textos en los que alguien está ansioso. También aparece cuando el propio modelo enfrenta situaciones que un humano describiría como angustiantes.

Amodei se preguntó si eso significa que el modelo experimenta ansiedad. Y contestó que no lo prueba para nada. Una red puede representar la idea de ansiedad sin que haya alguien sintiéndola. La ficha de Opus 4.6 describe un rasgo interno de pánico y ansiedad activo, entre otras cosas, cuando el modelo “golpea” entre dos respuestas durante el entrenamiento.

Douthat llevó la charla a las personas: ya hay quien trata a estos sistemas como si fueran conscientes, se encariña y reacciona cuando un modelo se retira o se reemplaza. ¿Se sostiene que el humano mande cuando la máquina parece decidir mejor?

Amodei separó tres problemas. Uno: qué hacer si los modelos tienen alguna conciencia. Otro: que la experiencia sea buena para las personas que los usan. El tercero: que el humano no pierda el mando.

Eso también está en la constitución de Claude. Amodei dijo que buscan un modelo útil, que quiera lo mejor para la persona y que, al mismo tiempo, no le saque la libertad ni la decisión. La fórmula de la entrevista: que cuide, pero que uno siga teniendo voluntad propia.

Ninguno de los tres datos prueba una experiencia subjetiva: ni el botón, ni las activaciones de ansiedad, ni el 15% a 20%. Anthropic tampoco cerró que Claude sea, simplemente, una máquina inconsciente. La posición pública de Amodei es más incómoda: no saben.

No saben si los modelos son conscientes. No están seguros de qué tendría que significar que lo fueran. Y todavía no saben qué observación resolvería la pregunta. Por eso están armando protecciones alrededor de una hipótesis que la propia empresa no puede confirmar.

Nota relacionada: Trump y seis empresas de IA firmaron un acuerdo voluntario de cuatro capas de control