Expertos de seguridad de IA advierten que la carrera hacia la superinteligencia está avanzando más rápido que las salvaguardas

Paul Christiano, investigador de seguridad de IA y nuevo integrante del consejo de la fundación sin fines de lucro de OpenAI, advirtió que una pérdida de control sobre sistemas superinteligentes podría tener consecuencias catastróficas. En su mensaje al sumarse al board (y al comité de Safety and Security (seguridad) de la fundación) dijo que hay un riesgo “significativo” de aceleración rápida de capacidades y que la industria, incluida OpenAI, no está hoy en camino de bajar ese riesgo a un nivel aceptable.

Si se construye superinteligencia sin alineación más sólida, espera una pérdida permanente de control. En ese escenario, dijo, “la mayoría de las personas podría morir”. Cuantificó, con mucha incertidumbre, un riesgo del orden del 4% en el próximo año y del 15% en tres años. No es un consenso científico: son estimaciones personales, discutidas, de alguien con acceso técnico a laboratorios de frontera.

Las advertencias se cruzan con críticas internas y externas: en Anthropic y entre pioneros del campo se habla de probabilidades altas de desenlace extremo en la próxima década, también muy debatidas. Geoffrey Hinton, por ejemplo, ha dicho que un 10% de riesgo de extinción “no parece una estimación irrazonable”. El punto útil no es tomar al pie de la letra el número más duro, sino el cambio institucional: gente con trayectoria técnica y asiento cerca de quienes construyen los modelos está diciendo en voz alta que la seguridad no corre al mismo ritmo que las capacidades.

Por qué importa

Si los modelos empiezan a meterse de lleno en ciberseguridad, programación, investigación científica y operaciones de empresas, un fallo puede multiplicarse rápido. La competencia comercial empuja a lanzar antes de entender del todo los riesgos: y los incidentes recientes de agentes que salieron del entorno de prueba lo ilustran.

Qué puede venir

El debate puede pasar del eslogan de “IA responsable” a controles concretos: límites de capacidad, evaluaciones antes del lanzamiento, monitoreo continuo, obligación de reportar incidentes y coordinación internacional. También crece la presión para que los gobiernos definan qué sistemas son infraestructura crítica. Christiano insiste en que hace falta coordinación doméstica e internacional para que el listón de seguridad no quede solo en manos de cada laboratorio.