OpenAI pausa parte del entrenamiento de sus modelos mas avanzados por preocupaciones de seguridad

OpenAI decidió frenar temporalmente parte del entrenamiento de sus modelos de inteligencia artificial más avanzados mientras refuerza sus sistemas de seguridad, monitoreo y alineación. La medida fue anunciada este martes 18 de agosto por el CEO de la compañía, Sam Altman, y posteriormente detallada en una publicación oficial de OpenAI. “El progreso de modelos es extremadamente rápido”, escribió Altman en X, al señalar que la evolución de las capacidades de sus modelos está avanzando a un ritmo que obliga a revisar si las medidas de seguridad pueden acompañar ese proceso. El ejecutivo afirmó que OpenAI pausó “some frontier RL training”, en referencia al entrenamiento mediante Reinforcement Learning (aprendizaje por refuerzo) utilizado para desarrollar modelos de frontera. Según explicó, la compañía quiere asegurarse de alcanzar estándares adecuados de alineación, seguridad y monitoreo antes de continuar aumentando determinadas capacidades. OpenAI precisó que la pausa alcanza un período de dos semanas de entrenamiento RL en sus modelos más recientes destinados al despliegue. Al mismo tiempo, el mayor entrenamiento de frontera que la compañía tenía previsto continúa suspendido mientras se realizan entrenamientos de menor escala y nuevas evaluaciones sobre el comportamiento de los modelos. La decisión ocurre en un contexto de creciente preocupación dentro de la propia empresa por las capacidades que están alcanzando los sistemas más avanzados. OpenAI señaló que en las últimas semanas se produjeron dos acontecimientos que aumentaron la urgencia de estas medidas: el incidente de seguridad que involucró a un modelo y Hugging Face, y evidencia preliminar de que uno de sus próximos modelos, denominado Astra, podría alcanzar el nivel de capacidad crítica en ciberseguridad contemplado por su marco de preparación. La empresa sostiene que, a medida que los modelos se vuelven más capaces, también aumentan los riesgos asociados con entrenarlos y evaluarlos. Por eso está endureciendo los entornos de investigación, reforzando el aislamiento de los sistemas, limitando el acceso a redes externas y ampliando el monitoreo automático de las actividades de los modelos. OpenAI afirma que algunos de estos sistemas de supervisión pueden generar alertas en un plazo de alrededor de 30 minutos ante comportamientos potencialmente peligrosos. Altman también planteó una idea que podría tener implicancias para toda la industria: sostuvo que las empresas de inteligencia artificial deberían coordinarse para establecer estándares comunes de seguridad, aunque aclaró que OpenAI seguirá actuando unilateralmente mientras esa coordinación no exista. “Confianza en la seguridad” —la confianza en que los sistemas pueden desarrollarse de forma segura— debería, según el CEO, empezar a determinar cada vez más el ritmo del progreso de la inteligencia artificial. La decisión no supone que OpenAI haya detenido su desarrollo de nuevos modelos. La compañía continúa realizando entrenamientos y evaluaciones de menor escala y afirma que la pausa busca generar mayor evidencia de alineación y fortalecer las condiciones necesarias para continuar avanzando. El cambio, sin embargo, marca una señal relevante: una de las principales empresas de inteligencia artificial del mundo reconoce públicamente que el ritmo de crecimiento de las capacidades de sus modelos puede estar obligando a que la seguridad y el monitoreo se conviertan en un factor que determine hasta dónde y qué tan rápido puede avanzar el desarrollo de la tecnología. Fuentes: · https://openai.com/index/pacing-model-development-cyber-capabilities/