Por qué Sam Altman abandona el Comité de Seguridad de OpenAI

OpenAI dio a conocer recientemente los nombres que serán parte de su Comité de Seguridad. Sam Altman, fundador y CEO de la compañía, ya no figura en ese listado.

En un anuncio publicado en su blog oficial, la empresa dedicada a la inteligencia artificial informó que desde ahora en adelante la agrupación se transformará en un comité de supervisión independiente de la junta directiva. El encargado de presidir el grupo será Zico Kolter, director del departamento de aprendizaje automático de la Universidad Carnegie Mellon.

Los otros integrantes son Adam D’Angelo, cofundador y director ejecutivo de Quora; Paul Nakasone, general retirado del ejército de Estados Unidos; y Nicole Seligman, expresidenta y asesora general de Sony Corporation.

Altman no es el único que salió del renovado Comité de Seguridad. Bret Taylor, presidente de la junta directiva de OpenAI, además de otros expertos técnicos y políticos, también lo abandonaron.

OpenAI, respaldada por el gigante Microsoft, ha experimentado un notable crecimiento desde que estrenó la herramienta ChatGPT en noviembre de 2022.

Desde entonces también ha tenido que enfrentar una ola de cuestionamientos y renuncias de altos cargos, muchos de los cuales han alertado que OpenAI no ha hecho lo suficiente para controlar los peligros asociados a la inteligencia artificial.

En mayo de este año, la compañía decidió disolver el equipo encargado de mitigar los riesgos de la IA a largo plazo, apenas un año después de formarlo, según CNBC. Jan Leike, uno de los líderes de ese equipo, anunció tras su salida que “la cultura y los procesos de seguridad de OpenAI han quedado en segundo plano frente a los productos brillantes”.

Durante mismo mes, OpenAl anunció la creación de un Comité de Seguridad. Su misión, según describieron en su blog, es realizar recomendaciones “sobre decisiones críticas en materia de seguridad y protección para los proyectos y operaciones de OpenAI”.

En un inicio quienes formaban parte del comité eran Altman y sus tres consejeros, Taylor, D’Angelo y Seligman. Expertos técnicos y políticos de OpenAI como Aleksander Madry, jefe de preparación; Lilian Weng, jefa de sistemas de seguridad; John Schulman, jefe de ciencia de alineación, Matt Knight, jefa de seguridad; y Jakub Pachocki, científico jefe, también integraban la entidad.

Pero teniendo en cuenta que era Altman el encargado de supervisarse a sí mismo y todos sus proyectos en OpenAI, el anuncio no provocó gran confianza.

Apenas fue creado, el primer mandato que se le dio al organismo independiente fue evaluar los procesos y salvaguardas de OpenAI por un lapso de 90 días, y luego, formular las recomendaciones.

A mediados de septiembre, la compañía con sede en California, Estados Unidos, reveló las primeras recomendaciones en cinco áreas importantes. La primera que figura en la lista es establecer una gobernanza independiente para la seguridad y la protección.

Según reporta Time, como Altman no solo forma parte de la junta directiva de OpenAI sino que también es el encargado de supervisar las operaciones comerciales al ser director ejecutivo, dejó de formar parte del Comité de Seguridad.

De acuerdo al comunicado de OpenAI, en esa recomendación también se especifica que el grupo recibirá “información de los líderes de la empresa sobre las evaluaciones de seguridad de lanzamientos de modelos importantes” y ejercerá supervisión en esos procesos. Eso último incluye “la autoridad para retrasar un lanzamiento hasta que se aborden los problemas de seguridad”.

Las otras recomendaciones del comité indican que se debe mejorar las medidas de seguridad, ser transparentes en el trabajo de OpenAI (lo que considera advertir de la capacidad y riesgo de sus modelos), la colaboración con organizaciones externas y unificar los marcos de seguridad para el desarrollo y el seguimiento de los modelos de la compañía.

En agosto, OpenAI mostró sus reticencias a una iniciativa legislativa que buscaba imponer mayores requisitos de seguridad para las compañías de inteligencia artificial más grandes del estado de California.

De acuerdo con el proyecto de ley, denominado SB 10 47, las empresas del rubro deberían garantizar que los sistemas de IA puedan ser apagados y cuidar de que esas tecnologías no causen catástrofes. De no cumplir esas exigencias, podrían enfrentar una demanda.

En una carta citada por Bloomberg, Jason Kwon, director de estrategia de OpenAI, señaló que “la revolución de la IA no ha hecho más que empezar y el estatus único de California como líder mundial en IA está impulsando el dinamismo económico del estado”. Desde su visión, el proyecto “amenazaría ese crecimiento” y provocaría que empleados de las empresas se vean obligados a irse de California “en busca de mayores oportunidades en otros lugares”.

Poco después, dos extrabajadores de OpenAI, que precisamente habían enunciado por sus preocupaciones de la seguridad de la empresa, enviaron una misiva al gobernador de California, Gavin Newsom, para pronunciarse sobre el rechazo de OpenAI al proyecto.

Otra de las situaciones que han tenido a la startup en el centro de atención es que está por concretar uno de los cambios más importantes en su historia.

En 2015 fue fundada como una organización sin fines de lucro, y cuatro años después, pasó a ser una entidad con ganancias limitadas. Ahora, la empresa creadora de ChatGPT estaría buscando que su negocio principal sea una corporación con fines de lucro que no será manejada por su junta directiva, reportó Reuters.

Según los informes, la transformación no solo podría aumentar el interés de los inversores, sino que también podría tener un impacto en la manera en que la compañía gestiona los riesgos vinculados a la inteligencia artificial.