¿Qué es el proyecto Q* de OpenAI y qué implicaría en el desarrollo de la Inteligencia Artificial?

Estas últimas semanas han sido especialmente agitadas para OpenAI, la empresa de inteligencia artificial (IA) que posee programas como ChatGPT y Dall-E.

Tras una inesperada y breve destitución del director ejecutivo Sam Altman y su posterior regreso a la compañía después de una polémica salida (que duró apenas un par de días), se difundieron dos informes que se refirieron a un presunto plan ultrasecreto de la firma.

Se trata del denominado proyecto Q*.

Y según dijo una fuente bajo anonimato a Reuters, “el nuevo modelo fue capaz de resolver ciertos problemas matemáticos con enormes recursos informáticos, pero, a pesar de que solo realizaba operaciones matemáticas al nivel de los estudiantes de primaria, sus resultados hacían que los investigadores fueran muy optimistas sobre el futuro éxito”.

Informaciones reunidas por The Information a partir de otra fuente anónima aseguraron que Q* facilitaría el desarrollo de “modelos de IA mucho más potentes”, hasta el punto que sus avances “alarmaron a algunos investigadores centrados en la seguridad” de esta tecnología.

Actualmente no se conocen datos oficiales sobre qué es este proyecto. De hecho, esa incertidumbre se ha visto incrementada por algunas contradicciones.

Pese a que una fuente anónima familiarizada con OpenAI dijo a Reuters que algunos especialistas enviaron una carta a la empresa para expresar su preocupación por el potencial de Q*, otra cercana a la junta directiva manifestó a Wired que aquello no era cierto.

En medio de este escenario, se han esbozado múltiples pronósticos en torno a qué es este proyecto y cuáles serían sus implicancias.

Por su parte, Altman dijo en una entrevista con The Verge hace unos días que no tiene “ningún comentario en particular sobre esta desafortunada filtración”.

Dicha afirmación, al menos, sugiere que efectivamente existe.

Desde Wired plantearon que los informes actuales y las declaraciones de las fuentes anónimas permiten inferir que podría tratarse de un plan que OpenAI anunció en mayo, el cual buscaba profundizar en una técnica conocida como “supervisión de procesos”.

Según el medio especializado en tecnología, tenía el objetivo de disminuir errores lógicos en grandes modelos de lenguaje, también conocidos como LLM.

En este sentido, detallaron que —a grandes rasgos— “la supervisión de procesos” consiste en entrenar a los sistemas de IA para que sean capaces de resolver un problema con menores posibilidades de equivocarse, esto después de hacer un desglose de los pasos requeridos.

El experto en IA de la Universidad de Stanford, Andrew Ng, quien también ha dirigido equipos de esta área en firmas como Google, afirmó que mejorar los LLM es un propósito esperable que podría tener el proyecto.

“No son tan buenos en matemáticas, pero tampoco lo son los humanos (...) Sin embargo, si me das un lápiz y un papel, entonces soy mucho mejor en la multiplicación, y creo que en realidad no es tan difícil afinar un LLM con memoria para que sea capaz de pasar por el algoritmo de la multiplicación”.

Según Wired, también existe la posibilidad de que el nombre Q* aluda al concepto de “Q-learning”, es decir, a un método de aprendizaje que ayude a que un algoritmo aprenda a resolver un problema a través de la retroalimentación.

Asimismo, sugirieron que podría referirse a un algoritmo de búsqueda conocido como A*, el cual es usado para que un programa encuentre un camino óptimo para lograr un objetivo.

“El avance de Ilya Sutskever (cofundador y jefe científico de la compañía) permitió a OpenAI superar las limitaciones para obtener suficientes datos de alta calidad para entrenar nuevos modelos (...) La investigación consistió en utilizar datos generados por computadora, en lugar de datos del mundo real, como texto o imágenes extraídas de internet, para entrenar nuevos modelos”, se lee en el informe de The Information.

Frente a este proyecto del que todavía no se saben detalles con seguridad, el especialista en LLM de la Universidad Estatal de Arizona, Subbarao Kambhampati, dijo a Wired que cree que podría incluir el uso de grandes cantidades de datos sintéticos, los cuales podrían haber sido combinados con aprendizaje por refuerzo para entrenar modelos de lenguaje en tareas específicas.

Pese a que pronosticó que este podría resolver problemas de aritmética simple, se mostró escéptico ante la posibilidad de que pueda hacerlo con todos los ejercicios matemáticos.

Anteriormente, según el citado medio, OpenAI ya había recurrido al aprendizaje por refuerzo para mejorar modelos de lenguaje, por lo que no sería inesperado que estén interesados en profundizar en esta técnica.

No obstante, todavía no se conocen certezas en torno a qué es Q*, por lo que las teorías siguen hilándose.

Cuando le consultaron a OpenAI sobre esta temática, desde la empresa de IA prefirieron no hacer comentarios.