Su trabajo era asegurarse de que la humanidad estuviese a salvo de la superinteligencia de OpenAI, y han renunciado a su puesto
NurPhoto/Getty Images
- El investigador de aprendizaje automático Jan Leike y el científico Ilya Sutskever acaban de dimitir de OpenAI.
- En esencia, el trabajo de su equipo era asegurarse de que los humanos estén a salvo de la superinteligencia de OpenAI. O lo que es lo mismo, que la IA permanezca alineada con los intereses de la humanidad.
Es demasiado pronto para decir qué significan para la empresa las salidas importantes en OpenAI, o si Sam Altman planea reemplazar a las personas en estos roles con nuevos empleados. Pero este no es un gran día para los agoreros de la IA.
El cofundador de OpenAI, Ilya Sutskever, el científico jefe de la compañía, dijo en X el martes que "tomó la decisión de dejar OpenAI". Sutskever, que calificó de "un honor y un privilegio haber trabajado juntos" con Altman y su equipo, se retiró del puesto y dijo que está "seguro de que OpenAI construirá una AGI (inteligencia artificial general) que sea segura y beneficiosa".
La salida más abrupta fue la de Jan Leike, otro alto ejecutivo de OpenAI. El martes por la noche, Leike publicó una contundente confirmación de dos palabras de su salida de OpenAI en X: "Renuncié".
Leike y Sutskever lideraron el equipo llamado la "superalineación" de OpenAI, que ha experimentado otras salidas importantes de talento en los últimos meses.
"Necesitamos avances científicos y técnicos para dirigir y controlar sistemas de IA mucho más inteligentes que nosotros", explicaba OpenAI sobre este equipo en una publicación del passado 5 de julio de 2023 en su sitio web.
"Para resolver este problema dentro de cuatro años, vamos a formar un nuevo equipo, codirigido por Ilya Sutskever y Jan Leike, y dedicaremos el 20% del cómputo que hemos obtenido hasta la fecha a este esfuerzo".
Por lo tanto, parte del trabajo del dúo fue, en palabras de OpenAI, "garantizar que los sistemas de IA sean mucho más inteligentes que los humanos y sigan la intención humana".
Y el hecho de que aún no existan tales controles es un problema que OpenAI reconoció, según su publicación de julio de 2023.
"Actualmente, no tenemos una solución para dirigir o controlar una IA potencialmente superinteligente y evitar que se vuelva deshonesta. Nuestras técnicas actuales para alinear la IA, como el aprendizaje reforzado a partir de la retroalimentación humana, dependen de la capacidad de los humanos para supervisar la IA", señala su publicación.
"Pero los humanos no podrán supervisar de manera confiable sistemas de inteligencia artificial mucho más inteligentes que nosotros, por lo que nuestras técnicas de alineación actuales no alcanzarán la superinteligencia. Necesitamos nuevos avances científicos y técnicos".
Leike, que trabajó en DeepMind de Google antes de su trabajo en OpenAI, tenía grandes aspiraciones de mantener a los humanos a salvo de la superinteligencia que hemos creado.
"Es como si tuviéramos este difícil problema del que hemos estado hablando durante años y años y años, y ahora tenemos una oportunidad real de resolverlo", dijo Leike en un episodio de agosto de 2023 del pódcast 80.000 Hours.
En su Substack, Leike ha descrito cómo se puede resolver el problema de alineación (cuando las máquinas no actúan de acuerdo con las intenciones de los humanos) y qué se necesita para solucionarlo.
"Tal vez una solución definitiva al problema de la alineación se encuentre en el espacio de los problemas que los humanos pueden resolver. Pero tal vez no", escribió Leike en marzo de 2022.
"Quizá deberíamos recurrir al espacio de los problemas que los humanos pueden resolver. Pero quizá no", escribió Leike en marzo de 2022.
"Al intentar resolver el problema de una vez por todas, puede que estemos intentando conseguir algo que no está a nuestro alcance. En lugar de eso, podemos perseguir un objetivo menos ambicioso que, en última instancia, pueda llevarnos a una solución, un producto mínimo viable (MVP) para la alineación", destacaba lto ejecutivo de OpenAI.
Su propuesta era construir un sistema de IA suficientemente alineado que acelere la investigación de la alineación para alinear sistemas de IA más capaces.
Sutskever, Leike y los representantes de OpenAI no respondieron de inmediato a las solicitudes de comentarios de Business Insider, enviadas fuera del horario laboral habitual.
Conoce cómo trabajamos en BusinessInsider.
Etiquetas: TrendingTecnología,