En OpenAI están "construyendo el Titanic", denuncia un exempleado que dimitió por cuestiones relacionadas con la seguridad

Matthew Loh
| Traducido por: 
Sam Altman, CEO de OpenAI, llegando este 9 de julio a la conferencia de Sun Valley en Idaho, Estados Unidos.
Sam Altman, CEO de OpenAI, llegando este 9 de julio a la conferencia de Sun Valley en Idaho, Estados Unidos.

Kevork Djansezian/Getty

  • Un antiguo trabajador de OpenAI ha asegurado que, con sus decisiones en materia de seguridad, la empresa va por el camino del Titanic. 
  • William Saunders ha hecho un paralelismo con la arrogancia en torno a la seguridad del Titanic, que se consideró "insumergible". 

Un exempleado del equipo de seguridad de OpenAI ha señalado que la desarrolladora de ChatGPT está siguiendo los pasos de White Star Line, la compañía que construyó el Titanic.

"Realmente no quería acabar trabajando para el Titanic de la inteligencia artificial y por eso dimití", ha declarado William Saunders, que trabajó durante tres años como miembro del personal técnico del equipo de superalineación de OpenAI.

Saunders ha participado en un episodio del podcast del experto en tecnología Alex Kantrowitz que fue publicado el pasado 3 de julio.

"Durante mis tres años en OpenAI, a veces me hacía una pregunta: '¿El camino que seguía OpenAI se parecía más al programa Apolo o al Titanic?'", ha comentado el antiguo trabajador.

Las preocupaciones que ha indicado el ingeniero de software se deben en gran medida al plan de la desarrolladora de ChatGPT de crear una IA general (AGI, por sus siglas en inglés; una inteligencia artificial con una capacidad intelectual similar, cuando no superior, a la del ser humano), pero, al mismo tiempo, teniendo la intención de comercializar productos de pago.

"Están en esta trayectoria para cambiar el mundo y, sin embargo, cuando lanzan cosas, sus prioridades son más como una empresa de productos. Y creo que eso es lo más inquietante", ha afirmado Saunders.

El programa Apolo o el Titanic

A medida que el exempleado pasaba más tiempo en OpenAI, sentía que sus responsables tomaban decisiones más parecidas a "construir el Titanic, dando prioridad a sacar productos más nuevos y brillantes".

Saunders habría preferido un estado de ánimo como el del programa espacial Apolo, que en su día se caracterizó como un ejemplo de proyecto ambicioso que "consistía en predecir y evaluar cuidadosamente los riesgos" mientras se superaban los límites científicos.

"Incluso cuando se produjeron grandes problemas, como en el caso del Apolo 13, tuvieron suficiente redundancia y fueron capaces de adaptarse a la situación para traer a todos de vuelta sanos y salvos", ha relatado el antiguo trabajador de OpenAI en el podcast de Alex Kantrowitz.

El Titanic, por otra parte, fue construido por la White Star Line, que competía con sus rivales por construir cruceros más grandes, ha explicado Saunders, que teme que, al igual que ocurrió con las salvaguardas del Titanic, OpenAI pueda estar confiando demasiado en sus actuales medidas e investigaciones para la seguridad de la IA.

Satya Nadella, CEO de Microsoft.

"Se trabajó mucho para hacer que el barco fuese seguro y construir compartimentos estancos para que pudiesen decir que era insumergible", ha apuntado el exempleado de la desarrolladora de ChatGPT. "Pero, al mismo tiempo, no había suficientes botes salvavidas para todos. Así que, cuando ocurrió el desastre, murió mucha gente".

Sin duda, las misiones Apolo se llevaron a cabo en el contexto de una carrera espacial con Rusia durante la Guerra Fría. También se registraron varias víctimas, entre ellas tres astronautas de la NASA que murieron en 1967 a causa de un incendio durante una prueba.

Desarrollando su analogía a través de un correo electrónico enviado a Business Insider, Saunders ha expresado: "Sí, el programa Apolo tuvo sus propias tragedias. No es posible desarrollar la AGI ni ninguna tecnología nueva con riesgo cero. Lo que me gustaría ver es a la compañía tomando todas las medidas razonables posibles para prevenir esos riesgos".

OpenAI necesita más "botes salvavidas"

El antiguo trabajador de la empresa líder en inteligencia artificial ha declarado a este medio de comunicación que un "desastre del tamaño del Titanic" en el caso de la IA podría transformarse en un modelo que sepa lanzar ciberataques a gran escala, que persuada a las masas en una campaña de una campaña de comunicación política o que ayude a construir armas biológicas.

A corto plazo, OpenAI debería invertir en más "botes salvavidas", según Saunders, como retrasar el lanzamiento de nuevos grandes modelos lingüísticos (LLM) para que los equipos puedan investigar los daños potenciales.

Durante su estancia en el equipo de superalineación, este empleado dirigió un grupo de cuatro personas dedicado a entender cómo se comportan los modelos de inteligencia artificial, de los que, según él, los humanos no saben lo suficiente.

"Si en el futuro construimos sistemas de IA igual de inteligentes o más que la mayoría de los humanos, necesitaremos técnicas para poder saber si estos sistemas ocultan capacidades o motivaciones", ha señalado Saunders a través de su correo electrónico.

Ilya Sutskever, cofundador de OpenAI, abandonó la startup en junio de este año después de haber dirigido su equipo de superalineación.
Ilya Sutskever, cofundador de OpenAI, abandonó la startup en junio de este año después de haber dirigido su equipo de superalineación.

Jack Guez/Getty

En su entrevista con Kantrowitz, añadía que la plantilla de OpenAI a menudo discutía teorías sobre cómo el hecho de que la inteligencia artificial se convirtiese en una fuerza "salvajemente transformadora" podría llegar en solo unos pocos años.

"Creo que cuando la compañía habla de esto, tiene la obligación de trabajar para prepararse", indicaba el antiguo trabajador, que reconoce estar decepcionado con las acciones que ha llevado a cabo OpenAI hasta ahora.

En el correo electrónico enviado a Business Insider, Saunders ha asegurado: "Si bien existen empleados en OpenAI haciendo un buen trabajo en la comprensión y prevención de riesgos, no observé una priorización suficiente de este trabajo".

El trabajador del equipo de seguridad abandonó su puesto en la desarrolladora de ChatGPT el pasado mes de febrero. Por su parte, OpenAI disolvió su equipo de superalineación en mayo, apenas unos días después de anunciar GPT-4o, su modelo de IA más avanzado disponible para todo el mundo.

Este medio de comunicación ha tratado de ponerse en contacto con la empresa de inteligencia artificial, pero por el momento no ha obtenido respuesta. 

 

Firmas tecnológicas como Apple, Google, Meta (la matriz de Facebook) o la propia OpenAI se han enzarzado en una carrera armamentística en torno a la IA, desatando un furor inversor en lo que se prevé ampliamente que será la próxima gran revolución de la industria, similar a internet.

El vertiginoso ritmo de desarrollo que se ha generado en base a este fenómeno ha llevado a algunos empleados y expertos a advertir de la necesidad de que exista una mayor gobernanza empresarial para evitar futuras catástrofes.

A principios de junio, un grupo de trabajadores actuales y antiguos de Google Deepmind y de la desarrolladora de ChatGPT —entre ellos el propio Saunders— publicaron una carta abierta en la que advertían de que las actuales normas de supervisión del sector eran insuficientes para evitar un desastre para la humanidad.

Por su parte, Ilya Sutskever, cofundador y antiguo jefe científico de OpenAI, que dirigía la división de superalineación de la compañía, dimitió ese mismo mes. Sutskever fundó otra startup, Safe Superintelligence, que, según dijo, se centraría en investigar acerca de la inteligencia artificial garantizando que "la seguridad siempre vaya por delante".

Conoce cómo trabajamos en Business Insider.