Fuga de cerebros en los equipos de inteligencia artificial de Google: aquí se han ido sus mejores investigadores

Ivan Zhang, Aidan Gomez y Nick Frosst, cofundadores de Cohere.
Ivan Zhang, Aidan Gomez y Nick Frosst, cofundadores de Cohere.

Cohere

  • Google es responsable de algunas de las investigaciones más importantes al campo de la IA. 
  • Sin embargo, la empresa ha tardado mucho en materializar algunas de sus mejores innovaciones en productos reales. 
  • Por ello, los mejores investigadores de IA se han marchado a startups donde su trabajo puede tener más repercusión.

Google se encuentra en una posición complicada en lo referente a su liderazgo en el campo de la IA, sobre todo porque los principales investigadores se marchan a la competencia.

ChatGPT, de OpenAI, apareció en escena a finales de 2022 y ha revolucionado Internet con su capacidad para responder a preguntas sobre casi cualquier tema, dando respuestas complejas similares a las de un humano. El CEO de Google, Sundar Pichai, declaró internamente un "código rojo" ante la repentina popularidad del chatbot, con el objetivo de dar una respuesta y disipar los temores de una pérdida de liderazgo de su motor de búsqueda, según el New York Times.

Pichai afirma que Google sigue contratando a los mejores investigadores en el campo de la IA, y no hay duda de que la empresa todavía conserva mucho talento fuerte. Sin embargo, muchos de los principales actores de sus equipos de inteligencia artificial se han marchado para unirse a empresas de competencia como OpenAI o para iniciar proyectos propios.

El gigante de las búsquedas ha iniciado las pruebas de Bard, un chatbot similar a ChatGPT capaz de responder a algunas consultas de búsqueda. También planea dotar a su software de productividad de IA generativa, una tecnología que permite a Bard y ChatGPT comprender y generar nuevos textos. Microsoft, por su parte, ha invertido miles de millones en OpenAI, con planes para una búsqueda similar basada en IA y otros productos, además de ofrecer acceso a esta tecnología en su nube.

Aunque Google se haya puesto a la defensiva ante este entorno, realmente no tiene por qué. La propia empresa creó gran parte de la tecnología básica que impulsa productos como ChatGPT. Además, puso su investigación a disposición del público como código abierto, lo que, irónicamente, permitió el rápido ascenso de OpenAI. 

Google vs Microsoft.

Google dudó durante mucho tiempo sobre si lanzar un chatbot similar a ChatGPT por temor a que la tecnología pudiera dañar su reputación. Daniel De Freitas y Noam Shazeer, 2 investigadores responsables del gran modelo lingüístico de Google, LaMDA, abandonaron la empresa frustrados por su indecisión, según publicó The Wall Street Journal. 

Esa frustración por la lentitud de Google ha sido confirmada por otros antiguos investigadores de la compañía que han hablado con Business Insider. Un exempleado comenta que en un momento tan emocionante para la inteligencia artificial las startups ofrecen la oportunidad a los investigadores de tener más propiedad sobre su trabajo y, posiblemente, tener un mayor impacto. 

Estos son algunos de los trabajos más destacados de Google en el campo de la IA, los investigadores que han abandonado la empresa y dónde han comenzado a trabajar:

Aprendizaje secuencia a secuencia con redes neuronales

Publicado en 2014, el artículo Sequence to Sequence Learning with Neural Networks (Aprendizaje secuencia a secuencia con redes neuronales) exploraba el entrenamiento de modelos lingüísticos para convertir secuencias de palabras de un dominio a secuencias en otro, por ejemplo, convertir una frase en inglés a una en francés. 

Ilya Sutskever dirigió la investigación de este artículo. Dejó Google en 2015 tras casi 3 años como investigador científico. Sutskever cofundó OpenAI y sigue trabajando allí como científico jefe. 

La atención es todo lo que necesitas 

La atención es todo lo que necesitas (Attention is all you need) es un proyecto sobre el modelo Transformer. Considerado un gran avance en el procesamiento del lenguaje natural, el modelo Transformer ayuda a una IA a entender el significado de una frase analizando cada palabra simultáneamente y sopesando su importancia para extraer matices contextuales. La "T" de ChatGPT viene de Transformer, ya que el chatbot se basa en el trabajo de Google. Todos los autores de este artículo salvo uno, Llion Jones, han dejado la empresa. 

Ashish Vaswani dejó Google Brain después de 5 años para fundar Adept, que recientemente ha recaudado 350 millones de dólares para crear herramientas de IA generativa que ayuden a las personas a utilizar el software de productividad de forma más eficiente. Hace poco dejó Adept para trabajar en otra empresa emergente. 

Noam Shazeer es actualmente CEO de Character.AI. tras pasar la mayor parte de sus más de 21 años de carrera como ingeniero de Google.

Niki Parmar dejó Google Brain tras 5 años para cofundar y asumir el cargo de Responsable de Tecnología de Adept, aunque, al igual que Vaswani, se marchó recientemente a una empresa emergente. 

Jakob Uszkoreit pasó 13 años en Google trabajando en redes neutras y aprendizaje profundo. Ahora es cofundador de Inceptive, una startup que utiliza el aprendizaje profundo para diseñar nuevas terapias. 

Aidan Gomez es cofundador y CEO de Cohere, que ha recaudado aproximadamente 160 millones de dólares para ayudar a los desarrolladores a incorporar IA generativa en sus aplicaciones y páginas web. Pasó un año y medio como investigador en Google Brain. Su cofundador en Cohere, Nick Frosst, pasó 4 años como investigador en Google Brain. 

Lukasz Kaiser dejó Google Brain después de más de 7 años para unirse a OpenAI en 2021. Kaiser fue citado recientemente en el libro blanco de OpenAI para GPT-4 como uno de los principales contribuyentes a su capacidad de contexto largo, lo que permite al chatbot mantener conversaciones más largas antes de olvidar el contexto de la charla. 

Illia Polosukhin pasó 3 años trabajando en aprendizaje profundo y comprensión del lenguaje natural en Google Brain. Lo dejó en 2017 para fundar Pagoda, una plataforma de startups web3. 

El secreto de la IA

Hacia un chatbot de dominio abierto similar al humano

Este artículo presenta a Meena, el primer chatbot de Google. El estudio explora cómo un chatbot puede aprender a hablar de forma conversacional y sobre cualquier tema estudiando datos extraídos de conversaciones públicas en redes sociales. También presenta una prueba creada por Google para evaluar si el chatbot habla como una persona. El artículo se consideró otro hito importante en la investigación del lenguaje a gran escala, ya que los autores sostenían que podían crear un modelo del lenguaje a gran escala capaz de generar una respuesta similar a la humana a cualquier pregunta sin un entrenamiento codificado. 

Daniel De Freitas es ahora cofundador y presidente de Character.AI tras haber sido investigador en Google Brain durante 5 años.

El compañero de De Freitas en Character.AI, Romal Thoppilan, también ha contribuido a este trabajo.

LaMDA: Modelos lingüísticos para aplicaciones de diálogo

LaMDA son las siglas de Language Models for Dialogue Applications (modelos lingüísticos para aplicaciones de diálogo). Esta investigación impulsa Bard, el chatbot que Google planea incorporar a su motor de búsqueda. Se presentó por primera vez en 2020 con el nombre de Meena, pero Google nunca lo hizo público. Antiguos empleados de la división de investigación de IA de Google han explicado a Business Insider que la empresa temía tener mala prensa si el bot hacía algún comentario ofensivo.

Varios de los principales investigadores de LaMDA se han marchado a Character.AI. Daniel De Freitas y Noam Shazeer crearon la empresa el año pasado y han recaudado 200 millones de dólares para crear chatbots que hablen imitando a distintas personas, desde Elon Musk hasta un terapeuta.

Romal Thoppilan es ahora investigador y fundador de Character.AI tras pasar 7 años en Google Brain. 

Alicia Jin se incorporó a Character.AI a finales de 2022 como ingeniera de investigación. Antes de eso pasó 3 años en Google Brain. 

BERT

BERT (Bidirectional Encoder Representations from Transformers o Representaciones bidireccionales de codificadores a partir de transformadores) se basa en el modelo Transformer para el procesamiento del lenguaje natural, pero previamente entrenado para realizar bien 2 tareas: el modelado del lenguaje enmascarado y la predicción de la siguiente frase. En otras palabras, BERT intenta predecir palabras ocultas o "enmascaradas", lo que obliga al algoritmo a intentar aprender más sobre el texto circundante y predecir mejor las palabras ocultas

Google pone el ejemplo de que si escribes una consulta como "¿Puedes conseguir medicamentos para otra farmacia?", entenderá mejor que "otra" es una parte importante de la consulta. 

Google comenzó a incorporar BERT en Search allá por 2019. Es uno de los mayores avances en la precisión de búsqueda desde que otro algoritmo de aprendizaje automático, RankBrain, se incorporó en 2015. 

Jacob Devlin lideró este trabajo. Se unió a OpenAI poco antes del lanzamiento de ChatGPT, según The Information. 

IA Redes sociales

T5

El documento T5, conocido formalmente como Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (Exploración de los límites del aprendizaje por transferencia con un modelo Transformer unificado de texto a texto), se basa en BERT y se considera muy adecuado para tareas como la traducción y el resumen. 

Colin Raffel, que dirigió este trabajo, pasó aproximadamente 5 años como investigador científico en Google Brain antes de dejarlo en 2021. En la actualidad, Raffel es profesor adjunto en UNC Chapel Hill y pasa un día a la semana como investigador en Hugging Face, donde los usuarios pueden compartir grandes modelos lingüísticos y conjuntos de datos. Hugging Face anunció recientemente que había recaudado 100 millones de dólares en mayo de 2022, lo que valora la empresa en 2.000 millones de dólares

Sharan Narang, otro de los colaboradores del documento de T5, dejó Google Brain en 2022 después de 4 años. Ahora es investigador de IA en Meta. 

Una metodología de colocación de grafos para el diseño rápido de chips

Dirigido por las científicas de Google Azalia Mirhoseini y Anna Goldie, el artículo A graph placement methodology for fast chip design (Una metodología de colocación de grafos para el diseño rápido de chips) concluye que la IA puede completar el proceso de diseño de chips más rápido que un experto humano. Las 2 dirigieron otro artículo, Chip placement with deep reinforcement learning (Colocación de chips con aprendizaje profundo por refuerzo), que ofrece un método para utilizar la IA en el diseño de chips con el fin de maximizar el rendimiento y minimizar el uso de área y energía. 

Los resultados ayudaron a Google a diseñar los chips TPU, concebidos específicamente para tareas de aprendizaje automático. 

Tanto Mirhoseini como Goldie dejaron Google en 2022 para unirse a Anthropic, un competidor de OpenAI que desarrolla sus propios modelos de lenguaje de gran tamaño y un chatbot llamado Claude. La pareja estuvo en el centro de una controversia dentro de Google después de que un alto directivo de ingeniería fuera despedido por intentar desacreditar su trabajo en los 2 documentos. Google ha seguido defendiendo la investigación, aunque actualmente hay una demanda en curso.

DeepMind

Mustafa Suleyman fue cofundador y director de producto de DeepMind, un laboratorio de inteligencia artificial adquirido por Google en 2014. El laboratorio desarrolló AlphaGo, un programa de aprendizaje automático que venció a un campeón mundial profesional del juego de estrategia Go.

Mustafa Suleyman, cofundador de DeepMind, adquirida por Google.
Mustafa Suleyman, cofundador de DeepMind, adquirida por Google.

DeepMind

Alphabet, la empresa matriz de Google, anunció recientemente en sus resultados del cuarto trimestre que el rendimiento financiero de DeepMind se desglosaría por separado de la categoría "Otras inversiones", lo que indica la importancia de la IA en la estrategia de Google de cara al futuro. Normalmente, este apartado sirve como cajón de sastre para proyectos incipientes de la empresa como Waymo y Wing, que todavía no son rentables.

Suleyman ha sido un firme defensor de garantizar la seguridad en los nuevos productos de IA. Durante su etapa en DeepMind, creó una unidad de investigación llamada DeepMind Ethics & Society para estudiar las repercusiones de la IA en el mundo real. Fue forzado a irse de excedencia de DeepMind en 2019 por acusaciones de que intimidaba a los empleados. Mientras se llevaba a cabo una investigación, fue transferido a un puesto de vicepresidente en Google. 

Suleyman es citado en numerosos trabajos de investigación relacionados con el aprendizaje automático. En febrero de 2022, cofundó la startup de IA Inflection con el creador de LinkedIn Reid Hoffman.

Conoce cómo trabajamos en Business Insider.