El creador de PyTorch avisa: la arquitectura responsable del aprendizaje automático en GPT-3 o DALL-E 2 llevará la industria a un callejón sin salida

Algunas de las herramientas con inteligencia artificial más populares de la actualidad, como la que permite la generación de texto GPT-3 desarrollada por OpenAI, han sido posibles gracias a una arquitectura conocida como Transformer.

Estos modelos Transformers (un tipo de red neuronal que aprende contexto) aparecieron por primera vez en 2017, y pronto encontraron acomodo en los populares entornos de programación de IA, como TensorFlow (respaldado por Google) o PyTorch (que cuenta con el apoyo de Meta).

En un sector en el que las herramientas y técnicas de aprendizaje automático evolucionan a un ritmo vertiginoso, media década bien podría ser medio siglo. 

Los inquietantes límites de la tecnología: OpenAI cierra una web de desarrollo de chats con inteligencias artificiales después de que un hombre reprodujera la personalidad de su difunta prometida

Pero la popularidad del modelo Transformers puede ser un arma de doble filo, advierte Soumith Chintala, creador de PyTorch y distinguido ingeniero de Meta, la empresa matriz de Facebook. 

"Espero que aparezca algo más", responde Chintala al hablar sobre Transformers en una entrevista con Business Insider. La popularidad de esta arquitectura ha hecho que muchas IA se conozcan como "inteligencia artificial de Transformer".

"Vivimos una extraña lotería de hardware. Transformers surgió hace 5 años, y todavía no ha aparecido una alternativa, por lo que las empresas se ven tentadas a optimizarlo sin parar. Eso hace que ir en cualquier otra dirección sea mucho más difícil".

El hardware específico para la IA es un gran negocio

Chintala ha concedido la entrevista para hablar de una noticia más amplia: Facebook trasladará PyTorch a la independiente Fundación PyTorch, que cuenta con el paraguas del consorcio de código abierto The Linux Foundation. 

Chintala ha aclarado que el modelo técnico de PyTorch no cambiará a pesar de este traslado.

Los enfoques basados en Transformers en el procesamiento del lenguaje natural surgieron por primera vez en 2017 a partir del trabajo de investigación Attention Is All You Need. 

"La única forma de evitar una guerra nuclear desatada por una IA es no contar con ella": una inteligencia artificial se muestra contraria a su propio desarrollo

Desde entonces, ha pasado a convertirse en la base de nuevas y potentes tecnologías de procesamiento del lenguaje natural como las que generan imágenes a partir de indicaciones de texto.

Mientras, el hardware personalizado para la inteligencia artificial también ha ido ganando terreno. En ese sentido, Nvidia ha ocupado tradicionalmente una posición dominante gracias a la adopción generalizada de las tarjetas gráficas en tecnologías relacionadas con el aprendizaje automático. 

Pero piezas de tecnología más personalizadas y especializadas como la unidad de procesamiento tensorial de Google o el motor Wafer Scale de Cerebras han ganado terreno por ser alternativas y herramientas de aprendizaje automático más complejas. 

Nvidia también tiene ahora una arquitectura llamada Hopper que se especializa en Transformers y que el CEO de Nvidia, Jensen Huang, definió en el último encuentro con los inversores como una importante parte de la estrategia de la empresa. 

"Confío en que Hopper sea el próximo trampolín hacia el crecimiento", comentó. "La importancia de este nuevo modelo, Transformers, no puede ser subestimada ni exagerada".

Transformers ha hecho posible una gran cantidad de IA moderna

Hay muchos productos emergentes de alto perfil que se basan en Transformers. El GPT-3 de OpenAI tiene aproximadamente dos años de antigüedad, y la apertura de DALL-E 2 a un público más amplio data del pasado mes de julio.

Empresas como Nvidia, aunque lanzan productos que pueden estar especializados en Transformers, ofrecen una amplia gama de productos que se adaptan a múltiples arquitecturas diferentes.

Aun así, la mayor especialización del hardware (en IA o en cualquier otro ámbito) trae consigo el riesgo de quedar en un callejón sin salida en vez de favorecer la aparición de tecnologías emergentes.

"Nos va a resultar mucho más difícil incluso probar otras ideas si los proveedores de hardware acaban limitándose a especializarse en el paradigma actual", explica Chintala.

Chintala, por otra parte, rechaza la noción de que PyTorch está superando en popularidad a TensorFlow, respaldado por Google. Esta es ya una idea predominante entre algunas de las figuras influyentes de la industria de la inteligencia artificial. 

Un directivo de la división de inteligencia artificial de Amazon comparte los 4 pasos que ha tomado la compañía para convertirse en un referente tecnológico del sector

"No creemos que le estemos comiendo la tostada a TensorFlow", defiende. "Nosotros apuntamos bien a algunas áreas, y TensorFlow a otras. Sinceramente, creo que estamos haciendo cosas diferentes y que somos buenos en diferentes partes del mercado. Tenemos una buena cuota de mercado, pero no abarcamos todo".

Business Insiderha contado ya que JAX se está convirtiendo poco a poco en la tecnología principal de aprendizaje profundo de la filial de Alphabet, y se espera que se convierta en la columna vertebral de sus productos, sustituyendo a TensorFlow. 

JAX destaca por dividir las complejas tareas de aprendizaje automático en múltiples piezas de hardware, simplificando drásticamente las poco manejables herramientas existentes y facilitando la gestión de problemas de aprendizaje automático, que son cada vez más grandes.

"Estamos aprendiendo de JAX y estamos añadiendo su cobertura a PyTorch también", incide Chintala. "Está claro que JAX hace ciertas cosas mejor. No tengo ningún problema en decirlo. PyTorch es muy bueno en un montón de cosas, por eso es una corriente dominante, la gente lo utiliza para todo. Pero ser un framework tan mainstream no significa que lo acabe cubriendo todo".