La inteligencia artificial más potente del mundo se ha vuelto, bueno, menos potente. Eso ha hecho que los expertos del sector hablen de lo que podría ser un importante rediseño del sistema.

En las últimas semanas, los usuarios del GPT-4, el gran modelo lingüístico —LLM, por sus siglas en inglés— de OpenAI, se han quejado de una disminución de su rendimiento. Algunas personas han asegurado que, en comparación con sus anteriores capacidades de razonamiento, la IA se ha vuelto "más perezosa" y "más tonta".

Los usuarios han expresado su frustración en Twitter y en el foro para desarrolladores de OpenAI haciendo referencia al debilitamiento de la lógica, el aumento de respuestas erróneas, la pérdida de la pista de la información proporcionada, los problemas para seguir instrucciones, el olvido de paréntesis al programar código fuente y el hecho de que solo recuerde la consulta más reciente.

"La versión actual de GPT-4 es decepcionante", comentó un desarrollador que utiliza el modelo de inteligencia artificial para programar determinadas funciones de su página web. "Es como conducir un Ferrari durante un mes y que de repente se convierte en una camioneta vieja y destartalada. No estoy seguro de querer pagar por ello".

Peter Yang, jefe de producto de Roblox, tuiteó que la nueva versión de GPT-4 genera resultados más rápidos, pero que la calidad es peor. "Cuestiones tan simples como escribir de forma más clara y concisa, y generar ideas", añadió. "La calidad de la escritura ha bajado, en mi opinión". Yang preguntó si alguien más lo había notado.

"A mí me ha parecido más perezoso", respondió Frazier MacLeod, otro usuario de Twitter.

Christi Kennedy publicó en el foro de OpenAI que su versión de GPT-4 había empezado a generar en bucle mensajes de código y otro tipo de información una y otra vez. 

"En comparación con la versión de antes, es la muerte cerebral", señaló el mes pasado. "Si no lo estás exprimiendo al máximo con lo que podía hacer antes, no te darías cuenta. En cambio, si lo estás utilizando realmente a fondo, ves que obviamente es mucho más tonto".

De lento, pero caro, a rápido, pero impreciso

Esta situación supone un gran cambio con respecto los primeros meses de este año, en los que OpenAI asombraba al mundo con ChatGPT y la industria tecnológica esperaba con expectación el lanzamiento de GPT-4. Cuando OpenAI lanzó su chatbot de IA, ChatGPT funcionaba primero con GPT-3 y luego con GPT-3.5, los gigantescos modelos que impulsaban sus asombrosas respuestas.

Antes de lanzar GPT-4, OpenAI preguntó a ChatGPT cómo asesinar a una persona o construir una bomba: esto fue lo que respondió

GPT-4, un modelo de inteligencia artificial todavía mayor, se publicó en marzo y se convirtió rápidamente en la IA preferida de los desarrolladores y los expertos del sector tecnológico. En general, se considera el modelo de inteligencia artificial más potente del mundo. Además, es multimodal, lo que significa que puede entender tanto imágenes como texto

Después de la fiebre inicial que generó esta IA, a algunos les sorprendieron las facturas que recibieron por utilizar GPT-4. Sharon Zhou, CEO de Lamini (una startup que ayuda a los desarrolladores a diseñar LLM personalizados), afirma que la última versión del modelo de OpenAI era lenta pero muy precisa.

El barco de Teseo

Esa era la situación hasta hace unas semanas. Entonces GPT-4 se volvió más rápido, pero su rendimiento disminuyó notablemente, lo que ha alimentado los rumores en la comunidad de expertos en inteligencia artificial. Según han argumentado Zhou y otros expertos, podría haberse producido un cambio importante.

De esa forma, OpenAI podría estar desarrollando varios modelos GPT-4 más pequeños que actuarían de forma similar al modelo grande, pero cuya ejecución sería menos cara.

La directora general de Lamini explica que este enfoque se denomina conjunto de expertos (MOE, por sus siglas en inglés). Estos modelos más pequeños se entrenan en sus propias tareas y áreas temáticas, lo que significa que podría haber un GPT-4 especializado en biología, otro en física, otro en química... 

Cuando un usuario formule una pregunta, el nuevo sistema sabrá a qué MOE debe enviar esa consulta y podrá escoger, por ejemplo, si envía la misma pregunta a varios modelos y luego mezcla las respuestas para ofrecer un mejor resultado. "Esta idea lleva tiempo rondándonos y es el siguiente paso natural", sugiere Zhou.

Esta es la pregunta que le hace el CEO de Microsoft a GPT-4 para poner a prueba a la inteligencia artificial

Zhou compara esta situación con el barco de Teseo, una paradoja en la que se van intercambiando partes de un barco hasta que surge la pregunta de: ¿en qué momento se convierte en un barco completamente nuevo?

"OpenAI está cogiendo GPT-4 y convirtiéndola en una flota de barcos más pequeños", apunta la CEO de Lamini. "Desde mi punto de vista, es un nuevo modelo. Algunos dirían que es el mismo". 

La compañía impulsada por Microsoft no ha respondido a la petición de declaraciones de Business Insider en relación a este tema. 

Estos días, varios expertos en inteligencia artificial han publicado en Twitter algunos detalles sobre la arquitectura de GPT-4. Yam Peleg, fundador de una startup, tuiteó que OpenAI había sido capaz de mantener bajos los costes utilizando un sistema en el que intervenían 16 modelos MOE. Semianalysis ha publicado un artículo esta semana sobre el funcionamiento interno de la IA de ChatGPT.

George Hotz, un hacker de seguridad, ha explicado que se trata de un "modelo que mezcla de 8 vías". Soumith Chintala, cofundador del proyecto de inteligencia artificial de código abierto PyTorch en Meta, se ha referido en su cuenta de Twitter a las declaraciones de Hotz.

"Yo *supondría* que las especulaciones son más o menos exactas, pero no puedo confirmarlo", ha comentado Oren Etzioni, director general del Instituto Allen de Inteligencia Artificial, a Business Insider. Según Etzioni, existen 2 razones principales para utilizar un modelo MOE: mejores respuestas y respuestas con un menor coste y mayor rapidez.

"La mezcla 'adecuada' te dará ambas cosas, pero a menudo hay un balance entre el coste y la calidad", ha añadido el CEO. "En este caso, curiosamente parece que OpenAI está sacrificando algo de calidad por un menor coste. Estos modelos son muy difíciles de evaluar (¿qué constituye una mejor respuesta? ¿En qué casos?) así que eso no es científico, es circunstancial".

OpenAI se refirió al enfoque MOE en una publicación de 2022 de la que es coautor Greg Brockman, presidente de OpenAI y cofundador de la empresa.

"Con el enfoque de conjunto de expertos, sólo se utiliza una fracción de la red para calcular la respuesta de cualquier petición. Un ejemplo sería tener muchos conjuntos de factores y que la red pueda elegir qué conjunto utilizar mediante un mecanismo de compuerta en el momento de la inferencia", detallaron Brockman y su compañera Lilian Weng. 

"Esto permite tener muchos más parámetros sin aumentar el coste computacional. Cada conjunto de factores se denomina 'experto', con la esperanza de que la red aprenda a asignar a cada experto un cálculo y unas habilidades específicas".

Zhou asegura que el descenso del rendimiento de GPT-4 en las últimas semanas podría estar relacionado con este entrenamiento y con el despliegue por parte de OpenAI de esta flota de modelos de expertos más pequeños: "Cuando los usuarios lo prueben, van a hacer muchas preguntas diferentes. No lo hará tan bien, pero está recopilando datos y mejorará y aprenderá".