Un informático descubre que ChatGPT es espantoso jugando a Wordle

Las proezas y habilidades de ChatGTP han copado numerosas portadas desde la aparición de este chatbot de IA desarrollado por la empresa OpenAI: facilita el trabajo de escritores, agentes inmobiliarios, profesionales del marketing, abogados, profesores o especialistas en branding. 

También es capaz de redactar haikus, chistes y artículos periodísticos, de proporcionarte recomendaciones y resúmenes o de echar un cable a los responsables de recursos humanos. La IA es un complemento ideal para crear el currículum perfecto o contribuir a escribir guiones cinematográficos adaptados.

Sin embargo, hay un popular juego en millones de smartphones que al chatbot no se le da nada bien... se trata de Wordle, tal y como explica Michael G. Madden, un catedrático de Informática de la Universidad de Galway en un artículo publicado en The Conversation tras probar de forma práctica la efectividad de ChatGPT con el juego de palabras originalmente creado por el New York Times.

Como nota de recordatorio, quienes juegan a Wordle tienen 6 oportunidades para adivinar una palabra de cinco letras. En cada intento, el juego indica qué letras están en la posición correcta. Utilizando la última generación del chatbot de OpenAI, llamada ChatGPT-4, el informático averiguó que su rendimiento en estos rompecabezas era sorprendentemente pobre.

Parecía pan comido, pero ChatGPT-4 es muy malo al Wordle

Cabría esperar que los juegos de palabras fueran pan comido para GPT-4, ya que la tecnología está entrenada con unos 500.000 millones de palabras: toda la Wikipedia, todos los libros de dominio público, enormes volúmenes de artículos científicos y texto de múltiples sitios web.

"En primer lugar, probé ChatGPT-4 con un puzzle Wordle en el que conocía la ubicación correcta de dos letras de una palabra. El patrón era "#E#L#", donde "#" representaba las letras desconocidas. La respuesta era la palabra 'mealy'" explica el autor. 

Sin embargo, 5 de las 6 respuestas de ChatGPT-4 no coincidían con el patrón. Las respuestas fueron: "berilo", "feral", "heral", "merle", "revel" y "perla". Con otras combinaciones, el chatbot encontraba a veces soluciones válidas. Pero, en general, fallaba mucho.

El autor explica el funcionamiento básico de ChatGPT, una red neuronal profunda en la que una función matemática compleja traduce las palabras a números mediante un programa informático llamado tokenizador, que mantiene una enorme lista de palabras y secuencias de letras, llamadas tokens.

"Una palabra como 'friendship' tiene un identificador de token de 6756, por lo que una palabra como 'amistad' se descompone en los tokens 'friend' y 'ship'. Estos se representan como los identificadores 6756 y 6729" 

Cuando el usuario introduce una pregunta, las palabras se traducen en números antes incluso de que ChatGPT-4 empiece a procesar la solicitud. La red neuronal profunda no tiene acceso a las palabras como texto, por lo que no puede razonar realmente sobre las letras.

GPT-4, la nueva versión de la IA de ChatGPT, difunde más información errónea que su antecesor, según un estudio

En otras tareas asignadas por el informático para ChatGPT-4, el chatbot no siempre estuvo acertado. Funcionó muy bien para escribir poemas en los que la primera frase de cada verso fuese una coa determinada, pero no fue capaz de gestionar las peticiones de trabajar con las últimas letras de las palabras.

Además de las sopas de letras sencillas, tampoco se le da bien formular palíndromos, pese a que los datos de entrenamiento incluyen casi todas las palabras de que dispone. 

"Esto se debe a que todas las entradas de texto deben codificarse como números y el proceso que lo hace no capta la estructura de las letras dentro de las palabras. Dado que las redes neuronales funcionan exclusivamente con números, el requisito de codificar las palabras como números no cambiará", anota Michael G. Maddenen su artículo. 

El informático propone algunas soluciones: la más sencilla y acotada es que los datos de entrenamiento se amplíen para incluir en su diccionario la posición de cada letra dentro de cada palabra. Y la segunda, más genérica e interesante, consistiría en generar código específico para resolver problemas como estas limitaciones. 

Un reciente estudio muestra una idea llamada Toolformer, en la que una red neuronal profunda emplea herramientas externas para resolver tareas dificultosas como los cálculos aritméticos, destaca Maddenen.