StorySign usa inteligencia artificial como herramienta educativa para enseñar a leer con lenguaje de signos

• 32 millones de niños y niñas con problemas de audición sufren retrasos en su progreso académico por los problemas para aprender a leer.
• Muchos de ellos aprenden lengua de signos para comunicarse desde niños, por lo que es habitual que conozcan este lenguaje antes de aprender a leer.
• StorySign actúa como intérprete de lengua de signos para ayudar a relacionar los signos con las palabras que representan.

Aprender a leer requiere un cierto esfuerzo para cualquier niño ya que es necesario relacionar los sonidos de las palabras que ya conoce, con los símbolos gráficos que las representa de forma escrita. ¿Pero qué sucede cuando eliminamos de esa ecuación el sonido de la palabra?

En ese caso el aprendizaje se complica mucho más ya que es difícil relacionar una grafía con algo que nunca has oído. Ese es el gran escollo que se encuentran los más de 32 millones de niños con problemas auditivos para aprender a leer, y uno de los principales motivos del retraso educativo que muchos de ellos sufren por falta de recursos o medios educativos adecuados.

La inteligencia artificial proporciona herramientas que sirven de soporte para salvar ese gran obstáculo en la educación de los niños y niñas con problemas auditivos proporcionando un sistema adaptado y específico para que puedan relacionar las palabras con los movimientos de la lengua de signos.

De esa idea nace StorySign, una iniciativa educativa de Huawei en la que se emplea la inteligencia artificial integrada en sus últimos móviles para ayudar a aprender a leer a los niños con problemas de audición de una forma divertida.

Reconocimiento de imágenes y traducción unidos por la inteligencia artificial

Los avances en inteligencia artificial cognitiva permiten que los algoritmos utilizados sean capaces de comprender el contexto y la intencionalidad de las palabras y textos, de forma que pueden asimilarlos para trabajar con ellos.

Huawei ha conseguido dar un paso más allá y dotar a sus móviles Mate 20 y Mate 20 Pro de un procesador que cuenta con dos núcleos NPU dedicados exclusivamente a la resolución de los procesos de inteligencia artificial. Estos núcleos NPU permiten ejecutar agentes de inteligencia artificial de forma local, evitando la necesidad de estar permanentemente conectado con un servidor en la nube.

Esto permite, por ejemplo, traducir textos mediante inteligencia artificial en tiempo real y sin necesidad de estar conectados gracias a las funciones de reconocimiento óptico de caracteres (ROC) integrado en la inteligencia artificial de la cámara de estos móviles.

Este sistema de reconocimiento de caracteres es la base para el sistema de traducción de textos mediante inteligencia artificial que utilizan los últimos móviles de Huawei y supone la piedra angular de StorySign.

StorySign, la inteligencia artificial de un móvil al servicio de la educación

StorySign es una aplicación gratuita que ha sido diseñada por Huawei en colaboración con los principales expertos en educación de niños y niñas con problemas de audición severa, así como asociaciones de sordos europeas.

Esta aplicación sirve de intérprete entre los textos de un cuento y el lenguaje de signos, de forma que los niños son capaces de relacionar los signos que ya conocen, con las grafías de las palabras que las representan para, de ese modo, acelerar el aprendizaje de la lectura.

Su funcionamiento es muy sencillo ya que solo se tiene que descargar la aplicación en el móvil y utilizar uno de los cuentos infantiles incluidos en el proyecto StorySign.

Leer más: Aprender idiomas ya no es un problema, la inteligencia artificial te ayuda a conseguirlo

Cuando se enfoca el texto del cuento con la cámara del móvil, en pantalla aparece Star, un divertido personaje creado y animado por Aardman Animations que interpreta el texto en lenguaje de signos.

Junto a ella, se muestra el texto del cuento y se destaca cada una de las palabras que Star está representando, de forma que el pequeño espectador puede relacionar los signos de la simpática Star con las palabras del texto.

Más allá del aprendizaje, un elemento de integración

La utilización de StorySign en la educación de personas con problemas de audición va mucho más allá de la propia aplicación de StorySign ya que abre la puerta a nuevas opciones que la inteligencia artificial ofrece a ciertos colectivos de personas con problemas para su integración e independencia.

En el caso de los niños, no la inteligencia artificial que Huawei ha puesto a su servicio no solo les sirve como elemento de apoyo en su educación académica, sino que también lo hace en un plano mucho más profundo normalizando el hecho de que el pequeño puede coger un cuento por sí mismo y leerlo antes de irse a dormir.

Con esto se genera autoconfianza e independencia, cualidades que necesitará desarrollar para crecer como persona en el futuro ya que la aplicación le permite realizar las mismas actividades que cualquier niño o niña de su edad.

Este mismo modelo también puede aplicarse a otros ámbitos educativos, combinando la inteligencia artificial con la enseñanza de otras materias de una forma mucho más divertida y motivadora.