Enseñan a un robot bípedo a caminar a través del aprendizaje por refuerzo

Un grupo de investigadores de la Universidad de Berkeley (California, Estados Unidos) ha conseguido enseñar a caminar a un robot bípedo a través del aprendizaje por refuerzo, utilizando una base de datos de diferentes movimientos que se recrearon en un entorno digital antes de llevarse a las pruebas en el mundo físico, realizadas con un robot Cassie, un diseño de Agility Robotics, de la Universidad de Oregon (EEUU). 

El experimento permite, según el texto de la investigación, facilitar el costoso proceso de entrenamiento de este tipo de robots, que podrían ser los más útiles dado que su estructura bípeda les permiten adaptarse a todos los entornos humanos (escaleras, suelos irregulares, etcétera) pero que en cuya puesta en marcha necesitan todavía una importante supervisión humana.

"Los modelos clásicos para estabilizar y controlar sistemas bípedos tienden a requerir una modelización cuidadosa y habitualmente no tienen la capacidad de adaptarse a cambios en el entorno. El uso de métodos basados en el aprendizaje profundo por refuerzo son una solución prometedora para estos problemas y podría permitir un sistema que pueda producir comportamientos más ágiles", explican los autores de este experimento en el paper que han publicado.

Hasta ahora, algunas empresas de robótica como la estadounidense Boston Dynamics —comprada a finales de 2020 por la surcoreana Hyundai— han publicado vídeos de experimentos con modelos de robots bípedos como Atlas, en los que se les podía ver a la pata coja, saltando sobre cajas o bailando, pero los expertos consultados por el MIT Technology Reviewde la prestigiosa universidad estadounidense consideran que pueden ser vídeos "con muchos ajustes manuales". 

Publican un vídeo de un robot de Boston Dynamics rebelándose contra sus creadores y desatan el pánico en redes

"Esos vídeos pueden hacer creer a la gente que esto es un problema sencillo y que ya está resuelto. Pero todavía tenemos un largo camino que recorrer para enseñar a robots humanoides a operar de forma segura en entornos humanos", asegura a la publicación Zhongyu Li, uno de los investigadores de la Universidad de Berkeley que han desarrollado esta nueva manera de enseñar a andar a robots.

Un robot que camina sobre suelos resbaladizos y puede llevar peso

Cassie, un robot desarrollado en 2017 cuya mayor particularidad es que está articulado a la inversa que las piernas humanas —de una forma similar a las articulaciones de muchos animales, como los caballos, los perros, los felinos o las gallinas— puede tras este entrenamiento caminar sobre suelos resbaladizos, recuperarse de un golpe o una resistencia y llevar ciertos pesos, según lo que se puede ver en el vídeo publicado por estos investigadores.

La manera en la que fue entrenado incluye dos simulaciones en entornos virtuales. En la primera se cargó en su sistema una base de datos de pasos de diferentes fuentes para simular diferentes movimientos; y en la segunda se utilizó una herramienta de simulación mecánica (denominada SimMechanics o SimScape Multibody, utilizada para emular robots, suspensiones de vehículos o piezas para aviones) para probar esos movimientos. Una vez realizadas las pruebas en esos entornos virtuales, se transfirió la información al robot y se probó en un entorno real.

"Utilizando esta forma de trabajar propuesta, Cassie no solo es capaz de realizar determinadas tareas en entornos cerrados y abiertos, sino que se mantiene de una forma robusta en casos de problemas en los motores, cambios en las condiciones del suelo, llevando cargas desconocidas y demostrando una recuperación ágil a diferentes incidentes", indican los investigadores de la universidad californiana en su artículo académico.