Cómo aprenden los robots: Actualización y novedades 2023 con NVIDIA y Eureka

Formas de Aprendizaje de los Sistemas por IA Actualmente

Empecemos por analizar las diversas formas en que los sistemas de IA aprenden en la actualidad. Estas técnicas son fundamentales para el entrenamiento de robots y otros dispositivos inteligentes. Aquí están las principales:

Aprendizaje Supervisado

El aprendizaje supervisado es una técnica en la que los sistemas de IA aprenden a partir de ejemplos etiquetados. Imagina que es como enseñar a un niño a reconocer animales mostrándole muchas fotos de animales con etiquetas que indican su nombre. La IA también aprende de esta manera, a partir de datos previamente etiquetados. Por ejemplo, un robot podría aprender a reconocer objetos en su entorno observando imágenes etiquetadas.

Aprendizaje No Supervisado

El aprendizaje no supervisado es útil cuando no tenemos datos etiquetados para entrenar a un sistema. Este enfoque permite a la IA descubrir patrones y estructuras por sí misma. Imagina que tienes una colección de objetos variados y quieres que la IA los organice en categorías sin saber cuáles son las categorías previamente. El aprendizaje no supervisado es la técnica que utiliza la IA para lograrlo.

Reinforcement Learning (Aprendizaje por Reforzamiento)

El aprendizaje por reforzamiento es como entrenar a un perro. En este enfoque, los sistemas de IA, como los robots, realizan acciones y reciben recompensas o castigos según su desempeño. Este proceso es muy parecido a la forma en que un perro aprende trucos: cuando hace algo bien, recibe una recompensa, y cuando se equivoca, recibe un castigo. Los robots también aprenden tareas específicas de esta manera, lo que resulta fundamental en la robótica. En este contexto, el aprendizaje profundo (Deep Learning) a menudo se utiliza para mejorar el rendimiento de los modelos de Reinforcement Learning.

En esta categoría está el RLHF (Reinforcement Learning from Human Feedback) que significa que tiene que haber personas validando las respuestas y etiquetando para hacer que la IA cada vez aprenda mejor.

Reinforcement Learning y su Transformación

El Reinforcement Learning, o RL, es una técnica común en la que los sistemas de IA aprenden a través de prueba y error. Los robots, por ejemplo, realizan acciones y reciben recompensas o castigos según su desempeño. Sin embargo, la verdadera magia radica en cómo los LLMs han cambiado completamente este enfoque.

Los grandes modelos de lenguaje, entre ellos ChatGPT, tienen la capacidad de generar algoritmos de recompensa de forma automática. Esto significa que la IA puede aprender tareas complejas sin necesidad de instrucciones específicas o plantillas de recompensas predefinidas. Imagina a ChatGPT como un maestro que puede recompensar a los robots por aprender sin necesidad de supervisión constante.

Eureka: La Revolución en el Aprendizaje de Robots

Eureka, la IA desarrollada por NVIDIA, ha aprovechado esta capacidad de los LLMs para cambiar por completo la forma en que los robots aprenden. No solo ha enseñado a las manos robóticas a hacer malabarismos con bolígrafos, sino que también ha entrenado a robots para abrir cajones, jugar con pelotas y usar tijeras. Es como tener un entrenador personal para máquinas.

La verdadera revolución está en cómo Eureka utiliza la inteligencia artificial para escribir códigos de recompensa. Esto elimina la necesidad de dedicar tiempo, recursos y personal a la configuración manual de algoritmos de recompensa. En otras palabras, los robots pueden aprender por sí mismos de manera más eficiente que nunca.

Explorando el Futuro con LLMs

La noticia emocionante es que la investigación detrás de Eureka se ha hecho pública. Esto significa que los desarrolladores pueden explorar estos secretos utilizando NVIDIA Isaac Gym, una especie de “campo de entrenamiento virtual” para robots. ChatGPT es uno de los LLMs que está cambiando la forma en que los sistemas aprenden, pero hay otros modelos igualmente impresionantes.

Imagina las posibilidades que se abren cuando los LLMs se incorporan al Reinforcement Learning. Tareas que antes parecían inabordables ahora son alcanzables. Esto no solo beneficia a la robótica, sino que también tiene un impacto significativo en diversas industrias, desde la atención médica hasta la automatización industrial.