Como los animales, la inteligencia artificial está aprendiendo de la experiencia.

By marzo 20, 2019Actualidad, Noticias

La prueba y el error es una de las estrategias de aprendizaje más fundamentales empleadas por los animales, y lo estamos utilizando cada vez más para enseñar máquinas inteligentes. Los investigadores dicen que impulsar el flujo de ideas entre biólogos y científicos de la computación que estudian el enfoque podría resolver misterios en la cognición animal y ayudar a desarrollar nuevos algoritmos potentes.

Algunos de los desarrollos recientes más interesantes de la IA, en particular los que provienen de Google DeepMind, se han basado en gran medida en el aprendizaje por refuerzo. Esto se refiere a un enfoque de aprendizaje automático en el que los agentes aprenden a usar la retroalimentación  de su entorno para elegir acciones que maximicen las recompensas.

Gran parte de la inspiración para los algoritmos de aprendizaje de refuerzo más tempranos provino de reglas desarrolladas para describir el comportamiento de aprendizaje de los animales, y las redes neuronales profundas en las que se basan, los enfoques más recientes también tienen sus raíces en la biología. Pero a pesar del patrimonio común, la investigación en los dos campos ha divergido.

Si bien los biólogos a menudo estudian problemas simples de aprendizaje con conexiones bastante inmediatas entre las opciones y las recompensas, sus sujetos a menudo operan en entornos altamente dinámicos donde la adaptabilidad y el aprendizaje continuo son importantes.

En contraste, el aprendizaje por refuerzo de máquinas se ha empleado para realizar tareas más complejas, pero los algoritmos generalmente están diseñados para resolver un solo problema en un entorno altamente controlado. Eso los hace relativamente inflexibles, y su enfoque estadístico del aprendizaje requiere mucho tiempo. Requiere que las fases de capacitación y operación estén separadas, para que no puedan aprender en el trabajo.

Pero en muchos sentidos, esta divergencia significa que es aún más importante que los dos campos compartan notas. «A pesar de las diferencias entre el trabajo sobre aprendizaje en agentes biológicos y artificiales, o quizás debido a estas diferencias, hay mucho espacio para el flujo de ideas entre estos campos», dicen los autores de un artículo reciente en Nature.

Este tipo de intercambio ya ha resultado productivo, dicen los investigadores. El concepto de aprendizaje por refuerzo sin modelo y basado en modelos desarrollado en el aprendizaje automático ya ha ayudado a los neurocientíficos de sistemas a desarrollar una comprensión mucho más rica de los procesos de aprendizaje basados en recompensa en animales (el primero se refiere al aprendizaje por ensayo y error puro, mientras que el segundo se refiere a la construcción de un modelo estadístico de un problema o entorno que puede acelerar el aprendizaje).

Las teorías sin modelos han sido particularmente efectivas para explicar las bases neuronales del aprendizaje de refuerzo en cerebros de mamíferos, en particular la actividad de las neuronas que liberan la sustancia química de recompensa del cerebro, la dopamina y cómo eso afecta el comportamiento. Los investigadores han descubierto que existen sistemas neuronales paralelos que aprenden a diferentes ritmos y también hacen posible que el cerebro resuelva los problemas de aprendizaje en múltiples escalas de tiempo.

También hay evidencia de comportamiento de que los cerebros de los animales utilizan el aprendizaje basado en modelos, aunque los fundamentos neuronales no están claros hasta ahora. Los ejemplos incluyen aprender a aprender, que se refiere a la capacidad de aprovechar la experiencia de problemas similares para resolver problemas relacionados con mayor rapidez. Los animales también pueden usar esas experiencias para construir lo que son esencialmente modelos estadísticos que les ayudan a hacer predicciones sobre el problema.

El descubrimiento de que los animales utilizan múltiples sistemas de aprendizaje, cada uno optimizado para diferentes entornos, es una información valiosa para aquellos que buscan desarrollar el aprendizaje de refuerzo de máquinas, dicen los autores. Sugiere que los agentes de aprendizaje por refuerzo artificial también deberán combinar componentes sin modelo y basados en el modelo si desean abordar las capacidades y eficiencias del cerebro humano.

Lo que sigue siendo un misterio es cómo los animales, y en particular los humanos, aprenden a coordinar comportamientos complejos que pueden incluir acciones tan variadas en dificultad como la activación de un músculo específico para tomar decisiones estratégicas a largo plazo. Aquí nuevamente, los avances en el aprendizaje con refuerzo de máquinas podrían ayudar a proporcionar una perspectiva, dicen los autores.

Un enfoque emergente conocido como aprendizaje de refuerzo jerárquico agrupa las acciones de bajo nivel en sub-objetivos organizados jerárquicamente, que se pueden aprender de manera más eficiente. Hasta ahora se ha trabajado poco sobre cómo los animales resuelven este tipo de problemas, por lo que estos modelos podrían ser puntos de partida útiles para los biólogos.

Según el estudio, un área que podría acelerar la polinización cruzada entre los dos campos es la computación neuromórfica, que apunta a crear procesadores que imiten más de cerca la estructura física del cerebro. Esto podría proporcionar una nueva y poderosa herramienta para diseñar y probar algoritmos inspirados en el cerebro, tanto para probar las teorías de la cognición animal como para encontrar soluciones poderosas para los problemas del mundo real.

 

Fuente: https://singularityhub.com/2019/03/18/like-animals-ai-is-learning-from-experience/