¿Los sueños son una forma de retropropagación?

Hasta la fecha, todavía es una pregunta abierta si nuestros cerebros hacen una nueva propagación ( es decir, flujo de datos a través de la red y cambio de estado causal a estado ).

  • Geoffrey Hinton propuso un mecanismo en 2007 para que nuestros cerebros realicen una propagación inversa [1], [5], [8]
  • Yoshua Bengio inspirado por el trabajo de Hinton, publicó un artículo el año pasado ( 2016 ) proponiendo un modelo de aprendizaje profundo que es biológicamente plausible, particularmente en referencia a la retropropagación. [9]

Entonces, ¿qué está pasando exactamente durante el sueño / soñando?

  • Los seres humanos y otros mamíferos tienen una memoria de trabajo que es anatómicamente distinta de una tienda de memoria a largo plazo. Mientras duerme, se ha observado una forma de onda oscilante de alta frecuencia (~ 200 Hz) en la región de memoria de trabajo que parece realizar una reproducción rápida de las memorias codificadas durante el día y esta repetición está coordinada por una oscilación más lenta para consolidar algunas de esas memorias en la tienda de memoria a largo plazo. [2], [3]
  • Demis Hassabis de DeepMind analiza un trabajo más reciente donde los ratones no solo están reproduciendo recuerdos pasados ​​mientras duermen, sino que también crean nuevas experiencias relacionadas con las experiencias del día. Posteriormente, podemos descubrir células que dispararon durante esas nuevas experiencias mediante un experimento ingeniosamente elaborado. [4]
  • Entonces, para resumir, aceptando que las etiquetas que damos a estos estados observados en un ratón, como “soñar” e “imaginar” son antropomorfizaciones,
    • podríamos decir que hay suficiente evidencia para indicar que los ratones están realizando un aprendizaje fuera de línea ya que consolidan los recuerdos del día, lo que podríamos etiquetar como soñar
    • e incluso “imaginar” nuevas experiencias basadas en las experiencias del día ( por ejemplo, ratones imaginando correr por un laberinto para comer una bolita de arroz, que no pudo durante el día porque el acceso al pellet de arroz estaba bloqueado )

Referencias

  1. ¿Pueden nuestros cerebros hacer una nueva propagación? Conferencia de abril de 2016 de Geoffrey Hinton

2. ¿Cuál es el papel y la función de las oscilaciones corticales (gamma, beta, alfa, theta)?

3 . Reactivación de secuencias de spike. Esta figura muestra una ilustración esquemática de cómo las células piramidales CA1 tienden a disparar en el mismo orden durante el sueño que durante una sesión de pista anterior [37,38]. Panel superior: probabilidad de disparo de seis células piramidales del hipocampo A-F en función de la ubicación de la rata a medida que atraviesa la pista lineal.
Paneles inferiores: tiempos pico de las mismas celdas durante el sueño antes y después de la ejecución de la pista. Tenga en cuenta que en la primera suspensión (el sueño antes de la ejecución de la pista), las celdas se disparan en un orden que no está relacionado con los patrones de disparo del conjunto durante la ejecución posterior de la pista. Sin embargo, en el modo de suspensión después de la exploración, el orden de activación de la célula durante un SWR refleja el orden en que las células dispararon durante el recorrido de la pista.
Juega de nuevo: reactivación de la experiencia de vigilia y la memoria, Cell 2010

4. Un experimento que ofrece evidencia indirecta de que los ratones “imaginan”. Charla de Demis Hassabis sobre AGI, refuerzo de aprendizaje, etc.

5. Hinton: cómo hacer una propagación inversa en el cerebro

6. Las células del hipocampo construyen secuencias relacionadas con la recompensa a través del espacio inexplorado, la publicación que Demis Hassais cita en su conferencia de video sobre las ratas que “imaginan”

7. ¿Los humanos son el único animal con imaginación?

8. Hacia un aprendizaje profundo biológicamente plausible, agosto de 2016

9. Cómo hacer backprogation en el cerebro

Improbable. Es prudente evitar comparaciones directas entre redes neuronales biológicas y redes profundas, especialmente una tan directa como esta. El análisis del cerebro revela una falta de redes de retroalimentación, lo que hace que la propagación de regreso sea biológicamente inverosímil. (Por otro lado, esta es la razón por la cual se están explorando cosas como la alineación de retroalimentación)

Creo que hay una buena posibilidad de que los cerebros usen el sueño como un momento para reproducir recuerdos secuenciales y realizar diferentes formas de aprendizaje, así como para establecer situaciones hipotéticas y examinar sus consecuencias. Probablemente el caso sea que, aunque el cerebro es masivamente paralelo, ciertos tipos de operaciones de aprendizaje requieren transmisión a través de muchas conexiones, y por lo tanto, solo unas pocas se pueden hacer a la vez, porque de lo contrario se mezclarían y se confundirían. Entonces, el cerebro puede tomar el tiempo de sueño como un período para serializar algunas de las operaciones de aprendizaje. Esto puede implicar el entrenamiento de las sinapsis utilizando propagación de retorno de bajo nivel y otras operaciones de aprendizaje de refuerzo.

Si ya hay suficiente conocimiento de alta calidad, el cerebro puede inferir útilmente las consecuencias de acciones hipotéticas y crear nuevos conocimientos activando el conocimiento existente y examinando las consecuencias predichas, y luego quemando este conocimiento al usar el aprendizaje de refuerzo. Un efecto secundario de este tipo de experiencia simulada puede ser lo que sentimos cuando soñamos.