Learning and decision making in closed loop simulations of plastic spiking neural networks

Weidel, Philipp; Morrison, Abigail (Thesis advisor); Lakemeyer, Gerhard (Thesis advisor)

Aachen : RWTH Aachen University (2020, 2021)
Doktorarbeit

Dissertation, RWTH Aachen University, 2020

Kurzfassung

Zu verstehen wie Tiere und Menschen lernen, Erinnerungen bilden und Entscheidungentreffen, ist in vielen Bereichen der Wissenschaft ein langfristiges Ziel. Viele Modelle des Lernens und der Entscheidungsfindung wurden in den Bereichen Machine Learning, Künstliche Intelligenz und Computational Neuroscience entwickelt. Obwohl diese Modelle ähnliche Mechanismen beschreiben, verfolgen sie nicht alle das gleiche Ziel. Es kann unterschieden werden zwischen Modellen, die darauf abzielen eine optimale Leistung für bestimmte Aufgaben zu erreichen, und Modellen, die versuchen zu erklären, wie Tiere und Menschen lernen. Einige Modelle der ersten Klasse verwenden biologisch inspirierte Methoden (z.B. Deep Learning), sind aber in der Regel biologisch nicht realistisch. Sie sind daher nicht gut geeignet die Funktion des Gehirns zu erklären. Die Modelle in der zweiten Klasse konzentrieren sich darauf biologisch plausibel zu sein, um zu erklären, wie das Gehirn funktioniert. Sie demonstrieren aber oft ihre Fähigkeit auf vereinfachten Aufgaben und können meistens schwierigere Aufgaben aus dem Bereich des Machine Learnings nicht lösen. Diese Dissertation soll die Lücke zwischen diesen beiden Arten von Modellen schließen. Im ersten Teil dieser Arbeit werden Werkzeuge entwickelt, welche die Kombination von biologisch plausiblen neuronalen Netzmodellen mit leistungsfähigen Toolkits aus dem maschinellen Lernen und der Robotik ermöglichen. Zu diesem Zweck wird MUSIC, die Middleware für spikende, neuronale Netzwerksimulatoren wie NEST und NEURON, mit ROS, einer Middleware für Roboterhardware und Simulatoren wie Gazebo, verbunden. Diese Toolchain wird um Schnittstellen zu Verstärkungslern-Toolkits, wie zum Beispiel dem OpenAI Gym, erweitert. Im zweiten Teil wird ein neuronales Netzwerkmodell zur Aktionsauswahl in den Basalganglien entwickelt und mit einem simulierten Roboter verbunden. Dieser ist in der Lage grundlegende Verhaltensexperimente zu reproduzieren. Die Basalganglien, ein subkortikales neuronales Netzwerk, spielen eine wichtige Rolle bei der Aktionsauswahl im Gehirn von Säugetieren. In diesem Teil der Arbeit werden die Dynamik und die Rolle verschiedener Neuronentypen in Teilen der Basalganglien untersucht. Das gibt darüber Aufschluss, wie die Aktionsauswahl im Gehirn umgesetzt sein könnte. Der letzte Teil dieser Arbeit befasst sich mit der Frage wie das Gehirn seine Umgebung im neuronalen Substrat des Kortex darstellen kann. Desweiteren wird die Fragebeantwortet wie ein realistisches Modell des Verstärkungslernens diese Darstellungen nutzen kann. Zu diesem Zweck wird ein neuronales Netzwerkmodell des unüberwachten Lernens erstellt, das in der Lage ist, seine Eingangsprojektionen so zu erlernen, dass es wiederkehrende Muster erkennen und darstellen kann. Durch die Verwendung einer Aktor-Kritik Verstärkungs-Lernarchitektur, die auf einer realistischen Dopamin-modulierten Plastizitätsregel basiert, kann das Modell die gelernten Darstellungen nutzen und eine Reihe von bekannten und schwierigen Aufgaben lernen.

Einrichtungen

• Fachgruppe Informatik [120000]
• Lehrstuhl für Informatik 3 (Software Engineering) [121510]
• Lehr- und Forschungsgebiet Neural Computation (FZ Jülich) [124920]