Die Formel des Lebens: Von der Zelle zur Zivilisation (German Edition)

besteht darin, diese Diskrepanz auszugleichen – das Türgeräusch bewirkt, dass der Affe die Belohnung erwartet. Allerdings weiß der Affe noch immer nicht, wann das Türgeräusch zu erwarten ist. Er kann nicht wissen, wann das Türgeräusch ertönen wird; insofern besteht also weiterhin ein Stück Überraschung oder Erwartungsdiskrepanz. Nur wurde die Diskrepanz von dem Zeitpunkt der Belohnung auf einen früheren Zeitpunkt verschoben, nämlich wenn die Tür zu hören ist. Die neuronale Aktivität, die Romo und Schultz maßen, korreliert also offenbar mit dem zeitlichen Ablauf der Diskrepanzen, also mit dem Zeitpunkt, zu dem der Affe überrascht wird. Die Frage lautet nun, wie eine solche Zeitverschiebung über neuronale Wechselwirkung entstehen kann.
LERNEN AUS DISKREPANZEN
    Eine patente Antwort lieferten wenige Jahre später die Computer-Neurowissenschaftler Read Montague, Peter Dayan und Terry Sejnowski aus den USA. Ihr Vorschlag verknüpft die Versuchsergebnisse von Romo und Schultz mit einer mathematischen Lerntheorie, dem »Temporal-Difference-Learning« oder TD-Learning, das Richard Sutton und Andrew Barto Jahre zuvor entwickelt hatten. 67 Es lohnt sich, den Mechanismus nach Montague, Dayan und Sejnowski etwas detaillierter zu betrachten, weil wir damit die Schlüsselelemente des Lernens in den Blick bekommen.
    Ihr Schema ist in vereinfachter Form in Abbildung 54 dargestellt. Wir sehen dort zwei Neurone, die unterschiedliche Inputs erhalten. Ich nenne das obere das Erwartungsneuron . Mit diesem Namen willich nicht sagen, dass dieses Neuron über besondere psychologische Eigenschaften verfügt, so dass es irgendetwas Bestimmtes erwarten könnte. Es ist ein Neuron wie jedes andere, mit Inputs und Outputs. Doch wie wir sehen werden, spiegelt die Rolle, die dieses Neuron in dem Schema übernimmt, die Erwartungen des Affen. Das Erwartungsneuron erhält Inputs von verschiedenen sensorischen Signalen, etwa dem Türgeräusch, oder visuelle Reize wie einen Lichtblitz. Diese Signale sind über schwache Synapsen an das Erwartungsneuron gebunden, die ich mit kurzen Strichen an den Axon-Enden darstelle. Diese Signale aktivieren das Erwartungsneuron zunächst also, wenn überhaupt, nur sehr schwach.
    (54) Schematische Darstellung des TD-Learnings: Stärke der neuronalen Verbindungen vor der Konditionierung.
    Das untere, grau dargestellte Neuron ist das so genannte Diskrepanzneuron . Auch hier handelt es sich um ein ganz normales Neuron, und die Bezeichnung spielt lediglich auf die Rolle an, die es in unserem Schema übernimmt. Das Diskrepanzneuron erhält einen stimulierenden Input (dargestellt durch ein Pluszeichen) von einem Neuron, das eine Belohnung wahrnimmt, etwa weil ein Stück Apfel ertastet wird. Das Belohnungssignal ist über eine starke Synapse an das Diskrepanzneuron gebunden, das Ertasten des Apfels stimuliert das Diskrepanzneuron also stark zum Feuern. Gleichzeitig erhält das Diskrepanzneuron auch noch einen Input vom Erwartungsneuron. Dieser Input kann entweder stimulierend oder hemmend sein, daher das Plus- und das Minuszeichen. Ob der Input stimuliert oder hemmt, hängt davon ab, ob die Feuerungsrate des Erwartungsneurons gerade ansteigt oder abfällt. Steigt die Feuerungsrate des Erwartungsneurons gerade an, so stimuliert es das Diskrepanzneuron zusätzlich. Fällt die Feuerungsrate des Erwartungsneurons aber gerade ab, so hemmt es die des Diskrepanzneurons. Das ist sehr vergleichbar mit dem schwimmenden Bakterium Escherichia coli aus dem vorigen Kapitel. Wie wir wissen, veränderte es sein Schwimmverhalten, je nachdem, ob der Zuckergehalt in der Umgebung gerade anstieg oder abfiel. Genauso kommt es jetzt auf die relative Veränderung in der Feuerungsrate des Erwartungsneurons an. Wir merken uns die Kernaussage: Steigt die Feuerungsrate des Erwartungsneurons an, so wird das Diskrepanzneuron stimuliert; fällt sie ab, so wird das Diskrepanzneuron gehemmt.
    Schließlich fehlt uns noch die letzte Verbindung in unserem Schema: Das Diskrepanzneuron beeinflusst über eine Rückkopplung die Inputs an das Erwartungsneuron – und das ist einigermaßen außergewöhnlich. Starkes Feuern des Diskrepanzneurons stärkt tendenziell die Synapsen in genau den Neuronen, die gerade kurz vor dem Diskrepanzneuron gefeuert haben. Wenn also das Neuron, das das Türgeräusch wahrgenommen hat, vor der Aktivität des Diskrepanzneurons gefeuert hat, so steigt die Stärke seiner Synapse beim Feuern des Diskrepanzneurons leicht