Die Formel des Lebens: Von der Zelle zur Zivilisation (German Edition)

an. Hätte dagegen das Türgeräusch-Neuron nicht vor dem Diskrepanzneuron gefeuert, so würden seine Synapsen mit dem Erwartungsneuron auch nicht gestärkt, sondern womöglich gar geschwächt.
    Wir können jetzt verstehen, wie das prädiktive Lernen funktioniert. Nehmen wir an, der Affe ertastet den Apfel, nachdem er das Türgeräusch gehört hat. Das Ertasten bewirkt, dass das Diskrepanzneuron feuert (wegen der starken stimulierenden Synapse). JederInput an das Erwartungsneuron, das kurz vorher gefeuert hat, verstärkt indessen leicht dessen Synapse mit dem Erwartungsneuron. Das gilt für das Türgeräusch-, nicht aber für das Lichtblitz-Neuron. Obwohl sowohl das Türgeräusch- als auch das Lichtblitz-Neuron Inputs an das Erwartungsneuron geben können, wird nur die Synapse mit dem Türgeräusch-Neuron gestärkt, weil es kurz vor dem Diskrepanzneuron gefeuert hat (welches wiederum durch das Ertasten der Belohnung gereizt wurde).
    Da nun das Türgeräusch-Neuron kurz zuvor gefeuert hat, erhöht es seine eigene Stärke mit Hilfe des Diskrepanzneurons. Diese Selbstverstärkung setzt sich in weiteren Runden von Türgeräusch und Belohnung fort und führt dazu, dass sich eine immer stärkere Synapse zwischen Türgeräusch- und Erwartungsneuron bildet; in Abbildung 55 ist daher die Synapse länger gezeichnet. Man könnte sich vorstellen, dass diese Selbstverstärkung unendlich weitergeht und die Synapse zwischen Türgeräusch- und Erwartungsneuron immer stärker wird. Das ist aber nicht der Fall, weil das Türgeräusch-Neuron irgendwann seinem eigenen Erfolg zum Opfer fällt, wie wir jetzt sehen werden.
    (55) Schematische Darstellung des TD-Learnins: Stärke der neuronalen Verbindungen nach der Konditionierung.
    Mit zunehmender Synapsenstärke zum Türgeräusch-Neuron beginnt das Feuerungsmuster des Diskrepanzneurons sich in zweierlei Hinsicht zu verändern. Erstens beginnt das Diskrepanzneuron bereits dann stärker zu feuern, wenn die Tür aufgeht. Denn bei der Türöffnung feuert das Türgeräusch-Neuron und reizt damit über die jetzt stärkere Synapse das Erwartungsneuron. Der Anstieg in der Feuerungsrate des Erwartungsneurons reizt wiederum das Diskrepanzneuron (wir erinnern uns: Das Erwartungsneuron wirkt stimulierend, wenn seine Feuerungsrate ansteigt). Das Diskrepanzneuron feuert nun also stärker, wenn der Affe die Tür aufgehen hört.
    Zweitens verändert sich das Feuerungsmuster des Diskrepanzneurons zum Zeitpunkt der Belohnung. Wie zuvor stimuliert das Ertasten des Apfels das Feuern des Diskrepanzneurons. Gleichzeitig ist aber der Aktivitätspegel des Erwartungsneurons schon im Sinken begriffen – der Affe hört ja das Türgeräusch jetzt nicht mehr. Nach der oben beschriebenen Regel führt dieser Abfall in der Feuerungsrate des Erwartungsneurons zu einer Hemmung des Diskrepanzneurons. Das Diskrepanzneuron erhält jetzt zwei widersprüchliche Inputs – einen stimulierenden Input von der Belohnung und einen hemmenden Input vom weniger starken Feuern des Erwartungsneurons. Diese Hemmung durch das Erwartungsneuron bedeutet, dass das Diskrepanzneuron jetzt weniger stark feuert als bei der ersten Belohnung. Und das wiederum lässt zugleich die Synapse des Türgeräusch-Neurons weniger erstarken und wirkt der Selbstverstärkung dieses Neurons entgegen.
    Wir haben es also mit einem System zu tun, das sich selbst in Grenzen hält. Mit jeder Erfahrung steigt die Feuerungsrate des Erwartungsneurons tendenziell schon an, sobald der Affe die Tür hört, weil die Synapse gestärkt worden ist. Eine Folge dieses frühen Anstiegs ist aber später ein Absinken der Feuerungsrate beim Erwartungsneuron – ein Beispiel dafür, dass alles, was einmal ansteigt, später absinkt. Dieses spätere Absinken der Feuerungsrate beim Erwartungsneuron hemmt das Diskrepanzneuron und begrenzt damit das Ausmaß der Synapsenstärkung. So geht der Prozess immer weiter,bis der hemmende Effekt der sinkenden Erwartung den stimulierenden Effekt der Belohnung genau ausgleicht. An diesem Punkt feuert das Diskrepanzneuron nicht mehr stärker, wenn der Apfel ertastet wird, und die Synapsenstärken werden nicht mehr weiter verändert. Das System hat sich stabilisiert, weil die Veränderung an der Feuerungsrate des Erwartungsneurons wirksam an die Stimulierung durch die Belohnung angepasst wurde. Das Diskrepanzneuron feuert nun nur noch dann stärker, wenn die Feuerungsrate des Erwartungsneurons dadurch gesteigert wird, dass der Affe die Tür gehen