Die Formel des Lebens: Von der Zelle zur Zivilisation (German Edition)

TD-Learning eine entscheidende Rolle. Das Feuern des Türgeräusch-Neurons fördert mit Hilfe des Diskrepanzneurons seine eigene synaptische Stärke. Diese Verstärkung ist unverzichtbar, damit das System funktionieren kann; denn erst dadurch erhält das Türgeräusch-Neuron die Oberhand über weitere mögliche Input-Signale wie den Lichtblitz. Genauso verstärkt beim Pawlow’schen Hund das Feuern eines Klingelton-Neurons tendenziell die eigenen Synapsen. Diese Verstärkung können wir mit einer positiv rückgekoppelten Regelschleife wie in Abbildung 56 (links) darstellen, wo das Feuern eines Neurons die eigene Synapsenstärke befördert.
    (56) Wechselspiel von Verstärkung (positive Rückkopplung) und Wettbewerb (negative Rückkopplung) beim Lernen.
    Sich selbst überlassen, würde die Verstärkung dazu führen, dass bestimmte Synapsen endlos stärker werden, wenn die Erfahrungen sich häufen. Das System würde sich selbst zu immer höheren Werten synaptischer Aktivität hochschrauben – und das Gehirn würde sich schließlich selbst in den Wahnsinn treiben. Dazu kommt es aber nicht, weil der Selbstantrieb irgendwann seinem eigenen Erfolg zum Opfer fällt. Mit zunehmender Synapsenstärke des Türgeräusch-Neurons feuert auch das Erwartungsneuron beim Türgeräusch stärker. Das heißt, zum Zeitpunkt der Belohnung fällt die Erwartung stärker ab, die Aktivität des Diskrepanzneurons wird geschwächt und weitere Verstärkung damit unterbunden. Die Verstärkung hat zur eigenen Hemmung oder Einschränkung geführt, wie es die Regelschleife mit negativer Rückkopplung in Abbildung 56 darstellt. Und wieder haben wir unsere vertraute doppelte Rückkopplungsschleife, bei der die Verstärkung den Wettbewerb fördert (vgl. Abb. 12 auf S. 89); Wettbewerb ist in diesem Fall die hemmende Wirkung der Neurone. Insgesamt wirkt sichdiese Kombination von positiven und negativen Rückkopplungen so aus, dass Erwartungen an den Grad von Belohnung oder Strafe angepasst werden können.
    Da sind wir wieder bei denselben Grundprinzipien wie bei Evolution und biologischer Entwicklung. Im Zentrum des Lernprozesses steht eine doppelte Rückkopplungsschleife von Verstärkung und Wettbewerb, die von einem Gleichgewicht von Variabilität und Persistenz angetrieben wird. Der Unterschied ist, dass wir es diesmal mit einer Population von Erfahrungen und neuronalen Wechselwirkungen zu tun haben und nicht mehr, wie bei der Evolution, mit einer Population von Individuen oder, wie bei der biologischen Entwicklung, mit einer Population von Molekülen und Zellen. Die Prinzipien sind dieselben, die Ausformung aber eine andere. Natürlich bestehen sehr viele Unterschiede zwischen Evolution, biologischer Entwicklung und Lernen. Unterschiedliche Erfahrungen sind nicht dasselbe wie genetische Varianten innerhalb einer Population oder Kollisionen zwischen Molekülen. Und die Stärkung von Synapsen ist etwas ganz anderes als Reproduktionserfolg. Doch trotz dieser vielen Unterschiede einen diese Prozesse doch mehrere formale Ähnlichkeiten – eine ähnliche Zusammenstellung grundlegender Rückkopplungsschleifen und Parameter.
    Es ist kein Zufall, dass wir auf gemeinsame Prinzipien gestoßen sind. Es ist ja gerade der Ansatz dieses Buches, zu untersuchen, was verschiedene Umwandlungsprozesse gemeinsam haben. Ziel der Übung darf es freilich nicht sein, zum Selbstzweck nach Ähnlichkeiten zu suchen; sondern wir wollen Wandlungsprozesse des Lebens im Kern besser begreifen. Normalerweise wird TD-Learning nicht als doppelte Rückkopplungsschleife zwischen Verstärkung und Wettbewerb dargestellt, die von einem Gleichgewicht von Variabilität und Persistenz angetrieben wird. Indem wir den Lernprozess aber aus dieser Perspektive betrachten, erkennen wir deutlicher sowohl die fundamentale Logik des TD-Learnings als auch seinen Bezug zu anderen Prozessen.
    Ich habe TD-Learning als Beispiel dafür angeführt, wie sich allgemeine Prinzipien auf einen bestimmten Lernmechanismus anwenden lassen. Doch für die meisten Mechanismen, die für das Lernen vorgeschlagen wurden, ließe sich dasselbe sagen. 74 In einer variablen, ungewissen Umwelt müssen wir aus einer Population von Ereignissen Trends ableiten können statt einzelne Vorkommnisse. Soll das Lernen sich dauerhaft auswirken, dann brauchen wir irgendeine Form der Persistenz. Damit bestimmte neuronale Verbindungen sich mehr fördern als andere, brauchen wir Verstärkung. Und Verstärkung wiederum muss sich durch