Die Formel des Lebens: Von der Zelle zur Zivilisation (German Edition)

Befürwortern des TD-Learnings hat nämlich das Feuern des Diskrepanzneurons zur Folge, dass der Affe erregt wird oder sich freut. In der Tat spielt der Neurotransmitter Dopamin, den das Diskrepanzneuron ausschüttet (siehe Romo und Schultz), eine wesentliche Rolle bei der Drogenabhängigkeit. Drogen wie Kokain und Amphetamine wirken wohl dadurch, dass sie die Dopamin-Aktivität verstärken. Anfangs löst das Ertasten des Apfels die Aktivität des Diskrepanzneurons und die Dopamin-Ausschüttung aus, und das erregt den Affen. Nach dem Lernprozess verhält sich das Türgeräusch wie anfangs die Belohnung: Es reizt das Diskrepanzneuron und bewirkt die Dopamin-Ausschüttung. Aus diesem neuronalen Blickwinkel betrachtet, ist das Türgeräusch eine Art Ersatzbelohnung geworden: Es löst die Aktivität des Diskrepanzneurons und die Dopamin-Ausschüttung aus wie zuvor die Belohnung. Kündigt ein neuer Reiz, etwa ein Lichtblitz, das Türgeräusch an, so wird der Affe diese Situation genau so behandeln, als würde der Lichtblitz eine Apfelbelohnung vorhersagen. In diesem Fall bestünde aber die »Belohnung« nicht im Ertasten des Apfels, sondern in der Ersatzbelohnung Türgeräusch. Macht der Affe häufig die Erfahrung, dass dem Türgeräusch ein Lichtblitz vorausgeht, dann stellt er per TD-Learning sicher, dass das Diskrepanzneuron noch früher feuert, nämlich beim Lichtblitz. Eine Erfahrung baut auf der anderen auf. Haben wir gelernt, die Apfelbelohnung beim Türgeräusch zu erwarten, so lernt das System automatisch auf Faktoren zu reagieren, die das Türgeräusch vorhersagen könnten. Der Lerntrieb lässt nicht nach; er hat sich lediglich auf einen anderen Reiz verschoben.
    Die Erschaffung solcher Ersatzbelohnungen ist im Lernprozess so ausgeprägt, dass sich gelegentlich nur schwer identifizieren lässt, was eine instinktive und was eine erlernte Belohnung ist. In vielen Pawlow’schen Experimenten wurde der Geruch oder der Anblickvon Fleisch dafür genutzt, andere Reaktionen zu konditionieren. Man könnte meinen, der Speichelfluss bei der Präsentation von Fleisch wäre Hunden angeboren und sie würden Signale wie den Klingelton erlernen, wenn sie diese Belohnung vorhersagen. Es hat sich aber herausgestellt, dass diese Reaktion auf Fleisch eben nicht angeboren ist, sondern selbst bereits auf Konditionierung beruht. 75 Füttert man einen Hund nach seiner Geburt lange Zeit ausschließlich mit Milch, so produziert er keinen Speichel, wenn er zum ersten Mal Fleisch riecht oder sieht. Erst wenn der Hund mehrmals mit Fleisch gefüttert wurde, beginnt der Geruch oder der Anblick von Fleisch die Speichelflussreaktion auszulösen. Diese Stimuli fungieren dann nämlich als Vorhersagen für Belohnungen, etwa eine befriedigende Mahlzeit, und werden damit fortan selbst eigenständige Belohnungen. Was wir also normalerweise als instinktive, nicht erlernte Reaktion bezeichnen, nämlich den Speichelfluss als Reaktion auf Fleisch, entsteht in Wirklichkeit selbst durch Konditionierung. Das heißt nicht, dass der Hund ganz ohne instinktive Reaktionen geboren wird. Angeborene Reaktionen auf Reize, die als Belohnungen oder Strafe funktionieren, werden von den neuronalen Verbindungen gesteuert, die bereits während der Entwicklung des Hundeembryos aufgebaut werden. Sobald aber der Hund geboren und seinem Umfeld ausgesetzt ist, fängt er an, auf diesen Reaktionen durch Lernen aufzubauen, und richtet so weitere Reizschemata ein, die als Belohnung oder Strafe funktionieren.
    Das Phänomen, dass eine erlernte Reaktion einer anderen als Grundlage dient, bezeichnet man als sekundäre Konditionierung. Aus dem TD-Learning ergibt sich das ganz natürlich, weil dieser Mechanismus ohnehin immer relativ wirkt. Beim Auftreten von Diskrepanzen verändern sich die Erwartungen; sie verschieben die Diskrepanzen und führen für den nächsten Lerndurchgang Ersatzbelohnungen ein.
    Der Mensch mit seinem ausgefeilten Gehirn ist Experte in dem Spiel, Erwartungen und Belohnungen anzupassen. Wir behandeln häufig Geld als Belohnung, das heißt, wir arbeiten, um am Monatsende bezahlt zu werden. Geld hat jedoch nur deshalb einen Wert, weil man damit Waren kaufen kann, etwa Lebensmittel oder andere Konsumgüter. Zum Beispiel kaufen wir in einem Laden einen Apfel. Allerdings essen wir normalerweise den Apfel nicht sofort; die Belohnung wird noch weiter verschoben auf den Zeitpunkt, zu dem wir ihn schließlich essen. Jede dieser Belohnungen, Geld, Essenskauf und Essen,