Der entzauberte Regenbogen

oder besser als meine tatsächliche Leistung sind, beträgt also 211 durch 1   048   576, das sind etwa 0,0002 oder 0,02 Prozent. Oder um es anders auszudrücken: Wenn 10   000 Menschen die Blätter ausschließlich durch Münzwürfe sortieren würden, würde man nur zweimal das Ergebnis erwarten, das ich tatsächlich erzielt habe. Demnach ist meine Leistung ziemlich beeindruckend, und wenn ich so gut abschneide, ist das ein starkes Indiz, dass es in der Handschrift von Jungen und Mädchen tatsächlich einen Unterschied gibt. Um es noch einmal zu wiederholen: Das alles ist ein hypothetischer Fall. Soweit mir bekannt ist, verfüge ich nicht über eine solche Fähigkeit, die mit Geschlecht und Handschrift zu tun hat. Außerdem, auch das sollte ich hinzufügen, würde selbst ein solch guter Beleg für Geschlechtsunterschiede bei der Handschrift nichts darüber aussagen, ob der Unterschied angeboren oder erlernt ist. Zumindest wenn der Befund aus einem Experiment stammt, wie ich es gerade beschrieben habe, wäre er ebenso mit der Vorstellung zu vereinbaren, dass Mädchen systematisch eine andere Handschrift lernen als Jungen – vielleicht weil sie «damenhaft» und weniger «energisch» sein soll.
    Was wir gerade durchgespielt haben, bezeichnet man in der Fachsprache als Test auf statistische Signifikanz. Dabei sind wir von den Grundprinzipien ausgegangen, und deshalb wurde das Ganze recht langwierig. In der praktischen Forschung stützt man sich auf Wahrscheinlichkeits- und Verteilungstabellen, die bereits vorher berechnet wurden. Deshalb braucht man nicht alle Möglichkeiten aufzuschreiben, wie sich etwas hätte abspielen können. Aber die Theorie, auf deren Grundlage die Tabellen errechnet wurden, beruht im Wesentlichen auf der gleichen Vorgehensweise. Man nimmt die Ereignisse, die sich hätten abspielen können , und unterwirft sie immer wieder dem Zufall. Dann betrachtet man, wie sich die Ereignisse tatsächlich abgespielt haben , und stellt fest, wie extrem die Stellung dieser Möglichkeit im Spektrum aller zufälligen Möglichkeiten ist.
    Dabei gilt es zu bedenken, dass ein Test auf statistische Signifikanz niemals ein endgültiger Beweis ist. Er kann nicht ausschließen, dass das beobachtete Ergebnis durch Glück zustande gekommen ist. Im besten Fall stellt er das Ergebnis auf eine Stufe mit einer genau benannten Menge an Glück. In unserem hypothetischen Beispiel stand es auf der gleichen Stufe wie zwei von 10   000 zufällig richtig erratenen Ergebnissen. Wenn wir sagen, ein Effekt sei statistisch signifikant, müssen wir immer den so genannten p-Wert angeben. Er bezeichnet die Wahrscheinlichkeit, dass das Ergebnis eines reinen Zufallsprozesses mindestens ebenso eindrucksvoll wäre wie das, welches man tatsächlich beobachtet hat. Ein p-Wert von 2 zu 10   000 ist schon recht beeindruckend, aber es wäre immer noch möglich, dass kein echter Zusammenhang besteht. Das ist das Schöne an einem ordnungsgemäß ausgeführten statistischen Test: Wir wissen, wie wahrscheinlich es ist, dass keine echte Gesetzmäßigkeit existiert.
    Wissenschaftler lassen sich in der Regel schon von p-Werten von 1 zu 100 oder sogar 1 zu 20 überzeugen, also von Ergebnissen, die weit weniger eindrucksvoll sind als unseres mit 2 zu 10   000. Welchen p-Wert man anerkennt, hängt davon ab, wie wichtig das Ergebnis ist und welche Entscheidungen man auf seiner Grundlage trifft. Will man entscheiden, ob es sich lohnt, das Experiment mit einer größeren Stichprobe zu wiederholen, ist ein p-Wert von 0,05 oder 1 zu 20 durchaus akzeptabel. Selbst wenn eine Wahrscheinlichkeit von 1 zu 20 besteht, dass das interessante Ergebnis nur auf Zufall beruht, steht nicht viel auf dem Spiel: Es ist kein teurer Fehler. Geht es in der Entscheidung aber um Leben und Tod wie in manchen medizinischen Forschungsarbeiten, sollte man sich um einen viel geringeren p-Wert als 1 zu 20 bemühen. Das Gleiche gilt für Experimente, die höchst umstrittene Ergebnisse beweisen sollen, beispielsweise Telepathie oder andere «paranormale» Effekte.
    Wie ich im Zusammenhang mit den DNA-Fingerabdrücken schon kurz erwähnt habe, unterscheiden Statistiker zwischen falsch-positiven oder Typ-1- und falsch-negativen oder Typ-2-Fehlern. Ein falsch-negativer Fehler oder Fehler des Typs 2 besteht darin, dass man einen tatsächlich vorhandenen Effekt nicht erkennt. Umgekehrt bei einem falsch-positiven oder Typ-1-Fehler: Hier glaubt man einen Effekt zu sehen, obwohl in