Wird ein signifikantes Studienergebnis veröffentlicht, so flößt das vielen Menschen Respekt ein – völlig zu Recht natürlich. Es erhält damit die höheren Weihen wissenschaftlicher Unabweisbarkeit. Eine Möglichkeit, einen signifikanten Zusammenhang (Korrelation) zu entdecken, zeigt hier mein Lieblings-Webcomic xkcd (leider und, Dank des feinen Humors, zugleich glücklicher Weise auf englisch): man testet einfach so lange so viele Kombinationen durch, bis endlich das gewünschte signifikante Ergebnis dabei ist. In diesem Beispiel geht es um Gummibärchen und Akne. Jemand behauptet: Gummibärchen verursachen Akne! Wissenschaftler, überprüft das!
Sie finden keinen Zusammenhang (p>0,05 bedeutet: Die Irrtumswahrscheinlichkeit ist höher als 5%). Vielleicht geht es nur um eine bestimmte Farbe? Sie testen nun alles durch, was ihnen einfällt: violette Gummibärchen, braune, gelbe, pinke, magentafarbene, gelbe, … und viele andere. Kein Zusammenhang – mit einer Ausnahme. Dann die große Zeitungsschlagzeile: Zusammenhang zwischen grünen Gummibärchen und Akne gefunden! Wahrscheinlichkeit, dass dies auf Zufall beruht, ist geringer als 5%!
Ein Fachbegriff für ein solches Vorgehen heißt Alpha-Fehler-Kumulierung. Ein methodisch sauberes und wissenschaftlich seriöses Vorgehen bestünde natürlich darin, alle durchgeführten Tests zu dokumentieren. Varianzanalysen bieten sog. Post-Hoc-Tests, mit denen der gesamte Hypothesenkomplex (die Reihe der Einzelvergleiche) auf dem Signifikanzniveau der Gesamtanalyse abgesichert wird.
Hier gibt’s einen ausführlichen Artikel zur Erläuterung des Begriffes Signifikanz sowie weitere Artikel zu diesem Stichwort.
Lust auf xkcd ohne Bildschirm-Flimmern? Hier: Xkcd: Volume 0
<br /> <img src=“http://wms.assoc-amazon.de/20070822/DE/img/noscript.gif?tag=statiindresd-21″ alt=““ /><br />