Was beweist Statistik

Statistik beweist nichts, ist aber eine gute Strategie

Bewiesen wird mit Logik, nicht mit Statistik:

Wir sehen uns die Voraussetzungen an und schließen dann. Die Hauptfehlerquellen sind das Übersehen von Voraussetzungen und die Verletzung der Schlussregeln, und wenn beides gezielt angewandt wird, kann dann von allem Möglichen behauptet werden, dass es bewiesen ist. Das geht mit statistischen Argumenten besonders eindrucksvoll, weil der geneigte Hörer glaubt, er könne ebenfalls richtig zählen. Wir wollen uns ansehen, wie das funktioniert, und die Ehre des Statistik retten.

Wette: Schätzen Sie mal! - eine oft gehörte Aufforderung.

Damit ist zunächst nur Aussage oder Entscheidung ohne weitere Voruntersuchung gemeint, also eine Art Wette, unabhängig von spezifischer Kenntnis. Wir vermuten etwas, und sagen auf Neudeutsch: ich denke mal ...
Wir untersuchen eine Menge von Alternativen E_k, deren Wahrscheinlichkeit wir nur vermuten. Wenn wir die Alternativen im Einzelnen kennen, können wir sagen welche Wahrscheinlichkeit P[T|E_k] ein bestimmter Testwert T unter den verschiedenen Altenativen hat. Betrachten wir T als Schnitt durch alle Alternativen, dann ist
P[T|E_k] = P[T geschnitten E_k] / P[E_k]
und wir können schreiben
P[T|E_k] = P[E_k|T] P[T]/ P[E_k]
so dass sich
P[E_k|T] / P[E_l|T] = P[E_k] / P[E_l] * P[T|E_k] / P[T|E_l]
ergibt. Die Beobachtung T verändert unsere vermutete Wette und präzisiert sie, bringt aber keine absolute Sicherheit.

Schätzung: Aussage nach Voruntersuchung messbarer Größen:

Wenn wir eine Größe Θ_wahr wissen wollen, na dann messen wir sie einfach! Messungen haben aber immer Fehler. Was der Taschenrechner anbietet: Messung mehrmals durchführen, Mittelwert m und Streuung s bestimmen und die Schätzung dann so formulieren: Mit einer bestimmten Wahrscheinlichkeit überdeckt ein Intervall um den Mittelwert m den wahren Wert Θ_wahr. Das heiß Konfidenzschätzung und wir nennen die Wahrscheinlichkeit, dass das Intervall irgendeinen Wert Θ überdeckt, die Kennfunktion der Schätzung:
W[Θ in [m-es,m+es] falls Θ_wahr richtig] = W[Θ,Θ_wahr,e]
Den Faktor e lassen wir noch offen. Er repräsentiert unsere Freiheit, die Breite des Konfidenzintervalls noch zu wählen. Der Wert W[Θ_wahr,Θ_wahr,e] heißt Konfidenzniveau. Er soll möglichst dicht an 1 liegen, aber je dichter er an 1 liegt, desto breiter wird die Kennfunktion. Die Schätzung wird dann immer ungenauer.

Test: Treffen einer Entscheidung zwischen verschiedenen Alternativen nach Voruntersuchung messbarer Größen:

Wir wollen testen, ob wir uns für das Zutreffen einer Zielgröße Θ_ziel entscheiden können (etwa bei einer Qualitätskontrolle). Wir wollen das tun, wenn das Intervall [m-es,m+es] diese Zielgröße enthät. Wir nennen die Abweichung des Messwerts m vom Zielwert nur dann signifikant, wenn das Intervall den Zielwert nicht mehr enthält. Wenn der wahre Wert gleich dem Zielwert ist, sollte die Wahrscheinlichkeit dafür besonders klein sein.
Θ_ziel wird mit der Wahscheinlichkeit
W[Θ_ziel,Θ_wahr,e]
akzeptiert. Was bei der Konfidenzschätzung Konfidenzniveau hieß, ist jetzt das Signifikanzniveau des Tests. Die Abweichung von 1 heißt Fehler erster Art. Er bezeichnet die Wahrscheinlichkeit, dass der Zielwert als nicht erreicht angesehen wird, obwohl er richtig ist. Wir können ihn mit dem Faktor e beeinflussen, stehen aber wieder vor dem gleichen Dilemma: Je höher das Signifikanzniveau, desto größer nun wieder der Fehler zweiter Art: Er bezeichnet die Wahrscheinlichkeit, dass der Zielwert als erreicht angesehen wird, obwohl er es nicht ist, d.h. obwohl er von Θ_wahr abweicht.

Risiko: Bewerten einer Entscheidung: Kosten des Tests, Kosten der Fehlentscheidung, Wahl der Teststrategie.

Wie finden wir die beste Strategie (hier vertreten durch den Faktor e)? Wir brauchen eine Bewertung der Fehler, um sie gegeneinander abwägen zu können. Es entstehen Kosten, wenn bei einer Gütekontrolle der Fehler erster Art gemacht wird, weil es dann überflüssige Nacharbeit gibt. Es entstehen aber noch mehr Kosten, wenn der Fehler zweiter Art gemacht wird, etwa Rücknahme, Unfälle, Strafe ins Haus stehen. Die Kosten betragen also
K[Θ_wahr,e] = K₁(1-W[Θ_ziel,Θ_wahr,e]) + K₂[Θ_wahr]W[Θ_ziel,Θ_wahr,e].
Nun brauche wir "nur" noch eine Vorstellung, wie über Θ_wahr zu mitteln ist, und dann können wir das optimale e suchen.

Was beweist Statistik?

Statistik beweist nichts, will nichts beweisen: sie ist eine Entscheidungshilfe. Sie setzt ein Modell (das der Zufallsvariablen) axiomatisch voraus, ohne das die Schlüsse und Rechnungen nicht durchführbar sind.
Ein Beweis hat eine bestimmte Struktur: Er benennt die Voraussetzungen (Hypothesen), den Schlussweg, den Schluss. Die Hauptfehler sind das manchmal absichtliche Vergessen der Hypothesen, die manchmal absichtlich falsche Verwendung der Schlussfiguren.
Eine Theorie lebt davon, mit wenigen Hypothesen und richtigen Schlussfiguren die ansonsten unverständlichen Beobachtungen zu erklären. Eine Theorie ermöglicht so Verständnis. Der landläufige Gebrauch des Attributs "theoretisch" ist dagegen eine Verunglimpfung, weil er im Allgemeinen nur Vermutungen betrifft und die Wolkigkeit derselben als Vertuschung der eigenen Unlust zum Denken benutzt.
Eine Vermutung ist noch nicht einmal eine Hypothese. Das wird sie erst, wenn man sie als Fundament nehmen und eine Theorie darauf aufbauen kann, die den Zusammenhang verschidener Beobachtungen gestattet und sie damit erklärt. Beobachtungen müssen erklärt werden, und die Erklärung ist eine Theorie.
Eine Theorie sollte richtig sein (d.h. logisch richtig aus den Prinzipien hergeleitet sein), es gibt aber keinen logischen Schluss auf ihre Anwendbarkeit. Die Anwendbarkeit (d.h. die Produktivität der als Prinzipien akzeptierten Vermutungen) muss durch Experiment und Beobachtung getestet werden. Diese Tests haben wiederum nur dann Beweiskraft, wenn das Ergebnis negativ ist, d.h. die Erwartung enttäuscht. Negative Ergebnisse beweisen, dass die Anwendbarkeit eingeschränkt oder ausgeschlossen ist. Positive Ergebnisse stützen natürlich die Theorie, beweisen aber nicht ihre Anwendbarkeit. Dennoch ist es eine gute Strategie, gut gestützte Theorien zu verwenden.