LDie willkürlichen Signifikanzniveaus werden vor der Berechnung der Kontraststatistik festgelegt, und die nicht willkürlichen Signifikanzniveaus hängen von dem von der Kontraststatistik angenommenen Wert ab, die beide von der von den Daten gefolgten Verteilung abhängen.
Mit anderen Worten, die willkürlichen Signifikanzniveaus sind für verschiedene Werte der Teststatistik immer gleich und die nicht willkürlichen Signifikanzniveaus sind für verschiedene Werte der Teststatistik unterschiedlich.
Nicht willkürlich
Wenn auf ein Konzept hingewiesen wird, bedeutet die Eigenschaft, willkürlich zu sein, dass der Wert dieses Konzepts vom Forscher gewählt wird. a priori (bevor) das Experiment durchführt, ohne sich auf verwandte Informationen zu verlassen.
P-Wert und Elefanten
Angenommen, wir möchten die Anzahl der Elefanten auf einer Wiese testen.
Bevor wir die Wiese und die tatsächlich existierenden Elefanten sehen, nehmen wir an a priori die Zahl der Elefanten. Wir sagen, dass es 10 Elefanten geben kann. Also gehen wir auf die Wiese und zählen die Elefanten, die wir sehen: 1, 2, 3, 4, 5, 6 und 7.
Unsere Nullhypothese war, dass die Anzahl der Elefanten auf der Wiese gleich 10 war, und unsere Alternativhypothese war, dass es weniger als 10 gab. Angesichts der Elefanten, die es gibt, würden wir die Nullhypothese ablehnen. Aber… Was ist, wenn 3 weitere Elefanten auf der Wiese sind, aber hinter den Bäumen versteckt sind? Wir würden unsere Nullhypothese verwerfen, wenn sie wahr sein könnte, wenn wir, anstatt die Elefanten zu zählen, die maximale Anzahl von Elefanten berechnet hätten, die das Grasland aufnehmen kann.
Analyse
Die Auswahl der 10 Elefanten am Anfang war völlig willkürlich, da wir die Größe der Wiese nicht gesehen haben und daher nicht wissen, ob 10 Elefanten viel oder wenig sind.
Berechnen wir hingegen die maximale Anzahl der Elefanten, die sie aufnehmen kann, wenn die Größe der Wiese gegeben ist, wissen wir, wie hoch der Maximalwert ist, um die Nullhypothese nicht zu verwerfen. So wird es viel einfacher, die reelle Zahl zu finden.
Vergleich
Das gleiche gilt für die Signifikanzniveaus 1 %, 5 % und 10 % im Vergleich zum p-Wert. In vielen Kontrasten wählen wir das Signifikanzniveau, ohne andere Informationen als die Verteilung zu berücksichtigen. Normalerweise werden 5 % als Signifikanzniveau (Alpha) verwendet, sodass 95 % der Stichprobe innerhalb des Konfidenzintervalls liegen.
Das Problem der willkürlichen Zuweisung des Signifikanzniveaus ist das gleiche Problem wie beim Elefantenbeispiel. Wenn wir glauben, dass es richtig ist, 5% (Signifikanzniveau) anzuwenden, können wir die Nullhypothese ablehnen, wenn das abzulehnende Minimum 2% (p-Wert) beträgt. Wir würden zu fehlerhaften Ergebnissen führen, wenn wir einfach 5 % anstelle des abzulehnenden Mindestwerts (2 %) festlegen.
Mit anderen Worten, wir kommen zu dem Schluss, dass es weniger als 10 Elefanten auf der Wiese gibt, aber in Wirklichkeit sind es 3 weitere Elefanten, die jedoch versteckt sind. Es ist also viel schneller zu berechnen, welches das maximale oder minimale Signifikanzniveau ist, für das wir die Nullhypothese nicht ablehnen oder ablehnen würden.
Ablehnungsregel
Wenn Wert - p < Signifikanzniveau => H0-Ablehnung.
Wenn Wert - p > Signifikanzniveau => Keine Ablehnung H0.