PyQチームのtsutomuです。
2020年2月12日より、「Python統計分析」ランクの「仮説検定」のパートを復活します。
本記事では、「Python統計分析」ランクの「仮説検定」のパートの復活の理由についてご説明します。
以前の記事で、「仮説検定」のパートのとりやめの説明をしましたが、再度片側検定について社内・社外有識者で検討しました。その結果、本記事で訂正をし、とりやめたPyQの「仮説検定」パートを復活いたします。
片側検定について
以前の記事での誤解した片側検定
- 帰無仮説：μ ＝ μ0
- 対立仮説：μ ＞ μ0（あるいはμ ＜ μ0）
※ μは母集団の平均を表し、μ0は特定の値を表します。
正しい片側検定
以前の記事では、帰無仮説と対立仮説が対応していませんでしたが、正しい片側検定では以下のように、帰無仮説と対立仮説は対応したものになります。
- 帰無仮説：μ ≦ μ0（あるいはμ ≧ μ0）
- 対立仮説：μ ＞ μ0（あるいはμ ＜ μ0）
仮説検定の手順
仮説検定では以下の手順で考えるため、「対応していない対立仮説を採用するのは間違い」と判断していました。
- 帰無仮説を仮定
- p値を計算
- 「p値 ＜ 有意水準」の場合、帰無仮説を棄却し、対立仮説を採用
しかし、正しい片側検定では、帰無仮説を棄却することで、帰無仮説の否定である対立仮説を採用することができます。
なぜ、帰無仮説を間違えたのか
仮説検定ではp値を使って判断します。
p値を計算するためには、分布のパラメーターを固定する必要があります。すなわち「μ ＝ μ0」を仮定することでp値を計算できます。
そのため、以前の記事では帰無仮説を「μ ＝ μ0」と判断しました。
「μ ≦ μ0」でp値をどう計算するのか
帰無仮説を「μ ≦ μ0」とします。「実際に観測された出来事(事象)」以上にまれなことが起きる確率は、「μ ≦ μ0」の範囲では「μ ＝ μ0」のときに最大になります。そこで、「μ ＝ μ0」の場合のp値を求めます。
このp値に対して「p値 ＜ 有意水準」となる場合、一番大きいp値ですら有意水準未満なので「μ ≦ μ0」ではないと判断できます。すなわち、帰無仮説を棄却できます。
このように、片側検定であっても下記のように使うことができます。
- 帰無仮説「μ ≦ μ0」を仮定
- 「μ ＝ μ0」としてp値を計算
- 「p値 ＜ 有意水準」の場合、帰無仮説「μ ≦ μ0」を棄却し、対立仮説「μ ＞ μ0」を採用
片側検定について補足
片側検定するにあたって、片側という根拠は示すことなく使えます。
片側検定と両側検定では同じ有意水準でも棄却域が異なりますので、同一データに対し、以下の2つの状況になることもあります。
- 有意水準5%で両側検定し、帰無仮説を棄却しない。
- 有意水準5%で片側検定し、帰無仮説を棄却する。
仮説検定の手法は正しいものであり、1も2も正しい結論です。
そうすると、帰無仮説を棄却したい場合、片側検定の方が有利に思えます。
しかし、片側検定の主張は、両側検定の主張より狭い範囲です。従って、両者はトレードオフになっています。
- 両側検定で「XXXの平均はYYYでない」という主張：以下の2つの主張を含みます。下記のどちらかより成立しにくいです。
- 片側検定で「XXXの平均はYYYより小さい」という主張：両側検定の主張の半分だけ主張しています。その主張の範囲においては両側検定より成立しやすいです。
- 片側検定で「XXXの平均はYYYより大きい」という主張：両側検定の主張の半分だけ主張しています。その主張の範囲においては両側検定より成立しやすいです。
ただし、両側検定を採用するか、片側検定を採用するかは、最初に決めないといけません。
両側検定と片側検定のどちらを使うかは、主張したいことで決めるべきです。 もし、「違うこと」を主張したいのであれば、片側検定を使うべきではありません。
まとめ
片側検定について間違った考え方を示してしまい、該当パートを学習していたみなさまにはご迷惑をおかけしました。
今後とも、PyQではより良く・正しいコンテンツを提供する為日々問題改善を行ってまいります。
