一般的には、両側検定と片側検定のどちらを使えばよいのでしょうか？

こんにちは。PyQチームのtsutomuです。
今回は、両側検定と片側検定の選び方の指針を紹介します。

質問
回答
まとめ
関連するクエスト

質問

PyQで両側検定と片側検定について以下のように習いました。

「平均がある値と異なる」という主張にも3種類ある（1標本時）。

両側検定（平均がある値と差がある）：帰無仮説は「平均がある値と同じ」。標本平均が2つのしきい値の外側のときに主張がいえる。

片側検定（平均がある値より大きい）：帰無仮説は「平均がある値以下」。標本平均が1つのしきい値以上のときに主張がいえる。

片側検定（平均がある値より小さい）：帰無仮説は「平均がある値以上」。標本平均が1つのしきい値以下のときに主張がいえる。

両側検定と片側検定の選び方の指針を教えて下さい。

回答

両側検定と片側検定のどちらを使うかは、主張したいことで決めなければいけません。

「片側にしか興味がない」のであれば、片側検定を使います。
「違うことを主張したい」のであれば、両側検定を使います。片側検定を使ってはいけません。

片側検定を使うと対立仮説を採用しやすくなります。乱数を使った具体例で見てみましょう。

乱数を使って検証

4種類のデータ（平均が50, 50.000001, 80, 20）に対して、両側検定と片側検定の結果を出力します。有意水準は0.05とします。

import numpy as np
from scipy.stats import t

μ0 = 50  # 平均
σ = 10  # 標準偏差
n = 1000000  # サンプル数
α = 0.05  # 有意水準
for typ, b, func in [('両側', 1 - α / 2, np.abs), ('片側', 1 - α, np.array)]:
    th = t.ppf(b, n - 1)  # しきい値
    for df in [0, 1e-6, 30, -30]:
        np.random.seed(0)
        data = np.random.normal(μ0 + df, σ, n)
        data = (data - μ0) / data.std(ddof=1)
        whc = int(df != 0) + 1 if typ == '両側' else int(df > 0) + 1
        cmp = np.greater_equal if whc == 1 else np.less
        v = cmp(func(data), th).sum() / n
        print(f'{typ}検定の第{whc}種の過誤 = {v:.3f} [平均 = {μ0 + df}]')

【出力】

両側検定の第1種の過誤 = 0.050 [平均 = 50]
両側検定の第2種の過誤 = 0.950 [平均 = 50.000001]
両側検定の第2種の過誤 = 0.149 [平均 = 80]
両側検定の第2種の過誤 = 0.149 [平均 = 20]
片側検定の第1種の過誤 = 0.050 [平均 = 50]
片側検定の第2種の過誤 = 0.950 [平均 = 50.000001]
片側検定の第2種の過誤 = 0.088 [平均 = 80]
片側検定の第1種の過誤 = 0.000 [平均 = 20]