p値・有意水準・信頼区間をどう区別するか。

帰無仮説と対立仮説の設定

仮説検定では、証明したい主張とは逆の「差がない」「効果がない」とする仮説をあえて立てます。これを「帰無仮説（H0）」と呼びます。これに対し、本当に証明したい「差がある」「効果がある」という仮説を「対立仮説（H1）」と呼びます。

例えば、新しい学習アプリの効果を検証する場合： ・帰無仮説 H0：「新しいアプリを使っても、テストの平均点は従来と変わらない」 ・対立仮説 H1：「新しいアプリを使うと、テストの平均点が従来より高くなる（または異なる）」

帰無仮説が正しいと仮定したとき、得られたデータが確率的に極めて珍しいものであれば、帰無仮説を「棄却（却下）」し、対立仮説を採用する（有意差がある）という推論プロセスを踏みます。

p値と有意水準（α）の正しい判断ルール

p値（有意確率）とは、「帰無仮説が正しいという仮定のもとで、実際に得られたデータ、またはそれ以上に極端なデータが得られる確率」のことです。

有意水準（α）は、「滅多に起こらない」と判断するための基準確率で、事前に5%（0.05）や1%（0.01）と設定します。

・p値 < 有意水準：帰無仮説を棄却し、対立仮説を採択する（統計的に有意である）。 ・p値 >= 有意水準：帰無仮説を棄却できない（有意差があるとは言えない）。

p値が小さいほど、「帰無仮説のもとではあり得ない珍しいデータが観測された」ことになり、差が偶然ではないと主張しやすくなります。

信頼区間と仮説検定の数学的な結びつき

信頼区間（例えば95%信頼区間）は、「母数（真の平均や比率など）が含まれると期待される値の範囲」を示します。

仮説検定と信頼区間には密接な関係があります。例えば「2つのグループの平均値の差」について有意水準5%の両側検定を行う場合、「差の95%信頼区間」を計算し、その区間に帰無仮説の想定値である「0」が含まれているかどうかを確認します。

・95%信頼区間に 0 が含まれない：有意水準5%で有意差あり（H0を棄却）。 ・95%信頼区間に 0 が含まれる：有意水準5%で有意差なし（H0を棄却できない）。