逆選択とは何ですか? (定義&例)

統計学における段階的選択は、入力する統計的に有効な理由がなくなるまでモデルに段階的に予測子を入力および削除することにより、一連の予測子変数から回帰モデルを構築するために使用できる手順です。またはさらに削除します。

段階的選択の目的は、応答変数と統計的に有意に関連するすべての予測変数を含む回帰モデルを作成することです。

最も一般的に使用される段階的な選択方法の 1 つは、後方選択として知られており、次のように機能します。

ステップ 1:すべてのp 個の予測子変数を使用して回帰モデルを近似します。モデルの AIC *値を計算します。

ステップ 2: AIC が最大に減少し、すべてのp予測子変数を含むモデルと比較して AIC が統計的に有意に減少する予測子変数を削除します。

ステップ 3: AIC が最大に減少し、 p-1予測変数を含むモデルと比較して AIC が統計的に有意に減少する予測変数を削除します。

予測変数を削除しても AIC が統計的に有意に減少しなくなるまで、このプロセスを繰り返します。

*回帰モデルの適合度を計算するために使用できる指標がいくつかあります (交差検証予測誤差、Cp、BIC、AIC、調整済み^R2など)。以下の例では、AIC の使用を選択します。

次の例は、R で後方選択を実行する方法を示しています。

例: R での後方選択

この例では、R に組み込まれているmtcars データセットを使用します。

 #view first six rows of mtcars
head(mtcars)

                   mpg cyl disp hp drat wt qsec vs am gear carb
Mazda RX4 21.0 6 160 110 3.90 2.620 16.46 0 1 4 4
Mazda RX4 Wag 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4
Datsun 710 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1
Hornet 4 Drive 21.4 6 258 110 3.08 3.215 19.44 1 0 3 1
Hornet Sportabout 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2
Valiant 18.1 6 225 105 2.76 3,460 20.22 1 0 3 1

応答変数としてmpg (ガロンあたりのマイル数) を使用し、データセット内の他の 10 個の変数を潜在的な予測変数として使用して、重線形回帰モデルを近似します。

次のコードは、後退する方法を示しています。

 #define intercept-only model
intercept_only <- lm(mpg ~ 1, data=mtcars)

#define model with all predictors
all <- lm(mpg ~ ., data=mtcars)

#perform backward stepwise regression
backward <- step(all, direction=' backward ', scope= formula (all), trace=0)

#view results of backward stepwise regression
backward$anova

    Step Df Deviance Resid. Df Resid. Dev AIC
1 NA NA 21 147.4944 70.89774
2 - cyl 1 0.07987121 22 147.5743 68.91507
3 - vs 1 0.26852280 23 147.8428 66.97324
4 - carb 1 0.68546077 24 148.5283 65.12126
5 - gear 1 1.56497053 25 150.0933 63.45667
6 - drat 1 3.34455117 26 153.4378 62.16190
7 - available 1 6.62865369 27 160.0665 61.51530
8 - hp 1 9.21946935 28 169.2859 61.30730

#view final model
backward$coefficients

(Intercept) wt qsec am 
   9.617781 -3.916504 1.225886 2.935837

結果を解釈する方法は次のとおりです。

まず、10 個の予測変数を使用してモデルを近似し、モデルの AIC を計算します。

次に、AIC の最大の減少をもたらした変数 ( cyl ) を削除し、10 個の予測変数モデルと比較して AIC の統計的に有意な減少も得ました。

次に、AIC の最大の減少につながる変数 ( vs ) を削除し、9 予測変数モデルと比較して統計的に有意な AIC の減少も得ました。

次に、AIC の最大の減少をもたらした変数 ( carb ) を削除し、8 予測変数モデルと比較して AIC の統計的に有意な減少も得ました。

変数を削除しても AIC が統計的に有意に減少しなくなるまで、このプロセスを繰り返しました。

最終的なモデルは次のようになります。

mpg = 9.62 – 3.92*重量 + 1.23*qsec + 2.94*午前

AIC使用上の注意

前の例では、さまざまな回帰モデルの適合性を評価するためのメトリックとして AIC を使用することを選択しました。

AIC はAkaike Information Criterionの略で、次のように計算されます。

AIC = 2K – 2 ln (長さ)

金：

• K:モデルパラメータの数。
• ln (L) : モデルの対数尤度。これにより、データが与えられた場合のモデルの確率がわかります。

ただし、交差検証予測誤差、Cp、BIC、AIC、または調整された^R2など、回帰モデルの適合性を評価するために使用することを選択できる他の指標もあります。

幸いなことに、ほとんどの統計ソフトウェアでは、遡及的にスクリーニングするときに使用する指標を指定できます。

追加リソース

次のチュートリアルでは、回帰モデルに関する追加情報を提供します。

直接選択の概要
回帰における多重共線性と VIF のガイド
適切な AIC 値はどれくらいと考えられますか?