什么是部分 f 检验?
部分 F 检验用于确定回归模型与同一模型的嵌套版本之间是否存在统计显着差异。
嵌套模型只是在整体回归模型中包含预测变量子集的模型。
例如,假设我们有以下具有四个预测变量的回归模型:
Y = β 0 + β 1 x 1 + β 2 x 2 + β 3 x 3 + β 4 x 4 + ε
嵌套模型的一个示例是以下仅包含两个原始预测变量的模型:
Y = β 0 + β 1 x 1 + β 2 x 2 + ε
为了确定这两个模型是否显着不同,我们可以进行部分 F 检验。
部分 F 测试:基础知识
部分 F 检验计算以下 F 检验统计量:
F = ((缩减RSS –完整RSS)/p) / (完整RSS /nk)
金子:
- 简化的RSS :简化(即“嵌套”)模型的残差平方和。
- RSS full :完整模型的残差平方和。
- p:从完整模型中删除的预测变量的数量。
- n:数据集中的观测总数。
- k:完整模型中的系数数量(包括截距)。
请注意,完整模型的残差平方和总是较小,因为添加预测变量总是会导致误差有所减少。
因此,部分 F 检验本质上是测试从完整模型中删除的预测变量组是否实际上有用并且应该包含在完整模型中。
该检验使用以下原假设和备择假设:
H 0 :从完整模型中删除的所有系数均为零。
H A :从完整模型中删除的至少一个系数是非零的。
如果与 F 检验统计量对应的 p 值低于某一显着性水平(例如 0.05),则我们可以拒绝零假设并得出结论:从完整模型中删除的至少一个系数是显着的。
部分 F 检验:示例
在实践中,我们使用以下步骤来进行部分F检验:
1.拟合完整回归模型并计算 RSS full 。
2.拟合嵌套回归模型并计算减少的RSS。
3.执行方差分析来比较完整模型和简化模型,这将生成比较模型所需的 F 检验统计量。
例如,以下代码显示如何使用内置mtcars数据集中的数据在 R 中拟合以下两个回归模型:
完整模型: mpg = β 0 + β 1可用 + β 2碳水化合物 + β 3 hp + β 4汽缸
模型: mpg = β 0 + β 1可用 + β 2碳水化合物
#fit full model model_full <- lm(mpg ~ disp + carb + hp + cyl, data = mtcars) #fit reduced model model_reduced <- lm(mpg ~ disp + carb, data = mtcars) #perform ANOVA to test for differences in models anova(model_reduced, model_full) Analysis of Variance Table Model 1: mpg ~ available + carb Model 2: mpg ~ disp + carb + hp + cyl Res.Df RSS Df Sum of Sq F Pr(>F) 1 29 254.82 2 27 238.71 2 16.113 0.9113 0.414
从结果中,我们可以看到 ANOVA 的 F 检验统计量为0.9113 ,相应的 p 值为0.414 。
由于该 p 值不小于 0.05,因此我们将无法拒绝原假设。这意味着我们没有足够的证据表明hp或cyl预测变量具有统计显着性。
换句话说,将hp和cyl添加到回归模型中并不会显着改善模型拟合度。