岭参数的一般选择原则
选择k(或lambda)值,使得: 各回归系数的岭估计基本稳定 用最小二乘估计时符号不合理的回归系数,其岭回归的符号变得合理 回归系数没有不合乎实际意义的绝对值 残差平方和增大的不多用r语言进行岭回归
这里使用mass包中的longley数据集,进行岭回归分析(longley数据集中的变量具有显著的多重共线性)。从而分析使用岭回归进行多重共线性的解决。
首相将longley数据集中的第一列数据命名为“y”,并使用岭回归创建线性模型:
显示当y为因变量,其余各个变量为自变量时,直接构建线性模型的统计结果如下:
可见,虽然线性回归的multiple r-squared: 0.9926是一个很高的值。但各个变量的显著性检验却很差,同样说明直接使用线性模型的拟合效果并不是很理想。
制定岭参数lamdba从0-0.1,每次变化的长度为0.001,并绘制岭迹图,如下:
详细岭回归的岭迹图如下:
从岭迹图中可以看出,当lambda=0时,图像不稳定。因此,可以说明这里的变量存在多重共线性。
现在需要对岭参数lambda进行选择:
可以看出,这里由于使用了不同的估计方法,从而可以得到几个不同的岭参数的估计。通常取gcv估计,或者结合几个结果进行取值。这里取lambda=0.006。
使用r的ridge包的时候,出现如下问题: