回归分析法 七种回归分析方法 个个经典

焦点:

虽然会有一种归纳法可以拟合更高次的多项式，得到更低的误差，但是可能会导致过拟合。你需要经常画图表来检查拟合情况，重点保证拟合合理，不能过拟合，也不能欠拟合。

以下是一个帮助你理解的传说:

套索回归不同于岭回归，它使用绝对值而不是平方。这导致了一个惩罚(或约束估计的绝对值之和)，使得一些参数估计等于零。罚值越大，进一步估计会使还原值接近于零。这将引导我们从给定的n个变量中选择变量。

要点:

1.除了常项，这个回归的假设和最小二乘回归的假设类似。

2.其收缩系数接近于零(等于零)，对特征选择确实有帮助；

3.这是一种使用L1正则化的正则化方法。

如果一组预测变量高度相关，套索将选择一个变量，并将其他变量收缩为零。

7.弹性网络回归

弹性网是套索和脊回归技术的混合。它使用L1进行训练，并首选L2作为正则化矩阵。当有许多相关特性时，弹性网非常有用。Lasso会随机挑选其中一个，而ElasticNet会选择两个。

套索和脊之间的实际优势是，它允许弹性网在循环状态下继承脊的一些稳定性。

要点:

1.在变量高度相关的情况下，会产生群体效应；

2.所选变量的数量没有限制；

3.可以承受双缩。

除了七种最常用的回归技术，您还可以看看其他模型，如贝叶斯、生态和稳健回归。

如何正确选择回归模型？

当你只懂一两种技术的时候，生活往往很简单。我知道的一个培训机构告诉他们的学生，如果结果是连续的，就用线性回归。如果是二元，就用logistic回归！然而，在我们的处理过程中，我们的选择越多，就越难选择正确的。类似的情况也发生在回归模型中。

在多类回归模型中，根据自变量和因变量的类型、数据的维数和数据的其他基本特征选择最合适的技术是非常重要的。以下是您选择正确回归模型的关键因素:

1.数据探索是建立预测模型不可避免的一部分。在选择合适的模型时，比如识别变量之间的关系和影响，应该是第一步。

2.对比不同模型的优势，可以分析不同的指标参数，如统计参数、R-平方、调整后的R-平方、AIC、BIC和误差项，另一种是马洛斯的Cp准则。这主要是通过将模型与所有可能的子模型进行比较(或者仔细选择它们)，并检查模型中可能的偏差。

3.交叉验证是评估预测模型的最佳方法。在这里，将您的数据集分为两部分(一部分用于培训，一部分用于验证)。使用观察值和预测值之间的简单均方误差来衡量您的预测精度。

4.如果您的数据集包含多个混合变量，那么您不应该选择自动模型选择方法，因为您不应该希望将所有变量同时放在同一个模型中。

5.这也取决于你的目的。一个不太强大的模型可能比一个具有高度统计意义的模型更容易实现。

6.回归正则化方法(Lasso，Ridge，ElasticNet)在高维与数据集变量多重共线性的情况下效果很好。

资料来源:中央统计局

原文链接:7种你应该知道的尊重技巧！(译者/刘评论/、朱正贵主编/周)