牛顿法 牛顿迭代法原理,牛顿法求最优解

牛顿迭代法原理,牛顿法求最优解牛顿方法非常简单.而且几何意义明显。显然，牛顿方法要求该函数在测试解处存在不为零的一阶导数，否则我们就无法得出下一个测试解。牛顿迭代法从几何意义上看，一阶导数为零就意味着该处切线和横轴平行，自然就和横轴不相交。另外也可以证明当最初的猜测解离真正解太远的话.牛顿方法可能不太有效。牛顿迭代法如果我们的函数在搜索范围里处处存在非零的一阶导数.而且初始解比较合理的情况下，牛顿方法通常可以以较快的收敛速度找到方程的解田。直觉上，牛顿法对绝大多数近似线性的函数会是非常有效的。

我们知道绝大多数函数在很小的一个区间里都可以看作是一个近似线性的函数。因此，我们不仅可以独立使用牛顿法，而且还可以把牛顿法和其他方法结合起来使用。牛顿迭代法具体过程如下:先用其他数值方法找到一个大致解，然后再用牛顿方法作一两次替代来迅速地提高我们解的精度.

不同于两分法，即使在搜索范围里存在解，牛顿方法也有可能找不到这个解.这是牛顿法的弱点。牛顿迭代法但是在很多情况下，牛顿法求解速度要比两分法快许多。除此之外，牛顿法的另一个优点是可以很容易地延伸到多变量方程求解的领域。牛顿迭代法用牛顿方法对多变量方程求解的方法和对单变量方程求解的方法基本一致。牛顿迭代法多变量函数在几何上可以看作是一个曲面。牛顿迭代法而某一测试点则是该曲面上的一点。牛顿迭代法下一个测试点则是当前点处曲面的相切面和各轴的交点。