softmax函数 logistic函数和softmax函数

简单总结一下机器学习最常见的两个函数，一个是logistic函数，一个是softmax函数。如有不足之处，希望大家帮忙指正。

首先分别介绍了logistic函数和softmax函数的定义和应用，然后总结了它们之间的联系和区别。

1.逻辑函数

1.1逻辑函数的定义

引用维基百科的定义:

逻辑函数或逻辑曲线是一种常见的“S”形。

实际上，logistic函数常被称为sigmoid函数，其几何形状也是sigmoid曲线。

逻辑函数的公式如下:

X0x0代表函数曲线的sigmoid中点，kk是曲线的斜率。

物流的几何结构如下:

其中j = 1，2，...，kj = 1，2，...，k。

2.2 sotfmax功能的应用

Softmax函数常用于神经网络的最后一层，作为多分类的输出层。此外，在强化学习领域，经常使用softmax将某个值转化为激活概率。在这种情况下，softmax的公式如下:

TT被称为温度参数。

当t较大时，即趋于正无穷大时，所有激活值对应的激活概率趋于相同；当t很低，也就是趋于0时，不同激活值对应的激活概率差异会更大。

这个结论很重要。辛顿在2015年的一篇论文中阐述了如何根据温度参数输出软化神经网络，并提出了蒸馏的思想和方法。

3.物流与软件最大化的关系

1)logistic是专门针对两类问题的，而softmax是解决多类问题的，所以从这个角度可以理解，logistic函数是softmax函数的特例。

UFLDL教程中的推导在此供参考，具体推导过程如下:

当分类数为2时，softmax回归的假设函数表示如下:

利用softmax回归参数冗余的特点，从两个参数向量中减去向量θ1θ1，得到:

最后，θ' θ'用来表示θ 2 θ 1 θ 2 θ 1。上述公式可以表示为通过softmax回归预测其中一个类别的概率为

另一类的概率是

这与逻辑回归完全一致。

2)从概率的角度看logistic和softmax函数的区别。

softmax建模中使用的分布是多项式分布，而logistic基于伯努利分布。具体的解释可以参考吴恩达的讲稿来理解。

3)软最大值回归和多元逻辑回归的关系。

了解的同学可能都知道多元逻辑回归也可以通过叠加达到多分类的效果，那么多元逻辑回归和softmax一样不同吗？

在softmax回归的多重分类中，类是互斥的，即一个输入只能归为一个类；

多元逻辑回归是分类的，产出类别并不相互排斥，即“苹果”一词同时属于“水果”和“3C”两类。

觉得这篇文章有帮助？请与更多人分享

关注“猿助猿”，实现顶层发展

技术交流QQ群:517877452