逻辑回归 【ML】逻辑回归——详细概述

如何理解和应用logistic回归算法？

逻辑回归在20世纪初被用于生物科学。它后来被用于许多社会科学应用。当因变量为分类变量时，使用逻辑回归。

比如，

预测电子邮件是垃圾邮件还是肿瘤是否恶性

考虑一个场景，其中我们需要对电子邮件是否是垃圾邮件进行分类。如果我们用线性回归来解决这个问题，我们需要设置一个阈值，根据这个阈值我们可以进行分类。假设实际类别为恶性，预测连续值为0.4，阈值为0.5，则将数据点归类为非恶性，会导致严重后果。

从这个例子可以推断，线性回归不适合分类。线性回归是无界的，逻辑回归的值严格在0到1的范围内。

简单线性回归

完整的源代码:

https://github . com/SSaishruthi/logisticrecession _ Vectorized _ Implementation/blob/master/Logistic _ RELATION . ipynb

模型

输出:0或1

假设:Z=WX+B

如果Z→∞，y= 1，如果Z→-∞，y= 0。

假设分析

假设的输出是估计的概率。这是用来推断给定输入x时预测值是实际值的置信度。

X = =

根据x1值，假设我们的估计概率为0.8。这意味着80%的电子邮件可能是垃圾邮件。

数学可以写成:

这说明了“逻辑回归”这个名称的合理性。将数据拟合成线性回归模型，然后用logistic函数预测目标分类的因变量。

逻辑回归的类型

二元逻辑回归：分类反应只有两种可能结果。例子:垃圾邮件或非垃圾邮件多项逻辑回归：三个或更多的类别，没有排序。例子:预测哪种食物更受欢迎顺序逻辑回归：三个或更多类别的排序。例子:电影分级从1到5决策边界

为了预测数据点属于哪个类别，可以设置阈值。根据这个阈值，获得的估计概率被分类。

如果predicted_value≥0.5，则电子邮件被归类为垃圾邮件，反之亦然。

决策边界可以是线性的或非线性的。多项式阶数增加，以获得复杂的决策边界。

价值函数

为什么用于线性的成本函数不能用于logistic回归？

线性回归以均方误差为代价函数。如果在逻辑回归中使用，它是参数的非凸函数。只有当函数凸时，梯度下降才收敛到全局最小值。

成本函数的解释

简化成本函数

为什么这是一个成本函数

这个反函数是因为我们训练的时候需要通过最小化损失函数来最大化概率。假设样本来自同一个独立分布，降低成本会增加样本的最大似然。

推导梯度下降算法的公式

Python实现1 defweightinitialization:

2w = np.zeros)

3b = 0

4returnw，b

5defsigmoid_activation:

6 final _ result = 1/)

7returnfinal_result

八

9defmodel_optimize:

10m = X.shape

11

12 #预测

13 final _ result = sigmoid _ activation+b)

14Y_T = Y.T

15 cost =*)+*)))

16#

17

18 #梯度计算

19dw = *。t))

20db =*)

21

22grads = { "dw": dw，" db": db}

23

24年级，成本

25defmodel_predict:

26成本=

27fori inrange:

28#

29年级，成本=模型_优化

30#

31dw = grads

32db = grads

33 #重量更新

34w = w - 。t))

35b = b -

36#

37

38if:

39成本.追加

40 #打印)

41

42 #最终参数

43coeff = { "w": w，" b": b}

44 radient = { " dw ":dw，" db": db}

45

46returncoeff，梯度，成本

47 def preview:

48y_pred = np.zeros)

49 ori in range:

50iffinal_pred>0.5:

51y_pred = 1

52returny_pred

成本和迭代次数

系统的训练和测试准确率为100%

该实现用于二元逻辑回归。对于两类以上的数据，必须使用softmax回归。

完整代码:

https://github . com/SSaishruthi/logisticrecession _ Vectorized _ Implementation/blob/master/Logistic _ RELATION . ipynb

原始链接:

https://towards data sciences . com/logistic-rewards-detailed-overview-46 C4 da 4303 BC

数据人网络:数据人学习、交流、分享的平台。邀请您创建和共享数据知识，并建立和共享数据智库。