摘要：所谓逻辑斯蒂回归逻辑斯蒂回归就是想办法将线性回归模型用于分类机器学习中称为对数几率回归。参考资料机器学习周志华统计学习方法李航机器学习实战
1、所谓逻辑斯蒂回归
（1.1）；
逻辑斯蒂回归就是想办法将线性回归模型用于分类（《机器学习》中称为对数几率回归）。线性回归模型产生的预测值可能是所有实值，不利于分类；为了用于二分类任务，希望将预测值z转换为0/1值；阶跃函数：
（1.2）；
可以将z转换为0/1值,但是阶跃函数在x=0处不连续，所以用逻辑斯谛函数（logisitic function，即Sigmoid函数）
（1.3）；
近似代替阶跃函数，将线性模型的预测值转换为接近0或1的值（Sigmoid函数的输出值在z=0处变化很陡，可以认为大部分值都是接近0或1）。
2、公式对公式（1.3）取对数，有
（2.1）；
将y视为样本x作为正例的可能性，1-y为反例。将y视为后验概率估计，则二项逻辑斯蒂回归模型如下：
；
令：
；
由伯努利分布的概率公式：
(2.6)；
得似然函数和对数似然函数：
(2.7)；
(2.8)；
其实只有这一节是我想写的
《机器学习实战》第五章程序清单5-1下面代码的由来：
weights = weights + alpha * dataMatrix.transpose()* error
书中使用的是梯度上升法
(3.1)
，仅对该行代码做推导，对式(2.8)求关于w的偏导数，得：
(3.2)
所以，
是代码中列向量error的元素，xi属于代码中矩阵dataMatrix。
《机器学习》周志华
《统计学习方法》李航
《机器学习实战》
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/18382.html
摘要：多分类多分类，是指分类数量大于的分类问题。相关关系二分类多分类多标签分类多任务分类多任务学习迁移学习的相互关系二分类是时的多分类多分类时多标签分类的一种，时对多个相互独立的标签经行学习。 ...
摘要：求解一元线性回归参数接下来，就是确定和了。即称为对数线性回归。其中，函数称为联系函数。称它为对数几率回归亦称，是一种分类学习方法。在周志华的机器学习里译为对数几率回归，在李航的统计学习方法里译为逻辑斯谛回归。 最近开始学习西瓜书《机器学习》，一本畅销的机器学习书籍，同时将结合李航的《统计学习方法》和《机器学习实战》这两本书，致力于输出更完善的内容，尽可能的用容易理解的方式输出。 在学习...
摘要：不能用于机器学习太慢幻觉矩阵操作太难有函数库啊，比如只能用于前端开发开发者笑了机器学习库都是开发者机器学习库神经网络神经网络自然语言处理卷积神经网络一系列库神经网络深度学习我们将使用来实现线性回归，源代码在仓库。 译者按: AI时代，不会机器学习的JavaScript开发者不是好的前端工程师。 原文: Machine Learning with JavaScript : Part 1 ...
摘要：不能用于机器学习太慢幻觉矩阵操作太难有函数库啊，比如只能用于前端开发开发者笑了机器学习库都是开发者机器学习库神经网络神经网络自然语言处理卷积神经网络一系列库神经网络深度学习我们将使用来实现线性回归，源代码在仓库。 译者按: AI时代，不会机器学习的JavaScript开发者不是好的前端工程师。 原文: Machine Learning with JavaScript : Part 1 ...
阅读 3002·2021-11-25 09:43
阅读 3208·2021-11-11 16:54
阅读 581·2021-11-02 14:42
阅读 3522·2021-09-30 09:58
阅读 3491·2021-09-29 09:44
阅读 1068·2019-08-30 15:56
阅读 1902·2019-08-30 15:54
阅读 2814·2019-08-30 15:43
