线性回归和 逻辑回归 的思考(参考斯坦福 吴恩达的课程)

还是不习惯这种公式的编写,还是直接上word。。。。

对上面的(7)式取log后并最大化即可得到最小二乘法,即 argmaxθ J(θ)

思考二:线性回归到逻辑回归的转变:

1) 引入逻辑回归,假设用线性回归来做分类问题,设为二分类,即y取0或1。

则会出现如下的情况:

这种情况下是能很好的分类的,但若数据是如下所示呢:

则分类很不好。

思考三:逻辑回归损失函数的得来(解释):

    答,也是通过最大似然得到的。y的取值为0,1;则认为这是一个伯努力的分布,也称为两点的分布,则公式表示如下:

注:公式(27)最后一行的公式写错了,少了个log,正确公式应是如下:

  

四:逻辑函数(Logistic function)或者是S形函数(Sigmoid function) 的由来:

总结:

1)算法是一个很有逻辑(严谨)的一门学科,都有因果和解释。

2)还有最大似然 法是神器,许多算法的推导都是从其开始的,若 最大似然法 加上 贝叶斯公式就更是神器啦!

参考:  线性回归、logistic回归、广义线性模型——斯坦福CS229机器学习个人总结:

    https://blog.csdn.net/sinat_37965706/article/details/69204397

    Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization:

    https://blog.csdn.net/sinat_37965706/article/details/69204397

原文地址:https://www.cnblogs.com/vincentbnu/p/9461688.html

时间: 2024-10-15 21:29:57

线性回归和 逻辑回归 的思考(参考斯坦福 吴恩达的课程)的相关文章

斯坦福吴恩达教授机器学习公开课第三讲笔记——局部加权回归/线性回归的概率解释/分类和逻辑回归

斯坦福吴恩达教授机器学习公开课第五讲笔记——判别分析/高斯判别分析/GPA+逻辑回归/laplace平滑/极大似然的原理

斯坦福吴恩达教授机器学习公开课第二讲笔记——有/无监督学习+线性回归

斯坦福吴恩达教授机器学习公开课第四讲笔记——牛顿方法/广义线性模型

谈谈NG视频里面单线性回归、多线性回归、逻辑回归等等

明天第一节课8.55才上,还是把今天看的东西整理一下吧. 今天主要是看了NG前几章讲的单线性回归.多线性回归.逻辑回归的matlab实现,之前觉得那些东西理解还好,但是写代码好难的样子,但是今天看了大牛的代码发现真的很easy... 但是是很有技巧的用的矩阵去实现. 比如单线性回归里面的j=0和j=1这两种情况,直接把x转换成x = [ones(m, 1) x] , 第一列全是1了,刚好可以把j=0时x=1代入去运算,这样子梯度 grad = (1/m).* x' * ((x * theta) 

线性回归,逻辑回归的学习(包含最小二乘法及极大似然函数等)

博文参考了以下两位博主的文章:http://blog.csdn.net/lu597203933/article/details/45032607,http://blog.csdn.net/viewcode/article/details/8794401 回归问题的前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数.然后利用这个模型去预测/分类新的数据. 1. 线性回归 假设 特征 和 结果 都满足线性.即不大于一次方.这个是针对 收集的数据

线性回归与逻辑回归

本文转自:http://blog.csdn.net/itplus/article/details/10857843 本文详细的介绍了线性回归和逻辑回归是怎么一回事,很好的介绍了线性回归的原理和逻辑回归的原理.针对逻辑回归,最后参数的求解过程中,还可以用到牛顿法和拟牛顿法,具体可以参考:http://www.cnblogs.com/ljy2013/p/5129294.html 从上面可以看出,标准梯度下降法每一次利用所有的训练样本数据来更新一个参数的一个纬度的分量:而随即梯度下降方法是针对每一个训

对线性回归、逻辑回归、各种回归的概念学习

http://blog.csdn.net/viewcode/article/details/8794401 回归问题的条件/前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数.然后利用这个模型去预测/分类新的数据. 1. 线性回归 假设 特征 和 结果 都满足线性.即不大于一次方.这个是针对 收集的数据而言.收集的数据中,每一个分量,就可以看做一个特征数据.每个特征至少对应一个未知的参数.这样就形成了一个线性模型函数,向量表示形式: 这个就

Matlab实现线性回归和逻辑回归: Linear Regression & Logistic Regression

原文:http://blog.csdn.net/abcjennifer/article/details/7732417 本文为Maching Learning 栏目补充内容,为上几章中所提到单参数线性回归.多参数线性回归和 逻辑回归的总结版.旨在帮助大家更好地理解回归,所以我在Matlab中分别对他们予以实现,在本文中由易到难地逐个介绍. 本讲内容: Matlab 实现各种回归函数 ========================= 基本模型 Y=θ0+θ1X1型---线性回归(直线拟合) 解决