二分分类中的logistic回归(regression)

最简单的基础

以图像为例,输入三个矩阵 红绿蓝,(64*64)*3的像素亮度值---》特征向量值---X【】(64*64*3长度的一维向量)训练一个分类器输入为特征向量,输出为0,1代表是不是猫。

Z=W^T*X+b---->b为R实数W->R*n_x,X->R*n_x,b->R

y~=sigmoid(Z);

函数原型:sigmoid(z) = 1/(1+e^-z);

Sigmoid函数是一个在生物学中常见的S型的函数,也称为S型生长曲线。[1]  在信息科学中,由于其单增以及反函数单增等性质,Sigmoid函数常被用作神经网络的阈值函数,将变量映射到0,1之间。

S(x)求导=s(x)*(1-S(x));--------一个好用的性质

为了训练w和b----》loss函数

w和b的初始化下得到的结果为y~,正确的结果为y,训练时,结果是已知的。

用loss function 来评估这个模型的正确性,我们希望得到,loss最小的w和b的参数值。

L(y~,y)=-(y(log(y~)+(1-y)log(1-y~))----->用这个·表示有利于求解最优解会有一个凸函数。------->训练模型的解会在log中而且这个为负。

cost function--成本函数----->1/m(所有的loss function之和)也就是loss function的平均值。

w,b在训练集上的效果用cost 函数来衡量。J(w,b)来表示这个成本函数,他是一个凸函数,可以得到最优解。

我们用梯度下降法来找到这个函数的最优解。J(w,b)=epression---->自己推一下打公式很麻烦,可以易得。

梯度下降:

将J(w,b)看作一个二元的函数,这是一个空间的三维立体平面---->凸的----有最优解

初始化一个w=0和b=0;然后更新--->w := w-α*(dJ(w,b)/dw)----->沿这个点的方向的导数*a(学习率)更新

同理更新b。 符号 :=代表更新。详细接下:

时间: 2024-10-12 17:00:21

二分分类中的logistic回归(regression)的相关文章

初识分类算法(4)-----logistic回归

参考:http://blog.csdn.net/dongtingzhizi/article/details/15962797 1.简述 在线性回归中,h函数的输出值为连续值,当需要进行归类时,输出的应该是离散值,如何将连续值转换成离散值? 如果分类结果只有两个,用1,0表示.我们希望有:函数1/(1+e^(-z)),这样就可以将函数结果限定在0~1之间. Logistic Regression 有三个主要组成部分:回归.线性回归.Logsitic方程. 1)回归其实就是对已知公式的未知参数进行估

机器学习中的数学-回归(regression)、梯度下降(gradient descent)<1>

机器学习中的数学(1)-回归(regression).梯度下降(gradient descent) 版权声明: 本文由LeftNotEasy所有,发布于http://leftnoteasy.cnblogs.com.如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任. 前言: 上次写过一篇关于贝叶斯概率论的数学,最近时间比较紧,coding的任务比较重,不过还是抽空看了一些机器学习的书和视频,其中很推荐两个:一个是stanford的machine learning公开课,在

机器学习 —— 基础整理(五):线性回归;二项Logistic回归;Softmax回归;广义线性模型

本文简单整理了以下内容: (一)线性回归 (二)二分类:二项Logistic回归 (三)多分类:Softmax回归 (四)广义线性模型 二项Logistic回归是我去年入门机器学习时学的第一个模型,我觉得这个模型很适合用来入门(但是必须注意这个模型有很多很多很多很多可以展开的地方).比较有意思的是那时候还不会矩阵微积分,推导梯度时还是把矩阵全都展开求的(牛顿法要用的二阶梯度也是)... 下面的文字中,"Logistic回归"都表示用于二分类的二项Logistic回归. 首先约定一下记号

《机器学习实战》学习笔记:Logistic回归&预测疝气病证的死亡率

前言: 生活中,人们经常会遇到各种最优化问题,比如如何在最短时间从一个地点到另外一个地点?如何在投入最少的资金而却能得到最高的受益?如何设计一款芯片使其功耗最低而性能最好?这一节就要学习一种最优化算法--Logistic回归,设计最优化算法的目的依然是用于分类.在这里,Logistic回归的主要思想是根据现有的数据对分类边界线建立回归公式,达到分类的目的.假设我们有一堆数据,需要划一条线(最佳直线)对其分类,这就是Logistic回归的目的. 而"Logistic回归"中的"

逻辑回归(logistic回归)

前言            以下内容是个人学习之后的感悟,如果有错误之处,还请多多包涵~ 逻辑回归 一.为什么使用logistic回归   一般来说,回归不用在分类问题上,因为回归是连续型模型,而且受噪声影响比较大. Why?  为什么回归一般不用在分类上?其实,很多初学者都会提出这个问题.然而,文字的解释往往不能说服我们,接下来 用图示的方式为大家讲解. 以最简单的分类为例,当y≥0.5时,输出"1":当y<0.5时,输出"0".下面左图,数据样本较好,线性

分类算法之逻辑回归(Logistic Regression

分类算法之逻辑回归(Logistic Regression) 1.二分类问题 现在有一家医院,想要对病人的病情进行分析,其中有一项就是关于良性\恶性肿瘤的判断,现在有一批数据集是关于肿瘤大小的,任务就是根据肿瘤的大小来判定是良性还是恶性.这就是一个很典型的二分类问题,即输出的结果只有两个值----良性和恶性(通常用数字0和1表示).如图1所示,我们可以做一个直观的判定肿瘤大小大于5,即为恶心肿瘤(输出为1):小于等于5,即为良性肿瘤(输出为0). 2.分类问题的本质 分类问题本质上属于有监督学习

机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)

机器学习中的数学(1)-回归(regression).梯度下降(gradient descent) 版权声明: 本文由LeftNotEasy所有,发布于http://leftnoteasy.cnblogs.com.如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任. 前言: 上次写过一篇关于贝叶斯概率论的数学,最近时间比较紧,coding的任务比较重,不过还是抽空看了一些机器学习的书和视频,其中很推荐两个:一个是stanford的machine learning公开课,在

在matlab中实现线性回归和logistic回归

本文主要讲解在matlab中实现Linear Regression和Logistic Regression的代码,并不涉及公式推导.具体的计算公式和推导,相关的机器学习文章和视频一大堆,推荐看Andrew NG的公开课. 一.线性回归(Linear Regression) 方法一.利用公式 : function [ theta ] = linearReg() %线性回归. X=[1 1;1 2;1 3;1 4]; %注意第一列全为1,即x0=1,第二列才为x1 Y=[1.1;2.2;2.7;3.

(转)机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)

版权声明: 本文由LeftNotEasy所有,发布于http://leftnoteasy.cnblogs.com.如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任. 前言: 上次写过一篇关于贝叶斯概率论的数学,最近时间比较紧,coding的任务比较重,不过还是抽空看了一些机器学习的书和视频,其中很推荐两个:一个是stanford的machine learning公开课,在verycd可下载,可惜没有翻译.不过还是可以看.另外一个是prml-pattern recogni