逻辑回归模型

1. 逻辑回归是一种监督式的学习算法。

监督式学习算法有两组变量:预测变量(自变量x)和目标变量(因变量y),通过这些变量(x,y),搭建一个可以由已知的预测变量值x,得到对应的目标变量值y。

重复训练这个模型,直到能够在训练数据集上达到预定的准确度。

2. 逻辑回归是一个分类算法。

利用已知的自变量,来预测一个离散型因变量的值(比如0/1, 是/否,真/假)。

每个离散值的概率结果即是我们要预测的,可以通过一个逻辑函数(logit function),自然地,输出值在0到1之间

odds=p/(1-p)           可能概率/不可能概率

ln(odds) =ln(p/(1-p))   取对数

logit(p)=ln(p/(1-p))=b0+b1 x1+ b2 x2 +b3 x3 ... +bk xk

通过筛选出特定的参数值使得函数结果最大化来估计参数(普通回归是最小化误差的平方和)。

3. python代码如下:

#import Library
from sklearn.linear_model import LogisticRegression

#X preditor, Y target

#create logistic regression object
model=LogisticRegression()
model.fit(X,Y)
model.score(X,Y)

print(‘Coefficient: \n‘, model.coef_)
print(‘Intercept: \n‘, model.intercept_)

predicted=model.predict(x_test)   #predict y of x_test

4. 待做:

1)安装sklearn包

2)自己创建样本集

3)跑一下这个代码,补充上来

时间: 2024-07-28 14:13:40

逻辑回归模型的相关文章

机器学习之——判定边界和逻辑回归模型的代价函数

判定边界(Decision Boundary) 上一次我们讨论了一个新的模型--逻辑回归模型(Logistic Regression),在逻辑回归中,我们预测: 当h?大于等于0.5时,预测y=1 当h?小于0.5时,预测y=0 根据上面的预测,我们绘制出一条S形函数,如下: 根据函数图像,我们知道,当 z=0时,g(z)=0.5 z>0时,g(z)>0.5 z<0时,g(z)<0.5 又有: 所以 以上,为我们预知的逻辑回归的部分内容.好,现在假设我们有一个模型: 并且参数?是向

逻辑回归模型预测股票涨跌

http://www.cnblogs.com/lafengdatascientist/p/5567038.html 逻辑回归模型预测股票涨跌 逻辑回归是一个分类器,其基本思想可以概括为:对于一个二分类(0~1)问题,若P(Y=1/X)>0.5则归为1类,若P(Y=1/X)<0.5,则归为0类. 一.模型概述 1.Sigmoid函数 为了具象化前文的基本思想,这里介绍Sigmoid函数: 函数图像如下: 红色的线条,即x=0处将Sigmoid曲线分成了两部分:当 x < 0,y <

逻辑回归模型(Logistic Regression)及Python实现

逻辑回归模型(Logistic Regression)及Python实现 http://www.cnblogs.com/sumai 1.模型 在分类问题中,比如判断邮件是否为垃圾邮件,判断肿瘤是否为阳性,目标变量是离散的,只有两种取值,通常会编码为0和1.假设我们有一个特征X,画出散点图,结果如下所示.这时候如果我们用线性回归去拟合一条直线:hθ(X) = θ0+θ1X,若Y≥0.5则判断为1,否则为0.这样我们也可以构建出一个模型去进行分类,但是会存在很多的缺点,比如稳健性差.准确率低.而逻辑

逻辑回归模型梯度下降法跟牛顿法比较

1.综述 机器学习的优化问题中,梯度下降法和牛顿法是常用的两种凸函数求极值的方法,他们都是为了求得目标函数的近似解.梯度下降的目的是直接求解目标函数极小值,而牛顿法则变相地通过求解目标函数一阶导为零的参数值,进而求得目标函数最小值.在逻辑回归模型的参数求解中,一般用改良的梯度下降法,也可以用牛顿法. 2 梯度下降法 2.1算法描述 1.确定误差范围和下降的步长,确定函数的导函数 2.while(|新值 -旧值| >误差) 3.       旧值=新值 4.       新值=初始值-步长*导函数

Python之逻辑回归模型来预测

建立一个逻辑回归模型来预测一个学生是否被录取. import numpy as np import pandas as pd import matplotlib.pyplot as plt import os path='data'+os.sep+'Logireg_data.txt' pdData=pd.read_csv(path,header=None,names=['Exam1','Exam2','Admitted']) pdData.head() print(pdData.head())

基于分类问题的逻辑回归模型

由于分类问题的输出是0.1这样的离散值,因而回归问题中用到的线性回归模型就不再适用了.对于分类问题,我们建立逻辑回归模型. 针对逻辑回归模型,主要围绕以下几点来讨论. Logistic Regression (逻辑回归) Sigmoid Function (逻辑函数) Decision Boundaries (决策边界) Cost Function (代价函数) 决策边界不是数据集的属性,而是假设本身及其参数的属性.我们不是用训练集来定义的决策边界,我们用训练集来拟合参数θ,一旦有了参数θ就可以

逻辑回归模型分析

本文主要分两个部分进行讨论,首先介绍最简单的线性回归模型:接着对逻辑回归进行分析 1.线性回归-->最小二乘法 对于线性回归问题,我们根据自变量的个数将其分为一元线性回归和多元线性回归,本部分先详细介绍一元线性模型,然后将其推广到多元线性模型 1)一元线性模型 当输入只有一个自变量时,我们称之为一元线性模型.(最简单) 设样本集合为:(xi,yi),i=1,2,…,m. 目标为:在平面上找出一条线,使得样本点尽可能多的在这条直线上. 设一元线性模型为:h(x)=ax+b,输出误差为:Si=yi-

统计学习方法[6]——逻辑回归模型

统计学习方法由三个要素组成:方法=模型+策略+算法 模型是针对具体的问题做的假设空间,是学习算法要求解的参数空间.例如模型可以是线性函数等. 策略是学习算法学习的目标,不同的问题可以有不同的学习目标,例如经验风险最小化或者结构风险最小化. 经验风险最小化中常见的损失函数有:0-1损失函数.残差损失函数.绝对值损失函数.平方损失函数.对数损失函数等等. 算法是按照上述策略求解模型的具体计算方法.模型定义了要求什么,策略定义了按照什么标准去求,算法则具体去解决. 线性回归模型 线性回归模型,众所周知

统计学习方法 李航---第6章 逻辑回归与最大熵模型

第6章 逻辑回归与最大熵模型 逻辑回归(logistic regression)是统计学习中的经典分类方法.最大嫡是概率模型学习的一个准则将其推广到分类问题得到最大熵模型(maximum entropy model).逻辑回归模型与最大熵模型都属于对数线性模型. 6.1 逻辑回归模型 定义6.1(逻辑分布):设X是连续随机变量,X服从逻辑斯谛分布是指 X具有下列分布函数和密度函数 式中,u为位置参数,r>0为形状参数. 逻辑分布的密度函数f(x)和分布函数F(x)的图形如图所示.分布函数属于逻辑