对数回归的成本函数

对于线性回归,我们不能使用相同的成本函数,因为logistic函数会导致输出波动,导致许多局部最优解。换句话说,它不是一个凸函数。

相反,我们的逻辑回归的成本函数看起来像:

当y = 1,我们得到如下图J(θ)与H(θ)

当y = 0,我们得到如下图J(θ)与H(θ)

如果我们的正确答案y是0,那么如果我们的假设函数输出0,则代价函数为0。如果我们的假设接近1,那么代价函数将接近无穷大。
如果我们的正确答案y是1,那么如果我们的假设函数输出1,代价函数将是0。如果我们的假设接近0,那么代价函数将接近无穷大。
注意写作的成本函数,这样保证了J(θ)是Logistic回归。

时间: 2024-11-12 23:51:40

对数回归的成本函数的相关文章

损失函数, 成本函数, 目标函数的区别

背景 在机器学习中经常会碰到"损失函数","成本函数", 和"目标函数".在学习中理解概念是至关重要的. todo 解析 1."损失函数"一般是指对单个样本的做的损失 \[ |y_i-f(x_i)| \] 2."成本函数"一般是数据集上总的成本和损失 \[ 1/N\cdot\sum_{i=1}^{N}{|y_i-f(x_i)|} + 正则项 \] 3."目标函数"是一个非常广泛的名称 一

机器学习--基础知识复习(模式识别,成本函数)

由于时间原因,今天主要复习下machine learning课程的前三节,简单记录自己的理解. 1.模式表达(Model representation) 其实就是指通过一定的范例数据学习追踪生成一个函数的表达形式.然后通过矩阵得到整个运算过程. 模型表达就是给出输入和输出之间的函数关系式,当然这个函数是有前提假设的,里面可以含有参数. 比如下图,我们有一个房子的大小size,卧室数目(bedrooms)然后得到房屋价格(price),通过这三个常数就可计算一个输入和输出的函数关系. hprice

成本函数(Cost Function)

我们通过成本函数来衡量我们预测的准确性. 通过平均差的方式得到: 这个函数被称为"平方误差函数"或"均方误差". 下面的图就是成本函数:

简化成本函数和梯度下降

我们可以将成本函数的两个条件情形压缩为一个情形: 注意到当y=1,那么=0也就是说没有效果. 当y=0,那么=0. 我们可以完全写出我们的全部成本函数如下: 矢量化实现: 梯度下降 请记住,梯度下降的一般形式是: 利用微积分可以求出导数的部分: 注意,这个算法与我们在线性回归中使用的算法是一样的.我们仍然必须同时更新θ中的所有值矢量化实现:

成本函数的第一直觉

如果我们想在视觉方面的话,我们的训练数据集是散落在X-Y平面.我们试图使一个直线(Hθ定义(x)),通过这些散乱数据点. 我们的目标是找到最好的路线.最好的线将是这样的,以便从线的散乱点的平均平方垂直距离将是最小的.理想情况下,该行应该通过我们训练数据集的所有点.在这种情况下,J值(θ0,θ1)将0.下面的示例显示了理想情况下,我们的成本函数为0. 当θ1 = 1,我们得到一个1的坡度,经过每一个数据点,在我们的模型.相反,当θ1 = 0.5,我们看到垂直距离我们拟合数据点增加. 这使我们的成本

成本函数-直觉II

等高线图是包含许多等高线的图形.两个变量函数的等值线在同一直线的所有点上都有一个恒定值.这种图的一个例子是右下方的一个图. 采取任何颜色和沿着'圈',人们会期望得到相同的值的成本函数.例如,三个绿色的点上绿色线为J值相同(θ0,θ1)和作为一个结果,他们发现,在同一直线上.盘旋的X显示的成本函数在离开的时候θ0 = 800,θ1 = -0.15图的价值.取另一个h(x)并绘制其等高线图,得到以下图 当θ0 = 360和θ1 = 0,J值(θ0,θ1)在等高线越靠近中心,从而降低成本函数误差.现在

第三期 行为规划——12 成本函数设计和权重调整

成本函数设计的困难: 1.包括在不解决见问题的情况下解决新的问题.当你在自驾车上工作时, 你可能会发现车辆行为合理,除了一些特定的情况.也许它在红绿灯左转时没有足够的攻击性. 所以,为了解决这个问题,您可以添加新的成本函数,调整现有的或修改权重. 但每次你做,你有可能会介绍有些将变革转化为已经发挥作用的东西. 实际上,我们通过回归测试来解决这个问题,我们在那里定义一些情况, 每一个都有预期的行为.那么,每当我们做出改变,我们模拟整个车辆 我们的测试用例,并确保它仍然按预期行事.我们在这里不会多说

回归- Regression

回归- Regression ------------------------------------------ 回归- Regression 线性回归Linear regression 模型表示Model representation 代价函数Cost function 目标Goal 多项式回归 加权线性回归 一般线性回归 通用的指数概率分布 伯努利分布 高斯分布 微分与导数1 微分 导数 方向导数 梯度 梯度下降算法 基本思想 流程 批量梯度下降 随机梯度下降 特征归一化 步长的选择 优缺

Coursera《machine learning》--(6)逻辑回归

六 逻辑回归(Logistic Regression:LR) 逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上,套用了一个逻辑函数,但也就是由于这个逻辑函数,使得逻辑回归模型成为了机器学习领域一颗耀眼的明星,更是计算广告学的核心. 6.1 分类问题(Classification) 本小节开始介绍分类问题(该问题中要预测的变量y是离散值),同时,还要学习一种叫做逻辑回归的算法(Logistic regression),这是目前使用最广泛的一种算法.虽然该算法中