线性回归, 逻辑回归与神经网络公式相似点

线性回归, 逻辑回归与神经网络公式相似点

  • 线性回归与逻辑回归

    • 线性回归的损失函数
      \[
      J(\theta)={1\over{2m}}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2
      \]
    • 逻辑回归的损失函数
    • \[
      J(\theta)={-1\over{m}}[\sum_{i=1}^{m}y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]
      \]
    • 线性回归的损失函数的梯度
      \[
      {\partial\over{\partial\theta_j}}J(\theta)=\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})x_j
      \]
    • 逻辑回归的损失函数的梯度
      \[
      {\partial\over{\partial\theta_j}}J(\theta)=\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})x_j
      \]
  • 逻辑回归与神经网络
    • 逻辑回归的损失函数
      \[
      J(\theta)={-1\over{m}}[\sum_{i=1}^{m}y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]
      \]
    • 神经网络的损失函数
      \[
      J(\Theta) = {1\over{m}}\sum_{i=1}^{m}\sum_{k=1}^{K} y_k^{(i)}log(h_\Theta(y_k^{(i)})) + (1 - y_k^{(i)})log(1 - h_\Theta(y_k^{(i)})) + {\lambda\over{2m}}\sum_{l}^{L-1}\sum_{i=1}^{s_l}\sum_{j=1}^{s_{l+1}}\Theta_{ji}^{l}
      \]

原文地址:https://www.cnblogs.com/megachen/p/10466781.html

时间: 2024-10-11 19:36:34

线性回归, 逻辑回归与神经网络公式相似点的相关文章

从逻辑回归到神经网络入门

原文地址:https://www.cnblogs.com/sunruina2/p/8284248.html

机器学习:逻辑回归

************************************** 注:本系列博客是博主学习Stanford大学 Andrew Ng 教授的<机器学习>课程笔记.博主深感学过课程后,不进行总结很容易遗忘,根据课程加上自己对不明白问题的补充遂有此系列博客.本系列博客包括线性回归.逻辑回归.神经网络.机器学习的应用和系统设计.支持向量机.聚类.将维.异常检测.推荐系统及大规模机器学习等内容. ************************************** 逻辑回归 分类(C

Coursera机器学习-第三周-逻辑回归Logistic Regression

Classification and Representation 1. Classification Linear Regression (线性回归)考虑的是连续值([0,1]之间的数)的问题,而Logistic Regression(逻辑回归)考虑的是离散值(例如只能取0或1而不能取0到1之间的数)的问题.举个例子,你需要根据以往季度的电力数据,预测下一季度的电力数据,这个时候需要使用的是线性回归,因为这个值是连续的,而不是离散的.而当你需要判断这个人抽烟还是不抽烟的问题时,就需要使用逻辑回

tensorFlow(三)逻辑回归

tensorFlow 基础见前博客 逻辑回归广泛应用在各类分类,回归任务中.本实验介绍逻辑回归在 TensorFlow 上的实现 理论知识回顾 逻辑回归的主要公式罗列如下: 激活函数(activation function): 损失函数(cost function): 其中 损失函数求偏导(derivative cost function): 训练模型 数据准备 首先我们需要先下载MNIST的数据集.使用以下的命令进行下载: wget https://devlab-1251520893.cos.

实现逻辑回归-神经网络

一.基本概念 1.逻辑回归与线性回归的区别? 线性回归预测得到的是一个数值,而逻辑回归预测到的数值只有0.1两个值.逻辑回归是在线性回归的基础上,加上一个sigmoid函数,让其值位于0-1之间,最后获得的值大于0.5判断为1,小于等于0.5判断为0 二.逻辑回归的推导 \(\hat y\)表示预测值,\(y\)表示训练标签值 1.一般公式 \[ \hat y = wx + b \] 2.向量化 \[ \hat y = w^Tx+b \] 3.激活函数 引入sigmoid函数(用\(\sigma

对线性回归、逻辑回归、各种回归的概念学习

http://blog.csdn.net/viewcode/article/details/8794401 回归问题的条件/前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数.然后利用这个模型去预测/分类新的数据. 1. 线性回归 假设 特征 和 结果 都满足线性.即不大于一次方.这个是针对 收集的数据而言.收集的数据中,每一个分量,就可以看做一个特征数据.每个特征至少对应一个未知的参数.这样就形成了一个线性模型函数,向量表示形式: 这个就

机器学习(一)——线性回归、分类与逻辑回归

http://antkillerfarm.github.io/ 序 这是根据Andrew Ng的<机器学习讲义>,编写的系列blog. http://www.cnblogs.com/jerrylead/archive/2012/05/08/2489725.html 这是网友jerrylead翻译整理的版本,也是本文的一个重要的参考. http://www.tcse.cn/~xulijie/ 这是jerrylead的个人主页. 我写的版本在jerrylead版本的基础上,略有增删,添加了一下其他

机器学习系列:(四)从线性回归到逻辑回归

从线性回归到逻辑回归 在第2章,线性回归里面,我们介绍了一元线性回归,多元线性回归和多项式回归.这些模型都是广义线性回归模型的具体形式,广义线性回归是一种灵活的框架,比普通线性回归要求更少的假设.这一章,我们讨论广义线性回归模型的具体形式的另一种形式,逻辑回归(logistic regression). 和前面讨论的模型不同,逻辑回归是用来做分类任务的.分类任务的目标是找一个函数,把观测值匹配到相关的类和标签上.学习算法必须用成对的特征向量和对应的标签来估计匹配函数的参数,从而实现更好的分类效果

线性回归和 逻辑回归 的思考(参考斯坦福 吴恩达的课程)

还是不习惯这种公式的编写,还是直接上word.... 对上面的(7)式取log后并最大化即可得到最小二乘法,即 argmaxθ J(θ) 思考二:线性回归到逻辑回归的转变: 1) 引入逻辑回归,假设用线性回归来做分类问题,设为二分类,即y取0或1. 则会出现如下的情况: 这种情况下是能很好的分类的,但若数据是如下所示呢: 则分类很不好. 思考三:逻辑回归损失函数的得来(解释):     答,也是通过最大似然得到的.y的取值为0,1:则认为这是一个伯努力的分布,也称为两点的分布,则公式表示如下: