第二次-机器学习相关数学基础

.本周视频学习内容:https://www.bilibili.com/video/BV1Tb411H7uC?p=2

1)P2 概率论与贝叶斯先验

2)P3 矩阵和线性代数

机器学习是一门多领域交叉学科,涉及较多的数学知识,本节课知识之前都有学过,这次根据重点重新梳理一遍,一定要多加重视。通过观看视频,大家对课程的数学基础部分加深印象。

建议大家边看边做笔记,记录要点及所在时间点,以便有必要的时候回看。学习笔记也是作业的一部分。

3.作业要求:

1)贴上视频学习笔记,要求真实,不要抄袭,可以手写拍照。

2)用自己的话总结“梯度”,“梯度下降”和“贝叶斯定理”,可以word编辑,可做思维导图,可以手写拍照,要求言简意赅、排版整洁。

本福特定律:

 概率公式:

贝叶斯公式:

两点分布:

        

泰勒级数:

泊松分布:

    

均匀分布:

 

指数分布:

正态分布:

   

 

      

 

Beta分布:

   

 

 

事件的独立性:

     

方差、协方差:

  

 

  

pearson相关系数、切比雪夫不等式:

   

大数定律:

  

重要推论:

 

 

 

 

 

 

 

 

2)用自己的话总结“梯度”,“梯度下降”和“贝叶斯定理”,可以word编辑,可做思维导图,可以手写拍照,要求言简意赅、排版整洁。

①梯度:梯度的定义如下:

梯度的提出只为回答一个问题: 函数在变量空间的某一点处,沿着哪一个方向有最大的变化率?
梯度定义如下: 函数在某一点的梯度是这样一个向量,它的方向与取得最大方向导数的方向一致,而它的模为方向导数的最大值。
这里注意三点: 1)梯度是一个向量,即有方向有大小; 2)梯度的方向是最大方向导数的方向; 3)梯度的值是最大方向导数的值。

②梯度下降:梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。反过来,如果我们需要求解损失函数的最大值,这时就需要用梯度上升法来迭代了。在机器学习中,基于基本的梯度下降法发展了两种梯度下降方法,分别为随机梯度下降法和批量梯度下降法。

③贝叶斯定理:

概率论中的条件概率公式:

(1)

其中,P(B/A)  表示事件A已经发生的前提下,事件B发生的概率,叫做事件A发生下事件B的条件概率,P(AB)表示AB事件同时发生的概率。同理可得事件B发生下事件A发生的概率如下:
(2)

事件B发生的概率为P(B),它包含两部分,一是在A发生的条件下事件B发生了,另一种情况是在A非的情况下事件B发生了,所以P(B)的计算公式如下:

(3)

将公式(3)带入公式(2),可得到完整的贝叶斯公式如下:

原文地址:https://www.cnblogs.com/kushoulder/p/12699021.html

时间: 2024-07-30 23:53:24

第二次-机器学习相关数学基础的相关文章

机器学习:2.机器学习相关数学基础

本周任务: 请确保熟悉并理解机器学习数学部分常用相关概念: 1.高等数学 1)函数 2)极限 3)导数 4)极值和最值 5)泰勒级数 6)梯度 7)梯度下降 2.线性代数 1)基本概念 2)行列式 3)矩阵 4)最小二乘法 5)向量的线性相关性 3.概率论 1)事件 2)排列组合 3)概率 4)贝叶斯定理 5)概率分布 6)期望和方差 7)参数估计 2.本周视频学习内容:https://www.bilibili.com/video/BV1Tb411H7uC?p=2 1)P2 概率论与贝叶斯先验

2.机器学习相关数学基础

1.学习记录 2.用自己的话总结“梯度”,“梯度下降”和“贝叶斯定理”, 梯度:在指定方向每单位距离的数值变化 梯度下降:简单来说就是解决一个问题的时候,寻找他的最优解,也可能是局部最优 贝叶斯定理:p(A|B)=P(A)x[p(B|A)/p(B)] 原文地址:https://www.cnblogs.com/201706120196y/p/12665854.html

机器学习相关数学基础lll

1.高等数学 1)函数 2)极限 3)导数 4)极值和最值 5)泰勒级数 6)梯度 7)梯度下降 2.线性代数 1)基本概念 2)行列式 3)矩阵 4)最小二乘法 5)向量的线性相关性 3.概率论 1)事件 2)排列组合 3)概率 4)贝叶斯定理 5)概率分布 6)期望和方差 7)参数估计 2.本周视频学习内容: 需要一个种子 原文地址:https://www.cnblogs.com/ly888/p/12694180.html

[转]计算机视觉、机器学习相关领域论文和源代码大集合

计算机视觉.机器学习相关领域论文和源代码大集合--持续更新…… [email protected] http://blog.csdn.net/zouxy09 注:下面有project网站的大部分都有paper和相应的code.Code一般是C/C++或者Matlab代码. 最近一次更新:2013-3-17 一.特征提取Feature Extraction: ·         SIFT [1] [Demo program][SIFT Library] [VLFeat] ·         PCA

机器学习相关慨念

一.    机器学习相关慨念 1.机器学习定义 大数据时代,随着网络的普及化以及计算机计算速度和存储能力的提高,人类更容易收集.存储.传输.管理数据,各行各业已经积累了大量的数据资源.如何利用这些数据服务于人类社会.促进经济发展.便捷人类生活日益成为各行各业关注的重点.由于人类处理数据的能力有限,因而只能让机器处理大量的数据,"机器学习"正是针对这一问题,它致力于研究通过计算的手段,让计算机从数据中学习知识,从而实现一些人类才能完成的任务,产生机器智能. 机器学习的定义有很多,大致可以

机器学习的数学基础(1)--Dirichlet分布

机器学习的数学基础(1)--Dirichlet分布 这一系列(机器学习的数学基础)主要包括目前学习过程中回过头复习的基础数学知识的总结. 基础知识:conjugate priors共轭先验 共轭先验是指这样一种概率密度:它使得后验概率的密度函数与先验概率的密度函数具有相同的函数形式.它极大地简化了贝叶斯分析. 如何解释这句话.由于 P(u|D) = p(D|u)p(u)/p(D)   (1.0式) 其中D是给定的一个样本集合,因此对其来说p(D)是一个确定的值,可以理解为一个常数.P(u|D)是

(转)机器学习的数学基础(1)--Dirichlet分布

转http://blog.csdn.net/jwh_bupt/article/details/8841644 这一系列(机器学习的数学基础)主要包括目前学习过程中回过头复习的基础数学知识的总结. 基础知识:conjugate priors共轭先验 共轭先验是指这样一种概率密度:它使得后验概率的密度函数与先验概率的密度函数具有相同的函数形式.它极大地简化了贝叶斯分析. 如何解释这句话.由于 P(u|D) = p(D|u)p(u)/p(D)   (1.0式) 其中D是给定的一个样本集合,因此对其来说

谷歌开源第二代机器学习系统 TensorFlow

深度学习对计算机科学而言,是有相当深远的影响的.它让尖端科技研究.开发数千万人日常使用的产品成为可能.Research宣布推出第二代机器学习系统TensorFlow,针对先前的DistBelief的短板有了各方面的加强,更重要的是,它是开源的,任何人都可以用. 谷歌内部深度学习结构DistBelief开发于2011年,它让谷歌能够针对数据中心的数千核心,构建更为大型的神经网络和规模训练,典型的应用像是提升谷歌应用中的语音识别能力,以及为谷歌搜索加入图片搜索功能. 不过DistBelief存在一些

计算机视觉、机器学习相关领域论文和源代码大集合[转]

注:下面有project网站的大部分都有paper和相应的code.Code一般是C/C++或者Matlab代码. 最近一次更新:2013-3-17 一.特征提取Feature Extraction: ·         SIFT [1] [Demo program][SIFT Library] [VLFeat] ·         PCA-SIFT [2] [Project] ·         Affine-SIFT [3] [Project] ·         SURF [4] [Ope