机器学习概率论的一些基础知识

概率论的一些基础知识

条件概率

\(P(B|A) = \frac{1}{3}\) 表示的意思为当A发生的时候,B发生的概率

有公式
\[P(B|A) = \frac{P(AB)}{P(A)}\]

\[P(AB) = P(B|A)*P(A)=P(A|B)*P(B)\]

\[ P(A|B) = \frac{P(B|A)*P(A)}{P(B)}\]

全概率公式

\(B_1,B_2,B_3\)……\(B_n\) 为样本空间的S的一个划分则可以得到
\(P(A) = P(A|B_1) + P(A|B_2)+……P(A|B_n)= \sum_{i=0}^{n}\)P(A|B_i)$

贝叶斯公式

\[P(B_i|A) = \frac{P(A|B_i)*P(B_i)}{\sum_{i=0}^{n}$P(A|B_i)}\]

关于贝叶斯公式的几个理解和解释

\[ P(A|B) = \frac{P(B|A)*P(A)}{P(B)}\]
其中P(A)的概率为先验概率,这个在机器学习中通常指的是某个分类出现的概率>

P(B|A)为条件概率,就是在A类中B发生的概率

P(A|B)为后验概率,具体指的含义为:当B事件发生了,这个时候来自A分类的概率是多少。

极大似然估计 maximum-likelihood

原理

利用已知的样本结构,去反推最大可能导致这样结果的参数值。极大似然估计是建立在极大似然原理的基础上的一个统计方法,是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。

由于样本集中的样本都是独立同分布,可以只考虑一类样本集D,来估计参数向量θ。记已知的样本集为:\[D=\{ x_1,x_2,x_3,……x_n \}\]

\[l(\theta)=p(D|\theta)=p(x_1,x_2,x_3……x_N| \theta )=\prod_{i=1}^{n}P(x_i|\theta)\] 就是D的似然函数

ML 中如何求极大似然函数

求使得出现该组样本的概率最大的θ值。

\[ \hat{\theta}=argmax l(\theta)=argmax\prod_{i=1}^{N}P(x_i|\theta)\]

简单的理解,我们就是在已知是\(\theta\) 发生的情况下让D序列出现的概率最大。而连乘不太好计算。我们可以做一下改变。
\[ \hat{\theta}=argmax l(\theta)=argmax\prod_{i=1}^{N}P(x_i|\theta) = argmax (ln(\prod_{i=1}^{N}P(x_i|\theta)))= argmax \sum_{i=1}^{N}ln(P(x_i|\theta))\]

原文地址:https://www.cnblogs.com/bbird/p/11519772.html

时间: 2024-11-10 18:34:48

机器学习概率论的一些基础知识的相关文章

机器学习中的基础知识(入门上篇)

前面我们已经给大家讲述了很多有关机器学习的概念,这些概念都是十分重要的,我们如果要学习人工智能的话就需要重视这些知识.在这篇文章我们接着给大家介绍机器学习中的基础知识,希望这篇文章能够给大家带来帮助. (1)正则化就是对模型复杂度的惩罚.正则化帮助防止过拟合.正则化包括不同种类:L1 正则化.L2 正则化.dropout正则化. (2)正则化率就是一种标量级,用lambda来表示,指正则函数的相对重要性. (3)表征就是将数据映射到有用特征的过程. (4)根目录就是指定放置 TensorFlow

学习算法你必须知道的一些基础知识(文末福利)

点击标题下「异步社区」可快速关注 机器学习是解决很多文本任务的基本工具,本文自然会花不少篇幅来介绍机器学习.要想搞明白什么是机器学习,一定要知道一些概率论和信息论的基本知识,本文就简单回顾一下这些知识. 1.1 概率论 概率就是描述一个事件发生的可能性.我们生活中绝大多数事件都是不确定的,每一件事情的发生都有一定的概率(确定的事件就是其概率为100%而已).天气预报说明天有雨,那么它也只是说明天下雨的概率很大.再比如掷骰子,我把一个骰子掷出去,问某一个面朝上的概率是多少?在骰子没有做任何手脚的情

CS基础知识学习

基础知识 1.数学,这个一般理工科都会学,如果想走机器学习(算法)的道路,更加要学好 * 高等数学 * 离散数学 * 线性代数 * 概率论与数理统计 2.专业基础课有十多门,其中最重要的是四门如下 * 数据结构与算法 * 计算机组成原理 * 操作系统 * 计算机网络 以上这些基础知识,决定你能学得多深入,在这个行业能走多远. 实战技能,工作中直接用到的,决定你能不能通过面试,成为一颗合格的螺丝钉. 1.编程语言方面 一个合作的程序员要工作中可能会用到4-6门编程语言 C / C++ Python

最全的Spark基础知识解答

最全的Spark基础知识解答 时间:2016-12-12 12:00:50      阅读:19      评论:0      收藏:0      [点我收藏] 原文:http://www.cnblogs.com/sanyuanempire/p/6163732.html 一. Spark基础知识 1.Spark是什么? UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架. dfsSpark基于mapreduce算法实现的分布式计算,拥有HadoopMa

Deep Reinforcement Learning 基础知识(DQN方面)

Introduction 深度增强学习Deep Reinforcement Learning是将深度学习与增强学习结合起来从而实现从Perception感知到Action动作的端对端学习的一种全新的算法.简单的说,就是和人类一样,输入感知信息比如视觉,然后通过深度神经网络,直接输出动作,中间没有hand-crafted工作.深度增强学习具备使机器人实现完全自主的学习一种甚至多种技能的潜力. 虽然将深度学习和增强学习结合的想法在几年前就有人尝试,但真正成功的开端是DeepMind在NIPS 201

特征值与奇异值的基础知识

在看论文的过程中,经常遇到涉及到特征值.特征向量.奇异值.右奇异向量等相关知识的地方,每次都是看得似懂非懂.本文将从特征值和奇异值相关的基础知识入手,探究奇异值和特征值的内涵,进而对特征值和奇异的知识进行梳理. 特征值分解和奇异值分解(SVD)在主成分分析(PCA)和机器学习领域都有广泛的应用.PCA的实现由两种方法,一种是特征值分解,另一种是奇异值分解,特征值分解和奇异值分解的目的是一样的,都是提取出一个矩阵最重要的特性.特征值和奇异值在大部分人的印象中都只是停留在线性代数中,对他们特殊的物理

1.2 区块链基础知识

1.2.1  区块链相关术语 区块链板块主要更新一些专业技术.相关算法 及 技术实现. 其中一些的相关基础知识就不再做赘述了.  但是 我给大家搜集整理了一下  相关术语,想入门但对这个方向还是不是很了解的小伙伴,可以看一下下面的这个: <区块链行业字典> 1.2.2  区块链始祖--比特币技术 来自中本聪的比特币白皮书:<一种点对点的电子现金系统>中文版 1.2.3  区块链特性 去中心化:因为它是分布式存储的,所以不存在中心点,也可以说各个节点都是中心点,生活中应用就是不需要第

学习大数据要什么基础知识?学到什么程度才能从事大数据行业?

因为大数据前景好,薪资高,很多人想通过参加学习大数据,然后进入大数据行业发展.但是因为大数据的门槛较高,对于学习人员有一定的要求,那么学习大数据需要什么基础知识呢? 首先我们了解下对于大数据学习者本身的学历水平的要求 目前大多数的机构,对于大数据学习者要求必须是大专学历以上,而且大专学历还要求是计算机相关专业的,如果是本科及本科以上的,则对专业要求适当的放宽.同时大数据分为两大方向:大数据开发和大数据分析. 这两大方向的对于基础知识的要求不同,大数据分析偏向于分析,对于编程要求不高,相较而言对于

关于图算法 &amp; 图分析的基础知识概览

网址:https://learning.oreilly.com/library/view/graph-algorithms-/9781492060116/ 你肯定没有读过这本书,因为这本书的发布日期是2019年5月.本文会覆盖该书的大部分内容,读完这篇,你能够了解图算法的基本概念.关于此书,作为市面上为数不多的面向数据科学应用的图算法书籍,写的比较全面系统和易懂.当然,书在细节上的提高空间还有很多.今天内容很多,坐稳~ 目录 图算法 & 图分析 图基础知识 连通图与非连通图 未加权图与加权图 有