Hoeffding's inequality

Let $\{Y_i: i\in J\}$ be zero mean independent complex-valued random variables satisfying $|Y_i|\le R.$ Then for all $c>0,$

$$P\left(|\sum_{i\in J}Y_i|>c\right)\le 4\exp\left(\frac{-c^2}{4R^2|J|}\right).$$

See, Hoeffding, W, Probability inequalities for sums of bounded random variables, Journal of the American Statistical Asociation, 58 (1963):13-30

or P. Shmerkin  Salem sets with no arithmetic progressions, international Mathematiics Research Notices.

Hoeffding's inequality

时间: 2024-08-29 01:28:32

Hoeffding's inequality的相关文章

vcf 模块

最近一直在处理samtools freebayes gatk 产生的snp数据, 结果文件都是vcf,于是自己就写了相应的类,但是总是不够完善. 海宝推荐这个模块,他都推荐了 我还抱着我那烂代码不放干啥 之前写的就当练习类了 安装: sudo pip install pyvcf 然后报错说没有counter模块,于是: sudo pip install counter 然后就安装好了 简单实用: import vcf myvcf = vcf.Reader(open('testpyvcf', 'r

NTU-Coursera机器学习:机器学习基石 (Machine Learning Foundations)

课讲内容 这门课以8周设计,分成 4个核心问题,每个核心问题约需2周的时间来探讨.每个约2个小时的录影中,每个小时为一个主题,以会各分成4到5个小段落,每个段落里会有一个后多个随堂的练习.我们在探讨每个核心问题的第二周.依上所述,課程的規畫如下: When Can Machines Learn? [何时可以使用机器学习] 第一周:(NTU-Coursera机器学习:机器学习问题与二元分类) 第一讲:The Learning Problem [机器学习问题]第二讲:Learning to Answ

机器学习基石第六讲:theory of generalization

博客已经迁移至Marcovaldo's blog (http://marcovaldong.github.io/) 机器学习基石第六讲继续讨论"学习是否可行的问题". Restriction of Break Point 继续前面的讨论,我们看mH(N)是否会有一个很小的增长速度.回顾前面的四种成长函数及其break point.我们知道k是一个成长函数的break point,那比k大的值全是break point. mH(N)是一个hypothesis在N个数据点上可以产生的dic

机器学习基石第四讲笔记

第四讲介绍了机器学习是否可行的问题. 1. 从给定的资料D中,找出一个接近目标f的假设g是可行的.比如PLA.但是,找到的这个g能否用于D以外的地方,这就难说了. 2. Hoeffding's inequality回答了g是否能用于D以外的问题: (1)In probability theory, Hoeffding's inequality provides an upper bound on the probability that the sum of random variables d

Foundations of Machine Learning: The PAC Learning Framework(2)

Foundations of Machine Learning: The PAC Learning Framework(2) (一)假设集有限在一致性下的学习界. 在一篇文章中我们介绍了PAC-learnable的定义,以及证明了一个例子是PAC-learnable. 这一节我们介绍当hypothesis set是有限时,且算法$\mathcal{A}$相对与样本S满足一致性条件下的PAC问题.下一节介绍不一致条件下的PAC问题. 一致性(consistent):如果一个算法产生的假设$h_s$

机器学习基石笔记4——在何时可以使用机器学习(4)

转载请注明出处:http://www.cnblogs.com/ymingjingr/p/4271742.html 目录 机器学习基石笔记1——在何时可以使用机器学习(1) 机器学习基石笔记2——在何时可以使用机器学习(2) 机器学习基石笔记3——在何时可以使用机器学习(3)(修改版) 机器学习基石笔记4——在何时可以使用机器学习(4) 机器学习基石笔记5——为什么机器可以学习(1) 机器学习基石笔记6——为什么机器可以学习(2) 机器学习基石笔记7——为什么机器可以学习(3) 机器学习基石笔记8

霍夫丁不等式与真实的机器学习

1.霍夫丁不等式 在一个罐子里,放着很多小球,他们分两种颜色{橘色,绿色}.从罐中随机抓N个小球.设:罐中橘色球的比例为μ(未知),抓出来的样本中橘色球的比例为ν(已知).根据概率论中的霍夫丁不等式(Hoeffding's Inequality)若N足够大,ν就很可能接近μ. 同理的,在机器学习中:N足够大的时候可以用数据集D上的 [h(x)≠f(x)] 来推测{χ}上的 [h(x)≠f(x)].就是说,如果样本足够大,那么备选函数h在D上犯错误的比例接近其在{χ}上犯错误的比例.设某一备选函数

Coursera 机器学习基石 第4讲 学习的可行性

这一节讲述的是机器学习的核心.根本性问题——学习的可行性.学过机器学习的我们都知道,要衡量一个机器学习算法是否具有学习能力,看的不是这个模型在已有的训练数据集上的表现如何,而是这个模型在训练数据外的数据(一般我们称为测试数据)上性能的好坏,我们把这个性能称为泛化能力(generalization ability),机器学习中,我们的目标是寻找高泛化能力的模型:有些模型虽然在训练数据集上分类效果很好,甚至正确率达到100%,但是在测试数据集上效果很差,这样的模型泛化能力很差,这种现象也叫过拟合(O

机器学习基石笔记1

机器学习基石笔记1 lecture 1: The Learning Problem 1. 机器学习是什么 通过对数据的经验计算(experience computed),提升性能度量 3个关键性质 a) 存在一种可以学习的潜在的模式(underlying pattern) b) 没有明确的可编程的定义 c) 存在和模式相关的数据 2. 机器学习的应用 教育 推荐系统 etc. 3. 机器学习的元素 4. 机器学习和其他领域的关系 领域 描述 机器学习 使用数据计算假设g,以此估计目标函数f 数据