无偏估计

所谓总体参数估计量的无偏性指的是基于不同的样本,使用该估计量可算出多个估计值,但它们的平均值等于被估参数的真值。

在某些场合下,无偏性的要求是有实际意义的。例如,假设在某厂商与某销售商之间存在长期的供货关系,则在对产品出厂质量检验方法的选择上,采用随机抽样的方法来估计次品率就很公平。这是因为从长期来看,这种估计方法是无偏的。比如这一次所估计出来的次品率实际上偏高,厂商吃亏了;但下一次的估计很可能偏低,厂商的损失就可以补回来。由于双方的交往会长期多次发生这时采用无偏估计,总的来说可以达到互不吃亏的效果。

不过,在某些场合中,无偏性的要求毫无实际意义。这里又有两种情况:一种情况是在某些场合中不可能发生多次抽样。例如,假设在某厂商和某销售商之间只会发生一次买卖交易,此后不可能再发生第二次商业往来。这时双方谁也吃亏不起,这里就没有什么“平均”可言。另一种情况则是估计误差不可能相互补偿,因此“平均”不得。例如,假设需要通过试验对一个批量的某种型号导弹的系统误差做出估计。这个时候,既使我们的估计的确做到了无偏,但如果这一批导弹的系统误差实际上要么偏左,要么偏右,结果只能是大部分导弹都不能命中目标,不可能存在“偏左”与“偏右”相互抵消,从而“平均命中”的概念。

由此可见,具有无偏性的估计量不一定就是我们“最需要”的“恰当”估计量

在概率论和数量统计中,学习过无偏估计,最近在学习论文时候,也经常论文中提到无偏估计。虽然对无偏估计有所了解,但是还是有些问题:

1)总体期望的无偏估计量是样本均值x-,总体方差的无偏估计是样本方差S^2,为什么样本方差需要除以n-1,而不是除以n;

2)样本在总体中是怎样的抽样过程,是放回抽样,是随机抽样,还是不放回抽样等等。

为了解决这个问题,首先来回忆一下什么叫无偏估计:

无偏估计是参数的样本估计值的期望值等于参数的真实值。估计量的数学期望等于被估计参数,则称此为无偏估计。
    设A‘=g(X1,X2,...,Xn)是未知参数A的一个点估计量,若A‘满足
    E(A‘)= A
    则称A‘为A的无偏估计量,否则为有偏估计量。
    注:无偏估计就是系统误差为零的估计。

由于公式A‘=g(X1,X2,...,Xn)中的X1,X2,...,Xn一般为一次抽样的结果,没有明确是怎么抽样的一个过程,所以导致不好理解为什么A‘就是A的无偏估计量,特别是很难举出实例来给与证明。经过自己的查阅资料和理解,实际上无偏估计量可以理解如下:

简单的理解,无偏估计量就是:在样本中进行n次随机的抽样,每次抽样都可以计算出一个对某一个参数的点估计量,计算n次,得到n个点估计量,然后对n个点估计量计算期望,得到的值和需要估计的总体参数相等,则称n中的任何点估计量为总体参数的无偏估计量。

能否举出一个例子呢?因为实际的应用中总体是不知道,只有样本,这能够举例子吗?是可以的,不妨设总体容量为3,样本容量为2,计算出总体方差的无偏估计为样本方差,而且样本方差是除以n-1,而不是除以n。

时间: 2024-11-13 03:20:53

无偏估计的相关文章

样本方差的无偏估计与(n-1)的由来

原文出处: http://blog.sina.com.cn/s/blog_c96053d60101n24f.html 在PCA算法中用到了方差,协方差矩阵,其中方差公式为,协方差矩阵公式为,当时不明白为什么除的不是m,而是m-1,那么想要知道为何,下面就是你想要的答案. 假设X为独立同分布的一组随机变量,总体为M,随机抽取N个随机变量构成一个样本,和是总体的均值和方差, 是常数.是对样本的均值和方差,由于样本是随机抽取的,也是随机的. 这里需要注意的是,由于样本是随机的,所以X1,X2,X3..

白话机器学习-最小二乘解和无偏估计

机器学习之最小二乘法解和无偏估计 更新中 ----------------------------------------------- 照例广告时间,休息一下,马上回来 炼数成金课程报名5折优惠码:C181 性价比最高VPN:http://61.164.116.28:8080/?ad_str=49261 广告结束,没偷没抢,自力更生,力求赚回学费,现在学费已经消费近4000了,但我还没有被扣学费过,至少现在是这样. ---------------------------------------

无偏估计与方差

在阅读 The Elements of Statistical Learning 第三章的时候,有一个式子我没有弄明白:设 $Y = X\beta + \epsilon$,其中 $\epsilon$ 的均值为 0,方差为 $\sigma^2$:再设 $X$ 是 $N \times (p+1)$ 的矩阵(每条训练样本含常数项 1),那么对 $\sigma^2$ 的无偏估计是 $$\hat{\sigma}^2 = \frac{1}{N-p-1}\sum_{i=1}^N(y_i-\hat{y}_i)^

什么是无偏估计?

所谓总体参数估计量的无偏性指的是,基于不同的样本,使用该估计量可算出多个估计值,但它们的平均值等于被估参数的真值. 在某些场合下,无偏性的要求是有实际意义的.例如,假设在某厂商与某销售商之间存在长期的供货关系,则在对产品出厂质量检验方法的选择上,采用随机抽样的方法来估计次品率就很公平.这是因为从长期来看,这种估计方法是无偏的.比如这一次所估计出来的次品率实际上偏高,厂商吃亏了:但下一次的估计很可能偏低,厂商的损失就可以补回来.由于双方的交往会长期多次发生,这时采用无偏估计,总的来说可以达到互不吃

理解无偏估计不止一个

原文地址:https://www.cnblogs.com/china520/p/10999763.html

【转】总体样本方差的无偏估计样本方差为什么除以n-1

原文链接:https://blog.csdn.net/qq_16587307/article/details/81328773 最近学习又接触到了样本方差估计,我重新想到了这个问题,很幸运这篇文章写的很好,解决了之前似懂非懂的困扰 证明过程(不是推导) 为什么? 当样本均值已知时的证明: 原文地址:https://www.cnblogs.com/exciting/p/11722803.html

Ensemble_learning 集成学习算法 stacking 算法

原文:https://herbertmj.wikispaces.com/stacking%E7%AE%97%E6%B3%95 stacked 产生方法是一种截然不同的组合多个模型的方法,它讲的是组合学习器的概念,但是使用的相对于bagging和boosting较少,它不像bagging和boosting,而是组合不同的模型,具体的过程如下:1.划分训练数据集为两个不相交的集合.2. 在第一个集合上训练多个学习器.3. 在第二个集合上测试这几个学习器4. 把第三步得到的预测结果作为输入,把正确的回

机器学习中的算法(1)-决策树模型组合之随机森林与GBDT

版权声明: 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系[email protected] 前言: 决策树这种算法有着很多良好的特性,比如说训练时间复杂度较低,预测的过程比较快速,模型容易展示(容易将得到的决策树做成图片展示出来)等.但是同时,单决策树又有一些不好的地方,比如说容易over-fitting,虽然有一些方法,如剪枝可以减少这种情况,但是还是不够的. 模型组合(比如

[转]浅谈协方差矩阵(牢记它的计算是不同维度之间的协方差,而不是不同样本之间。)

注意:方差就是方差:方差的平方就是方差的平方.有的时候以为方差就是方差的平方. cov11 = sum((dim1-mean(dim1)).*(dim1-mean(dim1)))/(size(MySample,1)-1) cov11 = 296.7222 >> std(dim1) ans = 17.2256 >> std(dim1).^2 ans = 296.7222 一.统计学的基本概念 统计学里最基本的概念就是样本的均值.方差.标准差.首先,我们给定一个含有n个样本的集合,下面