点估计及矩估计的一些理解

点估计指的是用样本统计量来估计总体参数,因为样本统计量为数轴上某一点值,估计的结果也以一个点的数值表示,所以称为点估计。在这个定义中,总体参数也即是总体分布的参数,一般我们在讨论总体分布的时候,只有在简单随机样本(样本独立同分布)情况下才有明确的意义,总体分布才能决定样本分布,所以下文样本中各随机变量均为独立同分布。在大数据中分析中,一般都假设样本是独立同分布的。

矩估计方法是点估计中的一种,其原理就是构造样本和总体的矩,然后用样本的矩去估计总体的矩。设有样本而k为自然数,则样本矩做如下定义

其中称为k阶样本原点矩称为k阶样本中心距为样本均值。可以由样本计算得到确定的值。接下来再构造总体的矩。在使用矩估计方法时,一般要求知道总体的分布类型,这样才能构造包含待估参数的矩。

当总体为连续分布时,设为总体分布的概率密度函数,为总体分布中的待估参数(假设此处总体分布中只有一个待估参数),则总体的k阶原点矩、k阶中心距分别定义为如下形式

当总体为离散分布时,设时的概率,则总体的k阶原点矩、k阶中心距分别定义为如下形式

在用样本矩估计总体矩时,我们还需要知道样本矩对总体矩而言是无偏估计,还是非无偏估计,这样有助于我们把握估计偏差,下面以样本一阶原点矩、二阶中心矩为例来估计总体的一阶原点矩,观察它们是否为无偏估计

可以看到,样本一阶原点矩为总体的一阶原点矩的无偏估计,再看二阶中心矩的估计

下面分别就项和项进行计算

                                     

                                                                                                                       

因此可得

                                                                 (1)

样本统计量的方差

可得

由于,且样本中各变量为独立同分布,所以

这样就得到

                                                                                     (2)

由式(1)和式(2),可以得到

可以看到,样本的二阶中心矩并非总体的二阶中心矩的无偏估计,但是我们可以采用因子来调整这个估计偏差,但一般在应用上不去做调整而是容忍一些偏差存在,在n较大时,这个偏差对于应用无损。

以上的内容只是计算过程推导,而我们更应该关注的是这些矩在实际应用中表示的是什么含义,这更有助于我们分析问题。依据总体的k阶原点矩和中心距,还可以定义以下参数,它们能反应总体分布的一些特征

偏度(Skewness):,反映总体分布的“非对称性”或“偏倚性”

峰度(Kurtosis)    :  ,反映总体分布陡峭或平滑的程度

原文地址:https://www.cnblogs.com/hgz-dm/p/10292943.html

时间: 2024-11-08 23:56:37

点估计及矩估计的一些理解的相关文章

数据流基本问题--矩估计

在前面我们谈到了独立元素计数的问题.在本文中,我们将独立元素计数问题推广到更一般的问题,也就是矩估计问题.我们将先介绍矩的定义,然后介绍一个无偏的估计方法,最后介绍如何改进结果.这里还是讨论内存容量不够的情况. 一.矩估计 如果一个数据流,其中m为数据流的大小,.我们可以定义每个元素 出现的次数为,其中为第i个元素出现的次数.则流的k阶矩(k-th moment)是所有出现次数取k次方的和. 下面我们看看k的一些特殊取值. 1.如果k=0时,,所以0阶矩就是数据流中独立元素数目,我们可以使用前面

参数估计(一) 点估计之矩估计法(1)

在数理统计中,我们见过的总体X一般都是未知的. 即便根据以往的经验和数据,知道X服从那类分布,其数字特征(如数学期望.方差.矩)也是未知的. 这些未知的数字特征以及含在总体X中的未知数称为未知参数(简称参数). 为了估计未知函数的真值或者所在区间,就要从总体X中抽取样本,然后用样本构造某种统计量,来估计未知参数的值或其范围.这种方法就叫做参数估计. 点估计就是根据样本构造的一个统计量(称为估计量)来估计总体的真实参数值(参数真值).比如辛钦大数定理,设X1,X2,?是独立同分布的随机变量序列,且

矩估计

首先,我们要先理解原点矩的概念,一阶原点矩就是随机变量的X期望EX,k阶原点矩EXk就是随机变量X的k次方的期望(注意不是期望的平方).其实EXk也可以看做E(X-0)k,这其实就已解释了为什么叫原点矩,而E(X-Xpj)k,其中Xpf表示平均值,那么这就是k阶中心矩:如果k=2,那么E(X-Xpj)2=∑(Xi-Xpj)2/n不就是方差的表示嘛. 参数估计通俗的讲就是使用样本值来估计总体分布的分布函数中的未知的参数. 样本的k阶原点矩收敛于EXk.于是,我们就可以用样本的原点矩来估计总体原点矩

如何通俗的理解极大似然估计

我昨天晚上买了一罐八宝粥 在里面找了半天桂圆 一般一罐八宝粥是有一颗桂圆的 我们现在可以通过数这一罐八宝粥中的各种原料的颗数 来推测 厂家在生产的时候的 原料的配比 这里的理论依据是就是极大似然估计 似然 是 像这个样子的意思 极大似然估计,通俗理解来说,就是利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果(我手中的八宝粥)出现的模型参数值(厂家原料配比)! 换句话说,极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:"模型已定,参数未知". 原文地址:ht

估计理论—从经典到贝叶斯

本文内容主要参考Steven M.Kay的<统计信号处理基础——估计与检测理论>,该书中译本分类为“国外电子与通信教材系列”,应该会有一定局限性.本文是我看过该书后的一点点总结. 1.从最大似然估计看经典估计理论 最大似然估计(Maximum Likelihood Estimation,MLE)是一种很经典的估计方法.顾名思义,就是最大化似然函数的一种估计方法.似然函数(Likelihood function),即(其中$\theta$代表估计量,$X$代表观察值). 对于不同的问题,似然函数

通俗理解T检验与F检验的区别

声明:此文内容来源于网络,本文只作用个性化标注和解释说明. 1.T检验和F检验的由来    一般而言,为了确定从样本(sample)统计结果推论至总体时所犯错的概率,我们会利用统计学家所开发的一些统计方法,进行统计检定.    通过把所得到的统计检定值[1],与统计学家建立了一些随机变量的概率分布(probability distribution)进行比较,我们可以知道在多少%的机会下会得到目前的结果.倘若经比较后发现,出现这结果的机率很少,亦即是说,是在机会很少.很罕有的情况下才出现:那我们便

极大既然估计和高斯分布推导最小二乘、LASSO、Ridge回归

最小二乘法可以从Cost/Loss function角度去想,这是统计(机器)学习里面一个重要概念,一般建立模型就是让loss function最小,而最小二乘法可以认为是 loss function = (y_hat -y )^2的一个特例,类似的像各位说的还可以用各种距离度量来作为loss function而不仅仅是欧氏距离.所以loss function可以说是一种更一般化的说法. 最大似然估计是从概率角度来想这个问题,直观理解,似然函数在给定参数的条件下就是观测到一组数据realizat

S&amp;p_12_参数点估计

1. 参数估计(点估计):样本信息已知,对总体分布和参数做出估计.方法有:矩估计,最大似然估计,最小二乘估计. 2. 矩估计:用样本的k阶原点矩替代总体的k阶原点矩,这样得到的位置参数θ的估计量称为θ的矩估计量 3. 极大似然估计:参数的极大似然估计就是在参数空间中找到一个最恰当的值,就目前的样本空间来说,这个值做为该参数的估计是最为恰当的.求解:建立似然函数(似然函数L(Θ) = 所有样本的联合密度函数∏fx(xi:Θ),乘积展开,做对数变换,求导数得到极大值. 似然函数为样本发生的概率为 L

深入理解面向对象的三大基本特征

我们都知道面向对象有三个基本特征:封装,多态和继承. 封装: 我先来援引一 位网友写的段子:基本的变量已经不再浮游于一大段一大段的程序中了,它们已经放弃了(其实是程序员不用这种方式了)这种自由自在的存在方式,而是安稳的寄 居于庞大而蹒跚的“对象”内部,与外界隔开来,通过迂回曲折的间接途径与外部世界联系和通信.而这些对象,就是它们这些基本变量的生存机器! 在面向过程的开发中,变量被暴露在整个程序中,不小心的一个修改就可能导致整个程序出错. 所以封装有利于我们让自己的程序更健壮.这个大家很好理解.