S&p_12_参数点估计

1. 参数估计(点估计):样本信息已知,对总体分布和参数做出估计。方法有:矩估计,最大似然估计,最小二乘估计

2. 矩估计:用样本的k阶原点矩替代总体的k阶原点矩,这样得到的位置参数θ的估计量称为θ的矩估计量

3. 极大似然估计参数的极大似然估计就是在参数空间中找到一个最恰当的值,就目前的样本空间来说,这个值做为该参数的估计是最为恰当的。求解:建立似然函数(似然函数L(Θ) = 所有样本的联合密度函数∏fx(xi:Θ),乘积展开,做对数变换,求导数得到极大值。

似然函数为样本发生的概率为 L(θ) = P {X1 = x1, · · · , Xn = xn} = ∏(i=1 - n) P {Xi = xi},即密度函数之和,即分布函数。

4. 线性回归最小二乘估计):

右图中,对于给定的变量x,变量Y可以取不同的值,取值有随机性,而且Y随x的增大有增大的线性趋势,这就是线性相关关系。

对随机变量Y取平均,即期望,能使随机性因素加权平均消掉。如果此时E(Y)等于μ(x),一旦知道函数μ(x),就可以从数量上掌握x与Y之间的大趋势。这就是一元线性回归处理相关关系的基本思想。

用直线来表示数据,表示为μ(x)=β01x。设Y轴方向的误差为ξ,样本数据可以表示为y=β01x+ξ。

函数Q(βi,βj)为观测点到直线的偏差的平方和,即误差ξi的平方和。ξ= Q(βi,βj)=( yi - (β+ β1xi))2 。对其β0与β1分别求导,所求的β0尖与β1尖,就是使得误差平方和最小的参数估计。并得到回归方程:y尖=β尖+ β1尖x

1. 参数估计(点估计)

总体的参数:是指确定总体分布的特定的数 θ

参数空间:总体分布中参数的取值范围 Θ,则 θ ∈ Θ。

泊松分布的参数是λ ;正态分布的参数是μ和σ;一般分布的Θ等,注意参数的取值范围。

参数估计就是讨论如何由样本 {X1, X2, · · · , Xn} 提供的信 息,对总体分布中的未知参数作出估计。

如图所示,不同的μ值将对应不同的分布,μ取1时对应这个分布是比较合适的。

但μ取1是不是最合适的呢?就要同过样本数据进行改进,就需要参数估计的方法包括矩估计法、极大似然法以及最小二乘法 等等

估计量与估计值

从样本 {X1, X2, · · · , Xn} 出发,

估计量:θˆ = θ(X1, X2, · · · , Xn)

估计值:θˆ = θ(x1, x2, · · · , xn)

区别:估计量是Xi的函数,是随机变量,有分布;而估计值xi仅仅只是一个数值。

如果一个抽样后,估计值与真实值相当接近,请问这个估计是不是一个好估计,能不能保证下一个抽样的估计值也与真实值相当估计。那要用什么来衡量这个估计好呢?

得用偏离程度来比较估计值的好坏,即比较方差

估计值在实际计算中,应用较多;而在统计研究中,我们更关注与估计量及其分布。

参数估计的呈现方式

点估计:一个估计点值来估计参数的估计。

点估计:θˆ = θ(X1, X2, · · · , Xn)

区间估计:用上下两个估计值形成一个区间来估计参数的估计。

区间估计:[θˆ1, θˆ2],其中

  θˆ1 = θˆ1(X1, X2, · · · , Xn) ,

  θˆ2 = θˆ2(X2, X2, · · · , Xn)

使得 P {θˆ1 < θ < θˆ2} = 1 − α

例如,考试完后,人家问你能考多少分,你说能考八九十分。这就是区间估计。

参数估计以分布类型确定为前提:参数估计仅仅只解决在同一分布类型中,选出最恰当的分布 来描述总体。当获得样本后,用什么样的分布类型来描述,这 实际上是作参数估计之前需要解决的问题。

我们常用样本的实际背景来确定总体的分布。比如,车流数据用泊松分布类,身高数据用正态分布类。

2. 矩估计 

 

1)在这题中,λ即可以表示为总体的一阶原点矩,所以我们可以用样本的一阶原点矩来替代这里的总体一阶原点矩。得到λ_hat=X_bar。

2)整理可得,P(x=0)=e=e-E(x),换句话说,即x=0得概率可以写成是总体原点矩得函数。那么我们用样本得一阶原点矩替代总体一阶原点矩,即可以得到X=0得概率得矩估计等于e-X_bar

总体得一阶原点矩与θ无关,那么我们就可以用总体得二阶原点矩

 

  

矩估计的优缺点

  优点: ① 方便,直观,简洁,明快

      ② 对E(X), D(X)作估计时,无需知道总体的分布类型

  缺点  ① 当总体的矩不存在时,矩法失效

      ② 矩估计是建立在大数定律上的,n 要求充分大

      ③ 仅用矩来进行统计推断,没有充分利用总体分布的信息

      ④ 矩估计结论不唯一

      ⑤ 矩估计结果可能不合理

3. 极大似然估计

极大:最大,最可能

似然:最恰当,最合理

参数有其自身的取值范围,称为参数空间。所谓参数的极大似然估计就是在参数空间中找到一个最恰当的值,就目前的样本空间来说,这个值做为该参数的估计是最为恰当的

 

 

A与B事件相互独立,所以P(B)=P{取黑球}2=1/16或9/16。

由于B事件的发生,使得P=3/4更似然一些,而且这次得到的结论比第一次要肯定的多。这是样本容量的增加,是可信度增强了

所以从引例中我们可以得知:参数取哪个使得样本发生的概率最大,那个值就称为参数的极大似然估计。

极大似然估计的一般步骤为

  • (1) 写出似然函数;
  • (2) 对似然函数取对数;
  • (3) 求导数;
  • (4) 解似然方程;
  • (5)判断最值点。 

 

 表达式的意思是样本发生的概率。在表达式中,xi和e是已知的,而参数λ是未知的。那么λ的不同会导致这个表达式的不同呢?

会的,于是我们可以把样本x1,x2,....,xn发生的概率用λ函数表达L(λ),记为似然函数,λ应该大于0。λ应该如何取值呢?

λ的值应该取为使得L(λ)最大的那个点。即求L(λ)的导数为0时,λ为最大值。

对数变换是单调增,不会改变原函数的极值点。 对数变换把乘积化为求和,和的导数运算就容易的多了。所以做对数运算是计算似然函数的主要方法。

注意:L(λ)函数的导数值只是极值,极大值仍需要用二阶导数来判断。二阶导数恒小于0,则λ的值为极大值

离散型分布中,似然函数为样本发生的概率为 L(θ) = P {X1 = x1, · · · , Xn = xn} = ∏(i=1 - n) P {Xi = xi},即密度函数之和,即分布函数。在由样本的独立性做乘法展开,从而求解似然函数的最大值点,来作为似然估计

连续型随机分布,是不是同样可行呢? P {X1 = x1, · · · , Xn = xn} = 0。可是连续型的随机变量在单点中发生的概率是0。理论上x与x‘发生的概率都为0,但由于f(x)密度函数,f(x) > f(x‘),我们知道点x比点x‘附近的可能性要大,如图所示。

同理,在 (X1, X2, · · · , Xn) 的联合分布中,样本点x1,x2...xn发生了,我们将采用样本点的联合密度函数( f(x1, x2, · · · , xn)  )来描述样本点附近发生的概率, 即密度函数之和,即分布函数

由似然法思想,在联合密度函数点 (x1, x2, · · · , xn) ∈ Rn 上的取值应最大。记联合密度函数为L(Θ): 为似然函数。则参数的极大似然估计 θˆ 应满足最大值: 

建立似然函数,乘积展开,在θ大于-1的参数空间中,我们需要找到似然函数的最大值点。做对数变换,在求导数找到极大值。

求解过程中,是基于样本点值xi来进行的。 即这里的似然解是一个估计值,但考虑到整个求解过程不受样本x1,x2,...,xn取值的不同而改变,所以将似然解一般化,记为Xi,成为估计量。

似然估计与矩估计表达式不同,代入样本后的数值也不同。

 

没有极值点,就考虑最值点。在端点处可取到最值点(单调增大或减少)。

极大似然估计的优缺点:

  优点: ① 利用了总体的分布信息

      ② 不要求总体矩一定存在

         ③ 对样本容量没有要求

  缺点:  ① 似然方程可能无解,需要讨论

       ② 似然方程可能非常复杂,只能求数值解获得估计值

5. 线性回归

5.1 变量与变量之间的关系:确定性关系和相关性关系

  • 确定性关系:当一个变量给定时,就确定另一个变量的值与之对应。如函数关系:圆的面积(S)与半径(R)之间的函数关系:S=∏R2
  • 相关性关系:当一个变量给定时,受影响的另一个变量的值不能完全 确定,而是在一定范围内变化。BMI:身高与体重的关系。

右图中,对于给定的变量x,变量Y可以取不同的值,取值有随机性,而且Y随x的增大有增大的线性趋势,这就是线性相关关系。

对随机变量Y取平均,将随机性因素加权平均消掉。如果此时E(Y)等于μ(x),一旦知道函数μ(x),就可以从数量上掌握x与Y之间的大趋势。这就是一元线性回归处理相关关系的基本思想。

5.2 建立一元线性回归模型:

将数据做散点图,在散点图中,我们发现26个数据点基本在一条直线上的,说明x与Y成线性相关关系。

用直线来表示数据,表示为μ(x)=β01x。设Y轴方向的误差为ξ,样本数据可以表示为y=β01x+ξ。

将此类问题抽象出来,给定n个样本点(xi,Yi),定义一元线性回归模型,其中为β0与β1未知的回归系数,ξ服从正态分布,ξi与ξj相互独立:

图中所示x与Y是线性相关,线性相关的直线应该是最接近所有观察点的直线,即Yi到这条直线的竖直距离最短。通常采用距离的平方和最小原则。由于平方运算也称为二乘运算,因此上述求最佳直线的方法也称为二乘最小法。

用最小二乘法所得到β0与β1估计记为β0尖与β1尖。我们称,y关于x的经验回归函数,简称为回归方程,其图形称为回归直线

样本点yi与回归直线上yi尖的竖直距离定义为残差,记为ei

根据最小二乘法思想,记函数Q(β0,β1)为观测点到直线的偏差的平方和,即误差ξi的平方和

则所求的β0尖与β1尖,就是使得误差平方和最小的参数估计。

  

利用excel中的数据分析功能:

计算结果得到:y=4.5516+0.7718x,说明可支配收入与支出的关系为两者成正相关性。当可支配收入增加1个单位,则平均消费支出增加0.7718个单位。

5.3 相关系数检验

左上的图,拟合直线效果不错,左下图,有异常点的存在导致直线整体上拉,右上图,样本点显曲线状,右下图,数据点显两点。后三种都不应该用直线拟合。

两个随机变量间的线性相关性进行检验:引入一个数量性指标来描述两个变量之间线性关系的密切程度。这个指标就是相关系数。

   =  

在图中,我们画出回归直线和直线y巴,选择第i个点,考虑纵坐标yi,yi尖和y巴的关系。yi与回归拟合点yi尖的距离称为残差,表示回归直线不能解释样本点的部分。回归拟合点yi尖到样本均值y巴的离差表示回归直线解释回归直线表示样本点的部分。两部分加在一起就是总的拟差。

总离差平方和(SST):表示因变量的n个观测值与其样本均值的总差

回归平方和(SSR):反映自变量的x的变化对因变量y取值变化的影响。

残差平方和(SSE):反映除x以外的其他因素对y取值的影响。

由于SSE总大于等于0,所以r2<=1. r的取值范围为[-1.1]。

r2 = SSR/SST,其中SST是不变的,r2表示变量x引起的变动占总变动的百分比,即x解释y所达到的百分比。

当|r|接近1,说明回归直线与样本观测值拟合程度越好,反之,当|r|接近0.,拟合程度越不理想。

 

原文地址:https://www.cnblogs.com/tlfox2006/p/11788483.html

时间: 2024-10-05 05:04:45

S&p_12_参数点估计的相关文章

概率论与数理统计图解.tex

\documentclass[UTF8,a1paper,landscape]{ctexart} \usepackage{tikz} \usepackage{amsmath} \usepackage{amssymb} \usepackage{geometry} \geometry{top=5cm,bottom=5cm,left=5cm,right=5cm} \usepackage{fancyhdr} \pagestyle{fancy} \begin{document} \title{\Huge 概

基础理论-极大似然

极大似然是什么?一时半会真的说不清,但是我们在日常生活中都用过这个理论. 比如我们要统计某省男女比例,不可能挨个统计,通常的作法是随机选N个人,看看这N个人的男女比例,就代表了整体的比例. 这就是极大似然.   官方解释 求未知参数点估计的一种重要方法.思路是设一随机试验在已知条件下,有若干个结果A,B,C,…,如果在一次试验中A发生了,则可认为在已知条件下最有利于A发生, 故应按照已知条件选择分布的参数,使发生A的概率最大. 通俗理解 1. 极大似然是用来求某种分布的参数的方法.那怎么求呢?

R语言混合时间预测更好的时间序列点估计

混合预测 - 单模型预测的平均值 - 通常用于产生比任何贡献预测模型更好的点估计.我展示了如何为混合预测构建预测区间,这种预测的覆盖范围比最常用的预测区间更准确(即80%的实际观测结果确实在80%置信区间内),在3,003 M3预测中进行了测试竞赛数据集. 预测间隔 预报员的问题是在预测组合中使用的预测间隔.预测间隔是与置信区间相似但不相同的概念.预测间隔是对尚未知但将在未来的某个点观察到的值(或更确切地说,可能值的范围)的估计.而置信区间是对基本上不可观察的参数的可能值范围的估计.预测间隔需要

参数估计(一) 点估计之矩估计法(1)

在数理统计中,我们见过的总体X一般都是未知的. 即便根据以往的经验和数据,知道X服从那类分布,其数字特征(如数学期望.方差.矩)也是未知的. 这些未知的数字特征以及含在总体X中的未知数称为未知参数(简称参数). 为了估计未知函数的真值或者所在区间,就要从总体X中抽取样本,然后用样本构造某种统计量,来估计未知参数的值或其范围.这种方法就叫做参数估计. 点估计就是根据样本构造的一个统计量(称为估计量)来估计总体的真实参数值(参数真值).比如辛钦大数定理,设X1,X2,?是独立同分布的随机变量序列,且

点估计及矩估计的一些理解

点估计指的是用样本统计量来估计总体参数,因为样本统计量为数轴上某一点值,估计的结果也以一个点的数值表示,所以称为点估计.在这个定义中,总体参数也即是总体分布的参数,一般我们在讨论总体分布的时候,只有在简单随机样本(样本独立同分布)情况下才有明确的意义,总体分布才能决定样本分布,所以下文样本中各随机变量均为独立同分布.在大数据中分析中,一般都假设样本是独立同分布的. 矩估计方法是点估计中的一种,其原理就是构造样本和总体的矩,然后用样本的矩去估计总体的矩.设有样本而k为自然数,则样本矩做如下定义 其

R语言做图plot参数

函数名称:plot 用       途:作图 用       法:plot(x, y, --) 参       数: 1.符号和线条 pch:指定绘制点所使用的符号,取值范围[0, 24],其中4是"差号",20是"点" cex:指定符号的大小.cex是一个数值,表示pch的倍数,默认是1.5倍 lty:指定线条类型.lty=1代表实线,2至6都是虚线,虚的程度不一样 lwd:指定线条宽度,默认值为lwd=1,可以适当修改1.5倍.2倍等 2.颜色 col:默认绘图

SpringMVC后台使用对象接受参数字符串转日期

在springMVC配置文件中加入: <bean id="dateConvert" class="com.iomp.util.DateConvert"/> <bean id="conversionService" class="org.springframework.format.support.FormattingConversionServiceFactoryBean"> <property

微信服务器与项目服务器的交互(关注功能、微信扫描带参数二维码)

<?php /** * wechat php test */ //define your token define("TOKEN", "txtj"); $wechatObj = new wechatCallbackapiTest(); if (isset($_GET['echostr'])) { $wechatObj->valid(); }else{ $wechatObj->responseMsg(); } class wechatCallback

20.27分发系统介绍;20.28expect脚本远程登录;20.29expect脚本远程执行命令;20.30expect脚本传递参数

20.27 分发系统介绍 shell项目-分发系统-expect 20.28 expect脚本远程登录 1. 安装expect [[email protected] ~]# yum install -y expect 自动远程登录 2. 创建配置1.expect脚本(远程登录) [[email protected] ~]# vim 1.expect 添加内容(自动远程登录hao2机器并执行命令) #! /usr/bin/expect set host "192.168.211.129"