【概率论与数理统计】假设检验

一、基本概念

假设检验和参数估计解决的是不同的问题,参数估计是对参数$\theta$作出一个估计比如均值为$\mu$,而假设检验则是对估计的检验,比如均值真的是$\mu$嘛?

1. 定义

假设检验指的是使用统计学的方法判定某假设为真的概率. 通常假设检验包含以下四个步骤:

1.1 形成零假设null hypothesis $H_0$和备择假设alternative hypothesis$H_a$

1.2 确定可以用来判断零假设真假的检验统计参数(test statistic)

1.3 计算P-value,P-value代表着null hypothesis为真的概率,P值越小,零假设为真可能性越小,备择假设为真的可能性越大.

1.4 将P-value和接受阈值比较,如果$p<\alpha$ 则具有统计显著性,零假设被排除,则备假设为真.

注:零假设也常称原假设,备择假设(抛弃原假设之后可以选择的假设)也常称原假设

2. 检验统计量,接受域,否定域,临界域,临界值

3.功效函数

假设总体分布包含若干个未知参数$\theta_1,...,\theta_k.H_0$是关于这些参数的一个原假设,设有了样本$X_1,...X_n$,而$\phi$是基于这些样本对$H_0$作的检验则$\phi$功效函数为

$\beta_\phi(\theta_1,...\theta_k) = P\theta_1,...,\theta_k(在检验\phi之下,H_0被否定)$

4. 两类错误、检验的水平

5. 一致最优检验

它是未知参数$\theta_1,...,\theta_k$的函数,当某一特定参数值使得$H_0$成立我们希望功效函数尽量小,当都已特定参数值使得备择假设$H_1$成立我们希望功效函数尽量大(否定零假设)

4. 两类错误

第一类错误:H_0正确被否定;第二类错误H_1错误,被接受

若$\theta_1,...\theta_k$ 记为总体分布的参数, $\beta_\phi(\theta_1,...\theta_k)记检验\phi$的功效函数,则犯第一类,第二列错误的概率为

举例:

假设我们投掷一个四面体的骰子(1,2,3,4)1000次,290次观察到4. 接下来我们判定这个结果是否是有偏的biased(骰子是否公正).

1. 此问题中如果骰子没有任何问题: 我们的null hypothesis为$H_0:p = 0.25$

2. 为了证明$H_0$真假,我们接下来要收集evidence来支持或者否定null hypothesis.在此次实验中我们收集到的evidence为$\hat{p} = \frac{y}{n} = 0.29$.

3. 这一步使用我们evidence来决定是否应该支持/否定(或者说以多大的概率)1中的$H_0$

根据中心极限定理样本比例:$\hat{p} = \frac{Y}{n}$近似为均值$\mu = 0.25$, 标准差$\sigma = \sqrt{\frac{p_0(1-p_0)}{n}} = 0.01369$

那么:

$$Z = \frac{\hat{p}-p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}}$$

Z服从$N(0,1)$的正态分布

至此我们可以通过正态分布判断接受$\hat{p} = 0.29$为unbiased的结果的错误概率有多大。

二、重要参数检验

1.  正态总体均值检验

1.1. 方差$\sigma^2$已知

1.2. 方差$\sigma^2$未知

时间: 2024-11-22 21:50:52

【概率论与数理统计】假设检验的相关文章

【概率论与数理统计】小结10-1 - 假设检验概述

注:终于写到最激动人心的部分了.假设检验应该是统计学中应用最广泛的数据分析方法,其中像"P值"."t检验"."F检验"这些如雷贯耳的名词都来自假设检验这一部分.我自己刚开进入生物信息学领域,用的最多的就是"利用t检验来判断某个基因在实验组和对照组中表达量的差异是否显著".此外,对"P值"真正含义的探究也开启了自学概率论与数理统计之路.因此无论是应用价值,还是对我学习统计学的影响,这部分的内容都是意义非凡的.

【概率论与数理统计】小结1 - 基本概念

注:其实从中学就开始学习统计学了,最早的写"正"字唱票(相当于寻找众数),就是一种统计分析的过程.还有画直方图,求平均值,找中位数等.自己在学校里并没有完整系统的学习过概率论和数理统计,直到在工作中用到,才从最初的印象中,逐渐把这门学科与整个数学区分开来.自从认识到这门学科在自己从事的工作(数据分析)中所处的重要地位,真没少花时间在这方面的学习上.从最初的p值的含义,到各种分布,假设检验,方差分析...有的概念看过很多遍,但还是没有理解透彻:有的看过,长时间不用,又忘记了.总之,这一路

概率论与数理统计学习笔记

第一章 随机事件与概率 第二章 随机变量及其分布 第三章 多维随机变量及其分布 第四章 大数定律与中心极限定理 第五章 统计量及其分布 第六章 参数估计 第七章 假设检验 第八章 方差分析与回归分析 第一章 随机事件与概率 1.1随机事件及其运算 概率论与数理统计研究的对象是随机现象. 概率论是研究随机现象的模型(即概率分布),数理统计是研究随机现象的数据收集与处理. 随机现象: 在一定的条件下,并不总是出现相同结果的现象称为随机现象 样本空间:随机现象的一切可能基本结果组成的集合称为样本空间

【总目录】——概率论与数理统计及Python实现

注:这是一个横跨数年的任务,标题也可以叫做“从To Do List上划掉学习统计学”.在几年前为p值而苦恼的时候,还不知道Python是什么:后来接触过Python,就喜欢上了这门语言.统计作为数据科学的基础,想要从事这方面的工作,这始终是一个绕不过去的槛. 其实从中学就开始学习统计学了,最早的写"正"字唱票(相当于寻找众数),就是一种统计分析的过程.还有画直方图,求平均值,找中位数等.自己在学校里并没有完整系统的学习过概率论和数理统计,直到在工作中用到,才从最初的印象中,逐渐把这门学

【概率论与数理统计】小结9 - 参数估计概述

注:在统计学的应用中,参数估计和假设检验是最重要的两个方面.参数估计是利用样本的信息,对总体的未知参数做估计.是典型的“以偏概全”. 0. 参数及参数的估计 参数是总体分布中的参数,反映的是总体某方面特征的量.例如:合格率,均值,方差,中位数等.参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数. 问题的一般提法 设有一个统计总体,总体的分布函数为$F(x, \theta)$,其中$\theta$为未知参数.现从该总体取样本$X_1, X_2, ..., X_n$,要依

MATLAB中的概率论与数理统计

概率论与数理统计 产生随机数 binornd poissrnd exprnd unidrnd normrnd 概率密度函数(pdf) binopdf poisspdf geopdf unidpdf normpdf exppdf chi2pdf: 卡方分布 tpdf fpdf 数学期望与方差 mean nanmean geomean: 几何平均数 harmmean: 调和平均数 median: 中位数 nammedian sort(x, 1, 'ascend') range: 求最大值与最小值的差

概率论与数理统计 第四版 课后习题答案 习题解析

<概率论与数理统计第四版>是普通高等教育“十一五”国家级规划教材,在2001年出版的概率论与数理统计(第三版)的基础上增订而成. 本次修订新增的内容有:在数理统计中应用Excel,bootstrap方法,P值检验法,箱线图等:同时吸收了国内外优秀教材的优点对习题的类型和数量进行了渊整和充实. 获取方式见文末 概率论与数理统计(第四版) 课后习题解析 第1章 概率论的基本概念课后习题答案 第2章 随机变量及其分布课后习题 第3章 多维随机变量及其分布课后习题 第4章 随机变量的数字特征课后习题

【概率论与数理统计】小结2 - 随机变量概述

注:对随机变量及其取值规律的研究是概率论的核心内容.在上一个小结中,总结了随机变量的概念以及随机变量与事件的联系.这个小结会更加深入的讨论随机变量. 随机变量与事件 随机变量的本质是一种函数(映射关系),在古典概率模型中,“事件和事件的概率”是核心概念:但是在现代概率论中,“随机变量及其取值规律”是核心概念. 随机变量与事件的联系与区别 小结1中对这两个概念的联系进行了非常详细的描述.随机变量实际上只是事件的另一种表达方式,这种表达方式更加形式化和符号化,也更加便于理解以及进行逻辑运算.不同的事

【概率论与数理统计】小结3 - 一维离散型随机变量及其Python实现

注:上一小节对随机变量做了一个概述,这一节主要记录一维离散型随机变量以及关于它们的一些性质.对于概率论与数理统计方面的计算及可视化,主要的Python包有scipy, numpy和matplotlib等. 以下所有Python代码示例,均默认已经导入上面的这几个包,导入代码如下: import numpy as np from scipy import stats import matplotlib.pyplot as plt 0.  Python中调用一个分布函数的步骤 scipy是Pytho

概率论与数理统计图解.tex

\documentclass[UTF8,a1paper,landscape]{ctexart} \usepackage{tikz} \usepackage{amsmath} \usepackage{amssymb} \usepackage{geometry} \geometry{top=5cm,bottom=5cm,left=5cm,right=5cm} \usepackage{fancyhdr} \pagestyle{fancy} \begin{document} \title{\Huge 概