待处理数据的缺失和错误会极大地影响后续的数据分析，因：我们首先需要评估数据质量，进行诸如缺失值发现、极端值诊断、统计分布（样本数据的分布情况）观察和描述性统计（包括均值、方差、标准差、偏度、峰度等）等操作。
在本课节中，老师从北京市空气质量监测数据集入手，系统介绍以上知识点，帮助学员获得洞察数据的能力，包括：
- 数据质量评估
- 极端值诊断
- 统计分布
- 基本描述统计
截面数据（cross-section data）是指在同一时间（时期或时点）截面上反映一个总体的一批（或全部）个体的同一特征变量的观测值，是样本数据中的常见类型之一。例如，工业普查数据、人口普查数据、家庭收入调查数据。在数学，计量经济学中应用广泛。
监测站点：35个；
忽略时间上的差异：将供暖季120天的数据全部作为截面数据；
第一步：样本数据的描述统计；
剔除缺失数据：
横坐标：分组；纵坐标：频率；
曲线：概率密度曲线；
大部分都为样本分布；
对称分布/左偏分布/右偏分布：较低的线在哪边就是哪偏分布；
统计量刻画分布特征；
离差平方和：越大，离散程度越大；
极端值；
陡峭程度不同，也就是标准差不同时，面积不同：通过标准正态分布来计算——标准化处理；
标准正态分布：均值为0，标准差为1；
转为标准正态分布的目的：算面积；
任何一个正态分布，都可以转为标准正态分布；
SK：偏态系数；
大部分PM2.5值都在0-100之间；
红框框住的左边为下四分位数；
红框框住的为极端值；
对于非对称性分布：用1.5的四分位差的标准来算；
原文地址：https://www.cnblogs.com/momo798/p/11189365.html
时间： 2024-07-29 08:40:41