1.什么是数据挖掘
数据挖掘是在大型数据存储库中,自动地发现有用信息的过程。数据挖掘技术用来探查大型数据库,发现先前未知的有用模式。数据挖掘还可以预测未来观测结果。
VS 信息检索(information retrieval)
2.数据挖掘与知识发现
数据挖掘是数据库中知识发现(knowledge Discovery in database,KDD)不可缺少的一部分,而KDD是将未加工的数据转换为有用信息的整个过程。
3.数据挖掘任务
(1)预测任务
这些任务的目标是根据其他属性的值,预测特定属性的值。
(2)描述任务
其目标是导出概括数据中潜在联系的模式(相关、趋势、聚类、轨迹和异常)。本质上,描述性数据挖掘任务通常是探查性的,并且常常需要后处理技术验证和解释结果。
4.预测建模(predictive modeling)
涉及以说明变量函数的方式为目标变量建立模型。
有两类预测建模任务:
分类(classification),用于预测离散的目标变量。
回归(regression),用于预测连续的目标变量。
5.关联分析(association analysis)
用来发现描述数据中关联特征的模式。所发现的模式通常用蕴涵规则或特征子集的形式表示。由于搜索空间是指数规模的,关联分析的目标是以有效方式提取最有趣的模式。
6.聚类分析(cluster analysis)
旨在发现紧密相关的观测值组群,使得与属于不同簇的观测值相比,属于同一簇的观测值相互之间尽可能类似。聚类可用来对相关的顾客分组、找出显著影响地球气候的海洋区域以及压缩数据等。
7.异常检测(anomaly detection)
识别其特征显著不同于其他数据的观测值。这样的观测值称为异常点(anomaly)或离群点(outlier)。