数据挖掘概况
什么是数据挖掘？
数据挖掘（Data mining，简称DM），是指从大量数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程。
数据挖掘是一门交叉学科，覆盖了统计学、数据可视化、算法、数据库、机器学习、市场营销和其他学科等知识。
数据挖掘与数据分析的区别：
| 项目 | 数据分析 | 数据挖掘 |
| 定义 | 根据分析目的，用适当的方法即工具，对收集的数据进行处理与分析，提取有价值的信息，发挥数据的作用 | 从大量数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程。 |
| 作用 | 现状分析、原因分析、预测分析 | 解决四类问题：分类、据类、关联、预测 |
| 方法 | 对比分析、分组分析、交叉分析、回归分析等 | 决策树、神经网络、关联规则、据类分析等 |
| 结果 | 指标统计量结果，如综合/平均值等 |
输出模型或规则 |
模型：定量模型：数学公式（Y=a*X) ； 定性模型：规则（年龄>30岁 and 收入> 1万元）
算法：实现数据挖掘技术、模型的具体步骤与方法。（最小二乘法、K均值法等）
数据挖掘常见问题：用户流失预测（分类）、促销活动响应（分类）、目标市场细分（聚类）、交叉销售提升（关联）、未来显示预测（预测）
分类问题：属于有监督学习，使用已知目标分类的历史样本来训练，需要对未知分类的样本预测所属的分类。
常见的分类算法：决策树、贝叶斯、KNN、支持向量机、神经网络、逻辑回归等。
聚类问题：属于无监督学习，根据物以类聚的思想将目标按一定规则进行分类。
常见的据类算法：划分聚类、层次聚类、密度聚类、网格聚类、基于模型聚类等。
关联问题：属于无监督学习，基于数据的项之间的关联，确定关联程度，识别有可能发生或频繁发生的模式（购物篮分析）。
常见的关联算法：Aprior算法、Carma算法、序列算法。
预测问题：属于有监督学习，需要已知目标值的历史样本作为训练模型，对位置的样本预测其目标值。（未来气温、GDP增长）
常见的预测算法：简单线性回归分析、多重线性回归分析、时间序列分析等。
数据挖掘流程
CRISP-DM数据挖掘方法论：商业理解—数据理解—数据准备—模型构建—模型评估—模型部署
商业理解：确定商业目标、确定挖掘目标、指定项目方案
数据理解：数据收集（数据需求/数据的重要程度/数据的提取情况）、数据描述（数据描述报告——了解数据均值/最大最小值/中值等）、数据探索（数据探索分析报告——绘制散点图/直方图，进行指标相关性分析等）、质量描述（对数据质量进行描述——摸清数据来源/真实性/是否满足建模需求）
数据准备：数据导入、抽取、清洗、合并、变量计算
模型构建：准备训练集和验证集、选择使用建模技术、建立模型、模型对比
模型评估：技术层面（设计对照组进行比较；评估指标：命中率、覆盖率、提升度等）；业务经验
模型部署：营销过程跟踪记录、观察模型衰退变化、引入新的特征优化模型、模型写成程序固化到平台。
原文地址：https://www.cnblogs.com/rix-yb/p/9623441.html