《BI那点儿事》数据挖掘各类算法——准确性验证

准确性验证示例1:——基于三国志11数据库

数据准备:

挖掘模型:
依次为:Naive Bayes 算法、聚类分析算法、决策树算法、神经网络算法、逻辑回归算法、关联算法

提升图:

依次排名为:
1. 神经网络算法(92.69% 0.99)
2. 逻辑回归算法(92.39% 0.99)
3. 决策树算法(91.19% 0.98)
4. 关联算法(90.60% 0.98)
5. 聚类分析算法(89.25% 0.96)
6. Naive Bayes 算法(87.61 0.96)

Naive Bayes算法——分类矩阵

说明:
其他类的538个样本有482个预测正确,32个错分为军师类,24个错分为将军类,预测正确率为89.59%;
军师20个样本有13个预测正确,7个错分为其他类,预测正确率为65%;
将军112个样本有92个预测正确,16个错分为其他类,4个错分为军师类,预测正确率为82.14%。
聚类分析算法——分类矩阵

说明:
其他类的538个样本有536个预测正确,2个错分为将军类,预测正确率为99.63%;
军师20个样本有0个预测正确,20个错分为其他类,预测正确率为0%;
将军112个样本有62个预测正确,50个错分为其他类,预测正确率为55.36%。
决策树算法——分类矩阵

说明:
其他类的538个样本有538个预测正确,预测正确率为100%;
军师20个样本有0个预测正确,20个错分为其他类,预测正确率为0%;
将军112个样本有73个预测正确,39个错分为其他类,预测正确率为65.18%。
神经网络算法——分类矩阵

说明:
其他类的538个样本有524个预测正确,5个错分为军师类,9个错分为将军类,预测正确率为97.40%;
军师20个样本有5个预测正确,15个错分为其他类,预测正确率为25%;
将军112个样本有92个预测正确,20个错分为其他类,预测正确率为82.14%。
逻辑回归算法——分类矩阵

说明:
其他类的538个样本有526个预测正确,6个错分为军师类,6个错分为将军类,预测正确率为97.77%;
军师20个样本有5个预测正确,15个错分为其他类,预测正确率为25%;
将军112个样本有88个预测正确,24个错分为其他类,预测正确率为78.57%。
关联算法——分类矩阵

说明:
其他类的538个样本有519个预测正确,19个错分为军师类,预测正确率为96.47%;
军师20个样本有0个预测正确,20个错分为其他类,预测正确率为0%;
将军112个样本有88个预测正确,24个错分为其他类,预测正确率为78.57%。
分类矩阵——预测正确率汇总分析:


其他


军师


将军


神经网络算法


97.40%


25%


82.14%


逻辑回归算法


97.77%


25%


78.57%


决策树算法


100%


0%


65.18%


关联算法


96.47%


0%


78.57%


聚类分析算法


99.63%


0%


55.36%


Naive Bayes 算法


89.59%


65%


82.14%

可以看出Naive Bayes 算法在预测军师身份正确率最高,达到65%,决策树算法、关联算法、聚类分析算法为0%,神经网络算法、逻辑回归算法为25%;
决策树算法在预测其他身份正确率最高,达到100%;
神经网络算法、Naive Bayes 算法在预测将军身份正确率并列,达到82.14%。

准确性验证示例2:——基于个股数据
数据准备:

挖掘模型依次为:
StockClustering 聚类分析算法
StrockDecisionTrees 决策树算法
StockNeuralNetWork 神经网络算法
StockLogistic 逻辑回归算法

提升图:

依次排名为:
1. 逻辑回归算法(49.73% 0.52)
2. 神经网络算法(49.63% 0.53)
3. 聚类分析算法(48.13% 0.51)
4. 决策树算法(47.28% 0.50)
聚类分析算法——分类矩阵:

说明:
持平的114个样本有0个预测正确,91个错分为跌,23个错分为涨,预测正确率为0%;
跌的443个样本有340个预测正确,103个错分为涨,预测正确率为76.75%;
涨的380个样本有111个预测正确,269个错分为跌,预测正确率为29.21%。

决策树算法——分类矩阵:

说明:
持平的114个样本有0个预测正确,114个错分为跌,预测正确率为0%;
跌的443个样本有443个预测正确,预测正确率为100.00%;
涨的380个样本有0个预测正确,380个错分为跌,预测正确率为0%。

神经网络算法——分类矩阵:

说明:
持平的114个样本有0个预测正确,60个错分为跌,54个错分为涨,预测正确率为0%;
跌的443个样本有277个预测正确,166个错分为涨,预测正确率为62.53%;
涨的380个样本有188个预测正确,192个错分为跌,预测正确率为49.47%。

逻辑回归算法——分类矩阵:

说明:
持平的114个样本有0个预测正确,89个错分为跌,25个错分为涨,预测正确率为0%;
跌的443个样本有380个预测正确,63个错分为涨,预测正确率为85.78%;
涨的380个样本有86个预测正确,294个错分为跌,预测正确率为22.63%。

分类矩阵——预测正确率汇总分析:


 


持平




逻辑回归算法


0%


85.78%


22.63%


神经网络算法


0%


62.53%


49.47%


聚类分析算法


0%


76.75%


29.21%


决策树算法


0%


100.00%


0%

时间: 2024-10-15 02:03:46

《BI那点儿事》数据挖掘各类算法——准确性验证的相关文章

《BI那点儿事—数据的艺术》目录索引

转自:http://www.cnblogs.com/Bobby0322/p/4052495.html 原创·<BI那点儿事—数据的艺术>教程免费发布 各位园友,大家好,我是Bobby,在学习BI和开发的项目的过程中有一些感悟和想法,整理和编写了一些学习资料,本来只是内部学习使用,但为了方便更多的BI开发者,推动BI企业级应用开发,决定整理成一部教程,并在网络上免费发布该教程,希望为BI时代贡献绵薄之力! 本教程是由Bobby参考官方文档,综合市面相关书籍,经过充分的吸收消化,结合开发实践的而创

《BI那点儿事》Microsoft 神经网络算法

原文:<BI那点儿事>Microsoft 神经网络算法 Microsoft神经网络是迄今为止最强大.最复杂的算法.要想知道它有多复杂,请看SQL Server联机丛书对该算法的说明:“这个算法通过建立多层感知神经元网络,建立分类和回归挖掘模型.与Microsoft决策树算法类似,在给定了可预测属性的每个状态时, Microsoft神经网络算法计算输入属性每个可能状态的概率.然后可以用这些概率根据输入属性预测被预测属性的输出.”什么时候用这个算法呢?推荐在其他算法无法得出有意义的结果时再用,如提

《BI那点儿事》数据挖掘的主要方法

原文:<BI那点儿事>数据挖掘的主要方法 一.回归分析目的:设法找出变量间的依存(数量)关系, 用函数关系式表达出来.所谓回归分析法,是在掌握大量观察数据的基础上,利用数理统计方法建立因变量与自变量之间的回归关系函数表达式(称回归方程式).回归分析中,当研究的因果关系只涉及因变量和一个自变量时,叫做一元回归分析:当研究的因果关系涉及因变量和两个或两个以上自变量时,叫做多元回归分析.此外,回归分析中,又依据描述自变量与因变量之间因果关系的函数表达式是线性的还是非线性的,分为线性回归分析和非线性回

《BI那点儿事》浅析十三种常用的数据挖掘的技术

原文:<BI那点儿事>浅析十三种常用的数据挖掘的技术 一.前沿 数据挖掘就是从大量的.不完全的.有噪声的.模糊的.随机的数据中,提取隐含在其中的.人们事先不知道的但又是潜在有用的信息和知识的过程.数据挖掘的任务是从数据集中发现模式,可以发现的模式有很多种,按功能可以分为两大类:预测性(Predictive)模式和描述性(Descriptive)模式.在应用中往往根据模式的实际作用细分为以下几种:分类,估值,预测,相关性分析,序列,时间序列,描述和可视化等. 数据挖掘涉及的学科领域和技术很多,有

《BI那点儿事》Microsoft 线性回归算法

原文:<BI那点儿事>Microsoft 线性回归算法 Microsoft 线性回归算法是 Microsoft 决策树算法的一种变体,有助于计算依赖变量和独立变量之间的线性关系,然后使用该关系进行预测.该关系采用的表示形式是最能代表数据序列的线的公式.例如,以下关系图中的线是数据最可能的线性表示形式. 关系图中的每个数据点都有一个与该数据点与回归线之间距离关联的错误.回归方程式中的系数 a 和 b 可以调整回归线的角度和位置.可以对 a 和 b 进行调整,直到与所有点都关联的错误总数达到最低值

《BI那点儿事》Microsoft 顺序分析和聚类分析算法

原文:<BI那点儿事>Microsoft 顺序分析和聚类分析算法 Microsoft 顺序分析和聚类分析算法是由 Microsoft SQL Server Analysis Services 提供的一种顺序分析算法.您可以使用该算法来研究包含可通过下面的路径或“顺序”链接到的事件的数据.该算法通过对相同的顺序进行分组或分类来查找最常见的顺序.下面是一些顺序示例: 用来说明用户在导航或浏览网站时产生的点击路径的数据. 用来说明客户将商品添加到在线零售商的购物车中的顺序的数据. 该算法在许多方面都

《BI那点儿事》META DATA(元数据)

原文:<BI那点儿事>META DATA(元数据) 关于数据仓库的数据,指在数据仓库建设过程中所产生的有关数据源定义,目标定义,转换规则等相关的关键数据.同时元数据还包含关于数据含义的商业信息,所有这些信息都应当妥善保存,并很好地管理.为数据仓库的发展和使用提供方便.关于数据的数据,用于构造.维持.管理.和使用数据仓库,在数据仓库中尤为重要.不同 OLAP 组件中的数据和应用程序的结构模型.元数据描述 OLTP 数据库中的表.数据仓库和数据集市中的多维数据集这类对象,还记录哪些应用程序引用不同

BI工具怎么做数据挖掘?

大数据价值的体现离不开数据挖掘,它的主要目的是从各种各样的数据来源中,提取出隐藏的信息,然后将这些信息合并发现其内在关系.数据挖掘任务除了专门的一些工具外,实际上BI工具也可以进行数据挖掘,市面上的一些BI工具不单单是数据分析工具,而且内置了很多模型算法,无需分析人员自己建模就可以完成数据挖掘,探索数据之间的关系.文章主要围绕数据挖掘方法和BI工具做数据挖掘的实例进行讲解. 数据挖掘的主要方法数据挖掘分为有指导的数据挖掘和无指导的数据挖掘.有指导的数据挖掘是利用可用的数据建立一个模型,这个模型是

《BI那点儿事》数据流转换——百分比抽样、行抽样

原文:<BI那点儿事>数据流转换--百分比抽样.行抽样 百分比抽样和行抽样可以从数据源中随机选择一组数据.这两种task都可以产生两组输出,一组是随机选择的,另一组是没有被选择的.可以将这些选择出的数据发送到开发或者测试服务器上.这个Task的最合适的应用是建立数据挖掘模型然后,使用这些抽样数据来验证这个模型. 编辑这种task,选择要抽取的行数或者 百分比,如图.百分比抽样按百分比从数据源中随机选择数据,行抽样从数据源中随机选择具体的行数.可以对选中的数据和未被选择的数据命名.最后一个选择项