准确性验证示例1:——基于三国志11数据库
数据准备:
挖掘模型:
依次为:Naive Bayes 算法、聚类分析算法、决策树算法、神经网络算法、逻辑回归算法、关联算法
提升图:
依次排名为:
1. 神经网络算法(92.69% 0.99)
2. 逻辑回归算法(92.39% 0.99)
3. 决策树算法(91.19% 0.98)
4. 关联算法(90.60% 0.98)
5. 聚类分析算法(89.25% 0.96)
6. Naive Bayes 算法(87.61 0.96)
Naive Bayes算法——分类矩阵
说明:
其他类的538个样本有482个预测正确,32个错分为军师类,24个错分为将军类,预测正确率为89.59%;
军师20个样本有13个预测正确,7个错分为其他类,预测正确率为65%;
将军112个样本有92个预测正确,16个错分为其他类,4个错分为军师类,预测正确率为82.14%。
聚类分析算法——分类矩阵
说明:
其他类的538个样本有536个预测正确,2个错分为将军类,预测正确率为99.63%;
军师20个样本有0个预测正确,20个错分为其他类,预测正确率为0%;
将军112个样本有62个预测正确,50个错分为其他类,预测正确率为55.36%。
决策树算法——分类矩阵
说明:
其他类的538个样本有538个预测正确,预测正确率为100%;
军师20个样本有0个预测正确,20个错分为其他类,预测正确率为0%;
将军112个样本有73个预测正确,39个错分为其他类,预测正确率为65.18%。
神经网络算法——分类矩阵
说明:
其他类的538个样本有524个预测正确,5个错分为军师类,9个错分为将军类,预测正确率为97.40%;
军师20个样本有5个预测正确,15个错分为其他类,预测正确率为25%;
将军112个样本有92个预测正确,20个错分为其他类,预测正确率为82.14%。
逻辑回归算法——分类矩阵
说明:
其他类的538个样本有526个预测正确,6个错分为军师类,6个错分为将军类,预测正确率为97.77%;
军师20个样本有5个预测正确,15个错分为其他类,预测正确率为25%;
将军112个样本有88个预测正确,24个错分为其他类,预测正确率为78.57%。
关联算法——分类矩阵
说明:
其他类的538个样本有519个预测正确,19个错分为军师类,预测正确率为96.47%;
军师20个样本有0个预测正确,20个错分为其他类,预测正确率为0%;
将军112个样本有88个预测正确,24个错分为其他类,预测正确率为78.57%。
分类矩阵——预测正确率汇总分析:
其他 |
军师 |
将军 |
|
神经网络算法 |
97.40% |
25% |
82.14% |
逻辑回归算法 |
97.77% |
25% |
78.57% |
决策树算法 |
100% |
0% |
65.18% |
关联算法 |
96.47% |
0% |
78.57% |
聚类分析算法 |
99.63% |
0% |
55.36% |
Naive Bayes 算法 |
89.59% |
65% |
82.14% |
可以看出Naive Bayes 算法在预测军师身份正确率最高,达到65%,决策树算法、关联算法、聚类分析算法为0%,神经网络算法、逻辑回归算法为25%;
决策树算法在预测其他身份正确率最高,达到100%;
神经网络算法、Naive Bayes 算法在预测将军身份正确率并列,达到82.14%。
准确性验证示例2:——基于个股数据
数据准备:
挖掘模型依次为:
StockClustering 聚类分析算法
StrockDecisionTrees 决策树算法
StockNeuralNetWork 神经网络算法
StockLogistic 逻辑回归算法
提升图:
依次排名为:
1. 逻辑回归算法(49.73% 0.52)
2. 神经网络算法(49.63% 0.53)
3. 聚类分析算法(48.13% 0.51)
4. 决策树算法(47.28% 0.50)
聚类分析算法——分类矩阵:
说明:
持平的114个样本有0个预测正确,91个错分为跌,23个错分为涨,预测正确率为0%;
跌的443个样本有340个预测正确,103个错分为涨,预测正确率为76.75%;
涨的380个样本有111个预测正确,269个错分为跌,预测正确率为29.21%。
决策树算法——分类矩阵:
说明:
持平的114个样本有0个预测正确,114个错分为跌,预测正确率为0%;
跌的443个样本有443个预测正确,预测正确率为100.00%;
涨的380个样本有0个预测正确,380个错分为跌,预测正确率为0%。
神经网络算法——分类矩阵:
说明:
持平的114个样本有0个预测正确,60个错分为跌,54个错分为涨,预测正确率为0%;
跌的443个样本有277个预测正确,166个错分为涨,预测正确率为62.53%;
涨的380个样本有188个预测正确,192个错分为跌,预测正确率为49.47%。
逻辑回归算法——分类矩阵:
说明:
持平的114个样本有0个预测正确,89个错分为跌,25个错分为涨,预测正确率为0%;
跌的443个样本有380个预测正确,63个错分为涨,预测正确率为85.78%;
涨的380个样本有86个预测正确,294个错分为跌,预测正确率为22.63%。
分类矩阵——预测正确率汇总分析:
|
持平 |
跌 |
涨 |
逻辑回归算法 |
0% |
85.78% |
22.63% |
神经网络算法 |
0% |
62.53% |
49.47% |
聚类分析算法 |
0% |
76.75% |
29.21% |
决策树算法 |
0% |
100.00% |
0% |