Model Evaluation

1. Confusion Matrix

Fact\Predict  Class A  Class B
Class A True Positive  False Negative
Class B False Positive   True Nagative

A confusion table for Class A

Positive/ Negative: if target class is A, then the predict A is Positve, Others are negative.

True (P/N): if Predict = Fact, then it‘s True.

2. Measures based on Confusion Matrix

a. Accuracy = TN+TP/ALL

　　comments: not good measure when data are unbalanced.

b. True Positive Rate/ recall/ sensitivity =  TP / TP + FN

　　comments: use it when Positive results are important

c. True Negative Rate =  TN / TN + FP

R for Confusion Matrix:

library(SDMTools)

confusion.matrix(svmmodel.truth,svmmodel.class)

3. ROC curve (bio-classification)

y: sensitivity

x: specificity

The bigger the Area of ROC is, the more accurate the model is.

时间： 2024-10-24 23:22:19

Model Evaluation的相关文章

scikit-learn：3.3. Model evaluation: quantifying the quality of predictions

參考:http://scikit-learn.org/stable/modules/model_evaluation.html#scoring-parameter 三种方法评估模型的预測质量: Estimator score method: Estimators都有 score method作为默认的评估标准,不属于本节内容.详细參考不同estimators的文档. Scoring parameter: Model-evaluation toolsusing cross-validation (

scikit-learn：3. Model selection and evaluation

参考:http://scikit-learn.org/stable/model_selection.html 有待翻译,敬请期待: 3.1. Cross-validation: evaluating estimator performance 3.1.1. Computing cross-validated metrics 3.1.1.1. Obtaining predictions by cross-validation 3.1.2. Cross validation iterators 3.

DeepLearning4j 实战——手写体数字识别GPU实现与性能比较

在之前的博客中已经用单机.Spark分布式两种训练的方式对深度神经网络进行训练,但其实DeepLearning4j也是支持多GPU训练的.这篇文章我就总结下用GPU来对DNN/CNN进行训练和评估过程.并且我会给出CPU.GPU和多卡GPU之前的性能比较图表.不过,由于重点在于说明Mnist数据集在GPU上训练的过程,所以对于一些环境的部署,比如Java环境和CUDA的安装就不再详细说明了. 软件环境的部署主要在于两个方面,一个是JDK的安装,另外一个是CUDA.目前最新版本的DeepLearn

用SQL玩转数据挖掘之MADlib（一）——安装

一.MADlib简介 MADlib是Pivotal公司与伯克利大学合作的一个开源机器学习库,提供了精确的数据并行实现.统计和机器学习方法对结构化和非结构化数据进行分析,主要目的是扩展数据库的分析能力,可以非常方便的加载到数据库中, 扩展数据库的分析功能,2015年7月MADlib成为Apache软件基金会的孵化项目,其最新版本为MADlib1.11,可以用在Greenplum.PostgreSQL和HAWQ等数据库系统中. 1. 设计思想 驱动MADlib架构的主要思想与Hadoop是一致的,主

七步精通Python机器学习 转

开始.这是最容易令人丧失斗志的两个字.迈出第一步通常最艰难.当可以选择的方向太多时,就更让人两腿发软了. 从哪里开始? 本文旨在通过七个步骤,使用全部免费的线上资料,帮助新人获取最基本的 Python 机器学习知识,直至成为博学的机器学习实践者.这篇概述的主要目的是带领读者接触众多免费的学习资源.这些资源有很多,但哪些是最好的?哪些相互补充?怎样的学习顺序才最好? 我假定本文的读者不是以下任何领域的专家: ?  机器学习 ?  Python ?  任何Python的机器学习.科学计算.数据分析库

3.2. Grid Search: Searching for estimator parameters

3.2. Grid Search: Searching for estimator parameters Parameters that are not directly learnt within estimators can be set by searching a parameter space for the best Cross-validation: evaluating estimator performance score. Typical examples include C

组合测试方法：配对测试实践

组合测试简介 组合测试(Combinatorial Test)是一种测试用例生成方法.它是将被测系统抽象出来的变量的取值进行组合并生成一组测试用例的过程,它将被测试应用抽象为一个受到多个因素影响的系统,其中每个因素的取值是离散且有限的.多因素(N- way,N>2)组合测试可以覆盖任意N个因素的所有取值组合,在理论上可以发现由N个因素共同作用引发的缺陷. 配对测试(pairwise)它可以根据你设定的条件,自动生成在测试效率和测试覆盖率之间做出平衡的组合,由于两因素组合 测试在测试用例个数和错误

scikit-learn：3.5. Validation curves: plotting scores to evaluate models

參考:http://scikit-learn.org/stable/modules/learning_curve.html estimator's generalization error can be decomposed in terms ofbias, variance and noise. The bias of an estimator is its average error for different training sets. The variance of an estima

Python (1) - 7 Steps to Mastering Machine Learning With Python

Step 1: Basic Python Skills install Anacondaincluding numpy, scikit-learn, and matplotlib Step 2: Foundational Machine Learning Skills Unofficial Andrew Ng course notes Tom Mitchell Machine Learning Lectures Step 3: Scientific Python Packages Overvie