算法模型的评估

一般对于算法模型的评估量有很多,常用到的是精确率和真正率(召回率)以及ROC曲线和PR曲线,之前也有提到,今天查找了一些资料对着四个评估量进行一个小总结。

  1、首先是对一些概念的理解

TP  真正  是指预测为正样本,实际也是正样本的特征数

FP  假正  是预测为为正样本,实际为负样本的特征数

TN  真负 是预测为为负样本,实际也是负样本的特征数

FN  假正  是预测为负样本,实际为正样本的特征数

  2、公式

真正率=TP/(TP+FN)     正确的被判断正的概率

准确率=TP/(TP+FP)     预测为正的样本中,实际为正的概率

负正率=FP/(FP+TN)

真负率=TN/(TN+FP)=1-真正率  错误的预测为负的概率  

  3、ROC曲线PR曲线

ROC曲线是以负正率为X轴,以真正率为Y轴得到的曲线,当真正率越高,负正率越低,这个模型或者算法就更有效。在图上显示的位曲线越靠近左上方效果越好,即曲线下方的面积越大,模型越好。

PR曲线是以真正率为X轴,以准确率为Y轴得到的曲线,当准确率越高,真正率越高,其模型和算法越有效。在图上显示为曲线越靠近右上方越好,即曲线下方面积越大,模型越好。

原文地址:https://www.cnblogs.com/RR-99/p/10421302.html

时间: 2024-11-13 04:31:59

算法模型的评估的相关文章

【NLP】蓦然回首:谈谈学习模型的评估系列文章(三)

基于NLP角度的模型评价方法 作者:白宁超 2016年7月19日19:04:51 摘要:写本文的初衷源于基于HMM模型序列标注的一个实验,实验完成之后,迫切想知道采用的序列标注模型的好坏,有哪些指标可以度量.于是,就产生了对这一专题进度学习总结,这样也便于其他人参考,节约大家的时间.本文依旧旨在简明扼要梳理出模型评估核心指标,重点达到实用.本文布局如下:第一章采用统计学习角度介绍什么是学习模型以及如何选择,因为现今的自然语言处理方面大都采用概率统计完成的,事实证明这也比规则的方法好.第二章采用基

机器学习:模型性能评估与参数调优

模型性能评估的常用指标 真阳性(True Positive,TP):指被分类器正确分类的正例数据 真阴性(True Negative,TN):指被分类器正确分类的负例数据 假阳性(False Positive,FP):被错误地标记为正例数据的负例数据 假阴性(False Negative,FN):被错误地标记为负例数据的正例数据 精确率=TP/(TP+FP),TP+FP是模型预测的正样本总数,精确率衡量的是准确性: 召回率=TP/(TP+FN),TP+FN是真实的正样本总数,召回率衡量的是覆盖率

模型优化评估

Basis Expansion 这个咋翻译呢, 线性扩充基? 无所谓其实, 这里主是用它来处理因变量 和 自变量 的非线性关系的 Basis Expansion 是指通过对数据进行转换来扩充或替换数据集的的特征. 我最初的数据分析工具是R语言嘛, 当时没有接触ML这些什么正则的概念, 就统计学理论. 在做线性模型的时候, 拟合的不是很好, 我当时真的就凭感觉, 给方程加上一些高阶项 然后就拟合得可以了. 不过呢,后来还是放弃了, 因为很难解释, 尤其是经管方面, 模型的参数的解释尤为重要 这点跟

分类模型的评估和模型选择与调优

模型的评估标准 准确率 estimator.score() 最常见,预测结果的正确百分比 混淆矩阵 在分类任务下,预测结果与正确标记之间存在四种不同的组合,构成了混淆矩阵(适用于多分类) 精确率 预测结果为正例样本中真实为正例的比例,也就是查得准 召回率 真实为正例的样本中预测结果为正例的比例,查的全,对正样本的区分能力 其他分类标准 F1-score , 反映了模型的稳健性.具体会在代码运行结果中会显示. 以上都是对模型评估的一个标准.一些基础. 分类模型的评估API sklearn.metr

2015lopdev生态联盟开发者大会:股市中的R语言量化算法模型

前言 记得10年前还在上学的时候,总是参加IBM的大会,看着各种新技术从实验室创造,特别地神奇.今天我也有机会站在了IBM大会的讲台上,给大家分享我所研究的R语言技术,对我来说也是一件非常有纪念意义的事情. 感谢IBM主办方的邀请,也真心希望有机会与IBM建立合作机会. 目录 我的演讲主题:股市中的R语言量化算法模型 会议体验和照片分享 整体文章:http://blog.fens.me/meeting-lopdev-20150922/

机器学习算法分类及其评估指标

机器学习的入门,我们需要的一些基本概念: 机器学习的定义 M.Mitchell<机器学习>中的定义是: 对于某类任务T和性能度量P,如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善,那么我们称这个计算机程序从经验E中学习. 算法分类 两张图片很好的总结了(机器学习)的算法分类: 评估指标 分类(Classification)算法指标: Accuracy准确率 Precision精确率 Recall召回率 F1 score 对于分类问题的结果可以用下表表示(说明:True或者False

2015WOT移动互联网开发者大会:股市中的R语言量化算法模型

前言 大会历时两天,以"洞察移动互联网用户行为 分享移动应用研发实践"为主题,共设立"架构与设计"."平台与技术"."MDSA创新与创业"."移动游戏"."算法分析"."HTML5专场"."运维安全"."新浪微博技术"等八大技术专场,并垂直整合了技术和体验,深度服务于参会者与讲师.同时,在内容上也深度结合了目前移动互联网环境,通

在PYTHON中使用TMTOOLKIT进行主题模型LDA评估

主题建模的英文一种在大量文档中查找抽象艺术主题艺术的方法.有了它,就有可能发现隐藏或"潜在"主题的混合,这些主题因给定语料库中的文档而异.一种作为监督无的机器学习方法,主题模型不容易评估,因为没有标记的"基础事实"数据可供比较.然而,由于主题建模通常需要预先定义一些参数(首先是要发现的主题?的数量),因此模型评估对于找到给定数据的"最佳"参数集是至关重要的. 概率LDA主题模型的评估方法 使用未标记的数据时,模型评估很难.这里描述的指标都试图用理

【算法模型】轻松看懂机器学习十大常用算法

[算法模型]轻松看懂机器学习十大常用算法 通过本篇文章大家可以对ML的常用算法形成常识性的认识.没有代码,没有复杂的理论推导,仅是图解,介绍这些算法是什么以及如何应用(例子主要是分类问题).以后有机会再对单个算法做深入地解析. 今天的算法如下: 决策树 随机森林算法 逻辑回归 SVM 朴素贝叶斯 K最近邻算法 K均值算法 Adaboost 算法 神经网络 马尔可夫 1. 决策树 根据一些 feature 进行分类,每个节点提一个问题,通过判断,将数据分为两类,再继续提问.这些问题是根据已有数据学