多分类器

Multiclass Classification: One-vs-all

Now we will approach the classification of data when we have more than two categories. Instead of y = {0,1} we will expand our definition so that y = {0,1...n}.

Since y = {0,1...n}, we divide our problem into n+1 (+1 because the index starts at 0) binary classification problems; in each one, we predict the probability that ‘y‘ is a member of one of our classes.

y∈{0,1...n}h(0)θ(x)=P(y=0|x;θ)h(1)θ(x)=P(y=1|x;θ)?h(n)θ(x)=P(y=n|x;θ)prediction=maxi(h(i)θ(x))

We are basically choosing one class and then lumping all the others into a single second class. We do this repeatedly, applying binary logistic regression to each case, and then use the hypothesis that returned the highest value as our prediction.

The following image shows how one could classify 3 classes:

To summarize:

Train a logistic regression classifier hθ(x) for each class? to predict the probability that ? ?y = i? ?.

To make a prediction on a new x, pick the class ?that maximizes hθ(x)

时间: 2024-10-08 02:10:43

多分类器的相关文章

基于单分类器的高分辨率遥感影像道路提取

本人硕士阶段做了很久的高分辨率遥感影像道路提取,颇有心得,在此,本人将最新的研究成果进行开源... 大家都知道,传统的基于机器学习的分类方法通常需要正负样本的同时参与,才能得到目标类,但是负样本的勾选,通常很困难,也非常难获得,根据文献- <Elkan, Charles, and Keith Noto. "Learning classifiers from only positive and unlabeled data." Proceedings of the 14th ACM

Naive Bayesian文本分类器

贝叶斯学习方法中实用性很高的一种为朴素贝叶斯学习期,常被称为朴素贝叶斯分类器.在某些领域中与神经网络和决策树学习相当.虽然朴素贝叶斯分类器忽略单词间的依赖关系,即假设所有单词是条件独立的,但朴素贝叶斯分类在实际应用中有很出色的表现. 朴素贝叶斯文本分类算法伪代码: 朴素贝叶斯文本分类算法流程: 通过计算训练集中每个类别的概率与不同类别下每个单词的概率,然后利用朴素贝叶斯公式计算新文档被分类为各个类别的概率,最终输出概率最大的类别. C++源码: /* Bayesian classifier fo

Opencv研读笔记:haartraining程序之cvCreateCARTClassifier函数详解(CART树状弱分类器创建)~

cvCreateCARTClassifier函数在haartraining程序中用于创建CART树状弱分类器,但一般只采用单一节点的CART分类器,即桩分类器,一个多节点的CART分类器训练耗时很多.根据自己的测试,要等差不多10分钟(2000正样本.2000负样本)才能训练完一个3节点的弱分类器,当然,总体的树状弱分类器的数目可能也会减少1/2.之所以将此函数拿出来说说,主要是因为在网上找不到针对这个函数的详细说明,同时,CART的应用十分广泛,自己也趁这个机会好好学学,把自己的一点理解分享给

分类器效果分析

假设有两个分类器A,B.A在1000个样本的集合上有75%的准确率:B在200个样本的集合上有85%的准确率.我们要怎样评价这两个分类器的效果? 这就是这里要讨论的分类器效果分析. 抛硬币的例子 硬币正面的概率为50%,那么做N次随机试验,也就是N次的伯努利试验.根据概率的知识,我们知道,正面硬币个数X满足B(0.5N,0.5*0.5*N)的伯努利分布. 再根据大数定理,假设N足够大,那么X满足N(0.5N,0,5*0,5*N)的正态分布. 准确率acc=X /N,我们可以得出acc的分布: a

使用gensim和sklearn搭建一个文本分类器(一):文档向量化

总的来讲,一个完整的文本分类器主要由两个阶段,或者说两个部分组成:一是将文本向量化,将一个字符串转化成向量形式:二是传统的分类器,包括线性分类器,SVM, 神经网络分类器等等. 之前看的THUCTC的技术栈是使用 tf-idf 来进行文本向量化,使用卡方校验(chi-square)来降低向量维度,使用liblinear(采用线性核的svm) 来进行分类.而这里所述的文本分类器,使用lsi (latent semantic analysis, 隐性语义分析) 来进行向量化, 不需要降维, 因为可以

级联分类器训练-----OpenCV

关键词:级联分类器.opencv_traincascade 下面简述操作过程: 准备正负样本:neg.pos 正负样本路径生成:dir /a/b>path.txt //path:pos or neg 正样本训练集生成:opencv_createsamples.exe -info pos\pos.txt -vec pos\pos.vec -num 799 -w 24 -h 24  pause 样本训练:opencv_traincascade.exe -data data -vec pos/pos.

用cart(分类回归树)作为弱分类器实现adaboost

在之前的决策树到集成学习里我们说了决策树和集成学习的基本概念(用了adaboost昨晚集成学习的例子),其后我们分别学习了决策树分类原理和adaboost原理和实现, 上两篇我们学习了cart(决策分类树),决策分类树也是决策树的一种,也是很强大的分类器,但是cart的深度太深,我们可以指定cart的深度使得cart变成强一点的弱分类器. 在决策树到集成学习我们提到,单棵复杂的决策树可以达到100%,而简单的集成学习只能有85%的正确率,下面我们尝试用强一点的弱分类器来看下集成学习的效果有没有提

级联分类器

级联分类器 cascade detector detector AdaBoost 读"P. Viola, M. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features[J].CVPR, 2001"笔记 论文的主要贡献点 提出积分图(Integral image)的概念.在该论文中作者使用的是Haar-like特征,然后使用积分图能够非常迅速的计算不同尺度上的Haar-like特征. 使用AdaBo

嵌入级联分类器

嵌入级联分类器 nested cascade detector detector AdaBoost Real AdaBoost 读"C. Huang, H. Ai, B. Wu, and S. Lao, 'Boosting Nested Cascade Detector for Multi-View Face Detection',ICPR, 2004,Vol II:415-418"笔记 论文主要贡献点 提出一种基于Haar 特征查找表的弱分类器,并使用Real Adaboost学习出

基于汉字字频特征实现99.99%准确率的新闻文本分类器(四)

基于汉字字频特征实现99.99%准确率的新闻文本分类器(一) 基于汉字字频特征实现99.99%准确率的新闻文本分类器(二) 基于汉字字频特征实现99.99%准确率的新闻文本分类器(三) 基于汉字字频特征实现99.99%准确率的新闻文本分类器(四) 回顾 上一节中,使用五层神经网络,对抽取出的汉字字频特征向量进行分类,得到了超过99%的准确率,在高准确率的前提下,没有陷入局部最优解,对一些在训练中,被指定了上千次不是军事类的新闻,只要内容是军事类的,就能被正确的找出,同样,混在军事类新闻里的[慈善