如何用softmax和sigmoid来做多类分类和多标签分类

首先,说下多类分类和多标签分类的区别

多标签分类: 一个样本可以属于多个类别(或标签),不同类之间是有关联的,比如一个文本被被划分成“人物”和“体育人物”两个标签。很显然这两个标签不是互斥的,而是有关联的
多类分类:  一个样本属于且只属于多个分类中的一个,一个样本只能属于一个类,不同类之间是互斥的,比如一个文本只能被划分成“人物”,或者被划分成“文化”,而不能同时被划分

成“人物”和“文化”,“文化”和“人物”这两个分类就是互斥的

那么,如何用softmax和sigmoid来做多类分类和多标签分类呢?

1、如何用softmax做多分类和多标签分类
       现假设,神经网络模型最后的输出是这样一个向量logits=[1,2,3,4], 就是神经网络最终的全连接的输出。这里假设总共有4个分类
   用softmax做多分类的方法:tf.argmax(tf.softmax(logits))

首先用softmax将logits转换成一个概率分布,然后取概率值最大的作为样本的分类这样看似乎,tf.argmax(logits)同样可以取得最大的值,也能

得到正确的样本分类,这样的话softmax似乎作用不大  那么softmax的主要作用其实是在计算交叉熵上,首先样本集中y是一个one-hot向量,

如果直接将模型输出logits和y来计算交叉熵,因为logits=[1,2,3,4],计算出来的交叉熵肯定很大,这种计算方式不对,而应该将logits转换成

一个概率分布后再来计算,就是用tf.softmax(logits)和y来计算交叉熵,当然我们也可以直接用tensorflow提供的方法sofmax_cross_entropy_with_logits

来计算这个方法传入的参数可以直接是logits,因为这个根据方法的名字可以看到,方法内部会将参数用softmax进行处理现在我们取的概率分布中

最大的作为最终的分类结果,这是多分类我们也可以取概率的top几个,作为最终的多个标签,或者设置一个阈值,并取大于概率阈值的。

这就用softmax实现了多标签分类

2、如何用sigmoid做多标签分类

sigmoid一般不用来做多类分类,而是用来做二分类的; 它是将一个标量数字转换到[0,1]之间,如果大于一个概率阈值(一般是0.5),

则认为属于某个类别,否则不属于某个类别。

那么如何用sigmoid来做多标签分类呢?

其实就是针对logits中每个分类计算的结果分别作用一个sigmoid分类器,分别判定样本是否属于某个类别。同样假设,神经网络模型最后的输出

是这样一个向量logits=[1,2,3,4], 就是神经网络最终的全连接的输出。这里假设总共有4个分类 tf.sigmoid(logits)sigmoid应该会将logits中每个数字

都变成[0,1]之间的概率值,假设结果为[0.01, 0.05, 0.4, 0.6],然后设置一个概率阈值,比如0.3,如果概率值大于0.3,则判定类别符合,那这里,

样本会被判定为类别3和类别4都符合。

参考:[如何用softmax和sigmoid来做多类分类和多标签分类](https://blog.csdn.net/u011734144/article/details/80915559)

原文地址:https://www.cnblogs.com/nxf-rabbit75/p/9956155.html

时间: 2024-10-13 03:21:36

如何用softmax和sigmoid来做多类分类和多标签分类的相关文章

几种分类问题的区别:多类分类,多标签分类,多示例学习,多任务学习

多类分类(Multiclass Classification) 一个样本属于且只属于多个类中的一个,一个样本只能属于一个类,不同类之间是互斥的. 典型方法: One-vs-All or One-vs.-rest: 将多类问题分成N个二类分类问题,训练N个二类分类器,对第i个类来说,所有属于第i个类的样本为正(positive)样本,其他样本为负(negative)样本,每个二类分类器将属于i类的样本从其他类中分离出来. one-vs-one or All-vs-All: 训练出N(N-1)个二类

Effective Java 第三版——23. 优先使用类层次而不是标签类

Tips <Effective Java, Third Edition>一书英文版已经出版,这本书的第二版想必很多人都读过,号称Java四大名著之一,不过第二版2009年出版,到现在已经将近8年的时间,但随着Java 6,7,8,甚至9的发布,Java语言发生了深刻的变化. 在这里第一时间翻译成中文版.供大家学习分享之用. 23. 优先使用类层次而不是标签类 有时你可能会碰到一个类,它的实例有两个或更多的风格,并且包含一个标签属性(tag field),表示实例的风格. 例如,考虑这个类,它可

Python接口测试实战4(下) - 框架完善:用例基类,用例标签,重新运行上次失败用例

如有任何学习问题,可以添加作者微信:lockingfree 课程目录 Python接口测试实战1(上)- 接口测试理论 Python接口测试实战1(下)- 接口测试工具的使用 Python接口测试实战2 - 使用Python发送请求 Python接口测试实战3(上)- Python操作数据库 Python接口测试实战3(下)- unittest测试框架 Python接口测试实战4(上) - 接口测试框架实战 Python接口测试实战4(下) - 框架完善:用例基类,用例标签,重新运行上次失败用例

Softmax与Sigmoid函数的联系

译自:http://willwolf.io/2017/04/19/deriving-the-softmax-from-first-principles/ 本文的原始目标是探索softmax函数与sigmoid函数的关系.事实上,两者的关系看起来已经是遥不可及:一个是分子中有指数!一个有求和!一个分母中有1!.当然,最重要的是两个的名称不一样. 推导一下,很快就可以意识到,两者的关系可以回溯到更为泛化的条件慨率原理的建模框架(back out into a more general modelin

教你如何用C++创建一个特殊的类

就语言而言,个人还是比较喜欢C++,尽管 C++有些语法方面确实比较深奥,但这些确实挡不住它在实际应用中不可被替代的位置. 开始谈今天的重点,如何定义一个特殊的C++类. 1.定义不可被继承的C++类 如何让一个类不能被继承呢?简单来说,我们希望达到的效果,就是如果继承这个类的话,编译直接报错. 实现这个类,我希望你提前了解过以下几个C++的简单语法:友元类.虚继承.这里我直接告诉你如何来定义,接下来我们讨论为什么. 第一步:定义一个空类A,显式给出构造和析构,构造和析构必须定义为private

如何用C语言封装 C++的类,在 C里面使用

本文给出了一种方法.基本思想是,写一个 wrapper文件,把 C++类封装起来,对外只提供C语言的接口,和 C++i相关的都在  wrapper的实现文件里实现. 1. apple.h [cpp] view plaincopyprint? #ifndef __APPLE_H__ #define __APPLE_H__ class Apple { public: enum { APPLE_COLOR_RED, APPLE_COLOR_BLUE, APPLE_COLOR_GREEN, }; App

ThinkPHP框架下如何用PHP自带的ZipArchive类打包压缩文件

public function downloadzip(){ $catid = $this->request->param('catid/d', 0); $id = $this->request->param('id/d', 0); $category = getCategory($catid); if (empty($category)) { $this->error('该栏目不存在!'); } $modelid = $category['modelid']; $field

Multi-label &amp;&amp; Multi-label classification

Multi-label classification with Keras In today’s blog post you learned how to perform multi-label classification with Keras. Performing multi-label classification with Keras is straightforward and includes two primary steps: Replace the softmax activ

中文文本分类大概的步骤

文本分类问题:给定文档p(可能含有标题t),将文档分类为n个类别中的一个或多个 文本分类应用:常见的有垃圾邮件识别,情感分析 文本分类方向:主要有二分类,多分类,多标签分类 文本分类方法:传统机器学习方法(贝叶斯,svm等),深度学习方法(fastText,TextCNN等) 文本分类的处理大致分为文本预处理.文本特征提取.分类模型构建等.和英文文本处理分类相比,中文文本的预处理是关键技术. 一.中文分词:针对中文文本分类时,很关键的一个技术就是中文分词.特征粒度为词粒度远远好于字粒度,其大部分