机器学习之sigmoid函数

先说一下,ML小白。

这是第一次写个人博客类似东西,

主要来说说看 sigmoid 函数,sigmoid函数是机器学习中的一个比较常用的函数,与之类似的还有softplus和softmax等函数,这里也就不说,先来看看sigmoid函数的表达式的和图像

sigmoid函数表达式如下

这就是sigmoid函数的表达式,这个函数在伯努利分布上非常好用,现在看看他的图像就清楚

可以看到在趋于正无穷或负无穷时,函数趋近平滑状态,sigmoid函数因为输出范围(0,1),所以二分类的概率常常用这个函数,事实上logisti回归采用这个函数很多教程也说了以下几个优点

1  值域在0和1之间

2   函数具有非常好的对称性

函数对输入超过一定范围就会不敏感

sigmoid的输出在0和1之间,我们在二分类任务中,采用sigmoid的输出的是事件概率,也就是当输出满足满足某一概率条件我们将其划分正类,不同于svm。

原文 https://www.jianshu.com/p/506595ec4b58

原文地址:https://www.cnblogs.com/php-linux/p/12054422.html

时间: 2024-10-09 07:25:44

机器学习之sigmoid函数的相关文章

Sigmoid函数总结

Sigmoid函数又叫Logistic函数,它在机器学习领域有极其重要的地位. 目录一 函数基本性质二 Sigmoid函数与逻辑回归三 为什么要选择Sigmoid函数LR的需求选择Sigmoid是可以的Sigmoid特殊的性质为什么选择Sigmoid正态分布解释最大熵解释四 总结 一. 函数基本性质首先Sigmoid的公式形式: 函数图像: 函数的基本性质: 1.定义域:(−∞,+∞)(−∞,+∞)2.值域:(−1,1)(−1,1)3.函数在定义域内为连续和光滑函数4.处处可导,导数为:f′(x

B-微积分-Sigmoid函数

目录 Sigmoid函数 一.Sigmoid函数详解 更新.更全的<机器学习>的更新网站,更有python.go.数据结构与算法.爬虫.人工智能教学等着你:https://www.cnblogs.com/nickchen121/ Sigmoid函数 一.Sigmoid函数详解 # Sigmoid函数详解图例 import numpy as np import matplotlib.pyplot as plt ax = plt.subplot(111) ax.spines['right'].se

ReLU 和sigmoid 函数对比

详细对比请查看:http://www.zhihu.com/question/29021768/answer/43517930 . 激活函数的作用: 是为了增加神经网络模型的非线性.否则你想想,没有激活函数的每层都相当于矩阵相乘.就算你叠加了若干层之后,无非还是个矩阵相乘罢了.所以你没有非线性结构的话,根本就算不上什么神经网络. 2. 为什么ReLU效果好: 重点关注这章6.6节:Piecewise Linear Hidden Unitshttp://www.iro.umontreal.ca/~b

sigmoid函数

这个英文资料有它的非常直观明了的介绍,强烈推荐.http://computing.dcu.ie/~humphrys/Notes/Neural/sigmoid.html ------------------------------------------ Sigmoid函数是一个S型函数. Sigmoid函数的数学公式为: 它是常微分方程 的一个解. Sigmoid函数具有如下基本性质: 定义域为 值域为, 为有界函数 函数在定义域内为连续和光滑函数 函数的导数为 不定积分为, 为常数 由于Sig

Softmax与Sigmoid函数的联系

译自:http://willwolf.io/2017/04/19/deriving-the-softmax-from-first-principles/ 本文的原始目标是探索softmax函数与sigmoid函数的关系.事实上,两者的关系看起来已经是遥不可及:一个是分子中有指数!一个有求和!一个分母中有1!.当然,最重要的是两个的名称不一样. 推导一下,很快就可以意识到,两者的关系可以回溯到更为泛化的条件慨率原理的建模框架(back out into a more general modelin

S型函数:Sigmoid 函数

Logistic函数或Logistic曲线是一种常见的S形函数,它是皮埃尔·弗朗索瓦·韦吕勒在1844或1845年在研究它与人口增长的关系时命名的.广义Logistic曲线可以模仿一些情况人口增长(P)的S形曲线.起初阶段大致是指数增长:然后随着开始变得饱和,增加变慢:最后,达到成熟时增加停止. Sigmoid函数,即f(x)=1/(1+e-x).神经元的非线性作用函数.(-x是幂数) sigmoid函数是一个良好的阈值函数, 连续,光滑 严格单调 关于(0,0.5)中心对称 对阈值函数 _ 1

神经网络为什么要用sigmoid函数?为什么要映射到0-1之间?

(1)对于深度神经网络,中间的隐层的输出必须有一个激活函数.否则多个隐层的作用和没有隐层相同.这个激活函数不一定是sigmoid,常见的有sigmoid.tanh.relu等. (2)对于二分类问题,输出层是sigmoid函数.这是因为sigmoid函数可以把实数域光滑的映射到[0,1]空间.函数值恰好可以解释为属于正类的概率(概率的取值范围是0~1).另外,sigmoid函数单调递增,连续可导,导数形式非常简单,是一个比较合适的函数 (3)对于多分类问题,输出层就必须是softmax函数了.s

python实现并绘制 sigmoid函数,tanh函数,ReLU函数,PReLU函数

python实现并绘制 sigmoid函数,tanh函数,ReLU函数,PReLU函数 # -*- coding:utf-8 -*- from matplotlib import pyplot as plt import numpy as np import mpl_toolkits.axisartist as axisartist def sigmoid(x): return 1. / (1 + np.exp(-x)) def tanh(x): return (np.exp(x) - np.e

Sigmoid函数与Softmax函数的理解

1. Sigmod 函数 1.1 函数性质以及优点 其实logistic函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线(S型曲线). 其中z是一个线性组合,比如z可以等于:b + w1*x1 + w2*x2.通过代入很大的正数或很小的负数到g(z)函数中可知,其结果趋近于0或1 A logistic function or logistic curve is a common “S” shape (sigmoid curve). 也就是说,sigmoid函数的功能