S型函数:Sigmoid 函数

Logistic函数或Logistic曲线是一种常见的S形函数,它是皮埃尔·弗朗索瓦·韦吕勒在1844或1845年在研究它与人口增长的关系时命名的。广义Logistic曲线可以模仿一些情况人口增长(P)的S形曲线。起初阶段大致是指数增长;然后随着开始变得饱和,增加变慢;最后,达到成熟时增加停止。

Sigmoid函数,即f(x)=1/(1+e-x)。神经元的非线性作用函数。(-x是幂数)

sigmoid函数是一个良好的阈值函数,

连续,光滑
严格单调
关于(0,0.5)中心对称
对阈值函数
       _ 1, x > \delta
f(x)= /
             - 0, x < -\delta
的良好近似

其导数f‘(x)=f(x)*[1-f(x)],可以节约计算时间

f(x) = 1/[1+e^(-x)].图形如上。
如果x = a*r.其中a为倾斜系数,当a足够小,这个图形可以无限制接近你这个阈值函数

人工神经网络的学习算法-BP算法 
神经网络的学习是基于一组样本进行的,它包括输入和输出(这里用期望输出表示),输入和输出有多少个分量就有多少个输入和输出神经元与之对应。最初神经网络的权值(Weight)和阈值(Threshold)是任意给定的,学习就是逐渐调整权值和阈值使得网络的实际输出和期望输出一致。 
我们假设样本有P个,输入层有N个神经元,隐含层有K个神经元,输出层有M个神经元。Xj为输入层神经元j的输入,Hj为隐含层神经元j的输出,Fj为输出层神经元j的实际输出,Rj为输出层神经元j的期望输出,前一层的输出即为后一层的输入。Whji是输入层神经元i与隐含层神经元j之间的连接权值,Thj是隐含神经元j的阈值,Woji是隐含层神经元i与输出层神经元j之间的连接权值,Toj是输出神经元j的阈值。神经元的非线性作用函数是Sigmoid函数,即f(x)=1/(1+e-x)。

时间: 2024-08-25 07:45:04

S型函数:Sigmoid 函数的相关文章

sigmoid函数

这个英文资料有它的非常直观明了的介绍,强烈推荐.http://computing.dcu.ie/~humphrys/Notes/Neural/sigmoid.html ------------------------------------------ Sigmoid函数是一个S型函数. Sigmoid函数的数学公式为: 它是常微分方程 的一个解. Sigmoid函数具有如下基本性质: 定义域为 值域为, 为有界函数 函数在定义域内为连续和光滑函数 函数的导数为 不定积分为, 为常数 由于Sig

ReLU 和sigmoid 函数对比

详细对比请查看:http://www.zhihu.com/question/29021768/answer/43517930 . 激活函数的作用: 是为了增加神经网络模型的非线性.否则你想想,没有激活函数的每层都相当于矩阵相乘.就算你叠加了若干层之后,无非还是个矩阵相乘罢了.所以你没有非线性结构的话,根本就算不上什么神经网络. 2. 为什么ReLU效果好: 重点关注这章6.6节:Piecewise Linear Hidden Unitshttp://www.iro.umontreal.ca/~b

Softmax与Sigmoid函数的联系

译自:http://willwolf.io/2017/04/19/deriving-the-softmax-from-first-principles/ 本文的原始目标是探索softmax函数与sigmoid函数的关系.事实上,两者的关系看起来已经是遥不可及:一个是分子中有指数!一个有求和!一个分母中有1!.当然,最重要的是两个的名称不一样. 推导一下,很快就可以意识到,两者的关系可以回溯到更为泛化的条件慨率原理的建模框架(back out into a more general modelin

神经网络为什么要用sigmoid函数?为什么要映射到0-1之间?

(1)对于深度神经网络,中间的隐层的输出必须有一个激活函数.否则多个隐层的作用和没有隐层相同.这个激活函数不一定是sigmoid,常见的有sigmoid.tanh.relu等. (2)对于二分类问题,输出层是sigmoid函数.这是因为sigmoid函数可以把实数域光滑的映射到[0,1]空间.函数值恰好可以解释为属于正类的概率(概率的取值范围是0~1).另外,sigmoid函数单调递增,连续可导,导数形式非常简单,是一个比较合适的函数 (3)对于多分类问题,输出层就必须是softmax函数了.s

Sigmoid函数总结

Sigmoid函数又叫Logistic函数,它在机器学习领域有极其重要的地位. 目录一 函数基本性质二 Sigmoid函数与逻辑回归三 为什么要选择Sigmoid函数LR的需求选择Sigmoid是可以的Sigmoid特殊的性质为什么选择Sigmoid正态分布解释最大熵解释四 总结 一. 函数基本性质首先Sigmoid的公式形式: 函数图像: 函数的基本性质: 1.定义域:(−∞,+∞)(−∞,+∞)2.值域:(−1,1)(−1,1)3.函数在定义域内为连续和光滑函数4.处处可导,导数为:f′(x

python实现并绘制 sigmoid函数,tanh函数,ReLU函数,PReLU函数

python实现并绘制 sigmoid函数,tanh函数,ReLU函数,PReLU函数 # -*- coding:utf-8 -*- from matplotlib import pyplot as plt import numpy as np import mpl_toolkits.axisartist as axisartist def sigmoid(x): return 1. / (1 + np.exp(-x)) def tanh(x): return (np.exp(x) - np.e

B-微积分-Sigmoid函数

目录 Sigmoid函数 一.Sigmoid函数详解 更新.更全的<机器学习>的更新网站,更有python.go.数据结构与算法.爬虫.人工智能教学等着你:https://www.cnblogs.com/nickchen121/ Sigmoid函数 一.Sigmoid函数详解 # Sigmoid函数详解图例 import numpy as np import matplotlib.pyplot as plt ax = plt.subplot(111) ax.spines['right'].se

Sigmoid函数与Softmax函数的理解

1. Sigmod 函数 1.1 函数性质以及优点 其实logistic函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线(S型曲线). 其中z是一个线性组合,比如z可以等于:b + w1*x1 + w2*x2.通过代入很大的正数或很小的负数到g(z)函数中可知,其结果趋近于0或1 A logistic function or logistic curve is a common “S” shape (sigmoid curve). 也就是说,sigmoid函数的功能

机器学习之sigmoid函数

先说一下,ML小白. 这是第一次写个人博客类似东西, 主要来说说看 sigmoid 函数,sigmoid函数是机器学习中的一个比较常用的函数,与之类似的还有softplus和softmax等函数,这里也就不说,先来看看sigmoid函数的表达式的和图像 sigmoid函数表达式如下 这就是sigmoid函数的表达式,这个函数在伯努利分布上非常好用,现在看看他的图像就清楚 可以看到在趋于正无穷或负无穷时,函数趋近平滑状态,sigmoid函数因为输出范围(0,1),所以二分类的概率常常用这个函数,事