该博客的内容是莫烦大神的授课内容。在此只做学习记录作用。
原文连接：https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/2-6-A-activation-function/
非线性方程
我们为什么要使用激活函数？用简单的语句来概括，就是因为显示并没有我们想象的那么美好
，它是残酷多变的。哈哈，开个玩笑，不过激活函数也就是为了解决我们日常生活中不能用线性方程所概括的问题。 好了，我知道你的问题来了。 什么是线性方程（linear function）?
说到线性方程，我们就得提到两外一种方程，非线性方程（nonliner function）。 我们假设，女生长得越漂亮，越多男生爱。这就可以被当作一个线性问题。但是如果我们假设这个场景是发生在校园里。校园里的男生数是有限的，女生再漂亮，也不可能会有无穷多的男生喜欢她。所以这就变成了一个非线性问题。
然后我们就可以来讨论如何在神经网络中达成我们描述非线性的任务了。我们可以把整个网络简化成一个式子。 Y=Wx, W就是我们要求的参数， Y是预测值， X是输入值。 用这个式子，我们很容易就能描述刚刚的那个线性问题，因为W求出来可以是一个固定的数。不过这似乎并不能让这条直线变得扭起来，激励函数见状，拨刀相助，站出来说到：“让我来掰弯它！”。
激活函数
这里的ＡＦ指的就是激活函数。激活函数拿出自己最擅长的“掰弯利器”，套在了原函数上，用力一扭，原来的Ｗｘ结果就被扭湾了。
其实激活函数也不是什么触不可及的东西。它其实就是另外一个非线性函数。比如说relu, sigmoid, tanh．将这些激活函数套在原有的结果之上，强行把原有的线性结果给扭曲了，使得输出结果ｙ也有了非线性的特征。举个例子，比如我使用了relu这个激活函数，如果此时Ｗｘ的结果是１，ｙ还是１，不过Ｗｘ为-1的时候， y 不再是-1, 而会是0.
你甚至可以创造自己的激活函数来处理自己的问题，不过要确保的是这些激活函数必须是可微分的，因为在误差反向传播的时候，只有这些可微分的激活函数才能把误差传回去。
常用选择
想要恰当使用这些激活函数，还是有敲门的。比如当你的神经网络只有两三层，不是很多的时候，对于隐藏层，使用任意的激活函数基本上都是可以的，不会有特别大的影响。不过，当你使用特别多层的神经网络，万万不得随意选择激活函数。因为这会设计到梯度爆炸，梯度消失的问题。因为时间的关系，我们可能会在以后来具体谈谈这个问题。
最后我们说说，在具体的例子中，我们默认首选的激活函数有哪些。在少量层结构中。我们可以尝试很多种不同的激活函数。在卷积神经网络的卷积层，推荐的激活函数是relu.在循环神经网络中，推荐的是 tanh 或者是 relu。
原文地址：https://www.cnblogs.com/elitphil/p/12072421.html