写在开头的话，本博客内容全部来自吴恩达深度学习教学课程，插图均来自吴恩达课件，在此说明来处，不喜勿喷！
一、什么是神经网络
1.我们从一个房屋加个预测的例子开始，假设有一个6间房间的数据集，已知房屋的面积单位是平方米或者平方英尺，已知房屋加个，现在想要找到一个函数，根据房屋面积来预测房屋价格的函数。如果有机器学习的只是，可以用线性回归得到这样的一条直线：
但是我们知道，价格永远不可能为一个负值，所以用一个直线的线性回归进行预测不太合适，我们可以在size轴将预测线弯曲一点，让他结束于0，我们所要的函数就是下面这天蓝色的线：根据房屋面积来预测房屋的价格，下面这个直线拟合的 很好
如果把房屋加个拟合函数，可以看成是一个非常简单的神经网络，这个就是最简单的神经网络了。
在这里我们把房屋面积作为神经网络的输入，称之为x，通过节点(小圈圈)最后输出了加个，我们一般用y来进行表示，所以这个小圈圈就是一个独立的神经元。这个神经元所要做的，网络实现了左边函数的功能，这个神经元所做的，就是计算面积，完成线性运算，取不小于0 的值，最后预测出价格。
在一些文献中，我们经常看到过这个函数，这个函数一开始就是0，然后就是一条直线，这个函数被称为ReLU函数，全称是“修正线性单元”。修正指的是取值不小于0，这就是这个函数长成这样的一个原因。
大一点的神经网络是将很小的神经元进行堆叠在一起形成的，可以把这些神经元想象成单独的乐高积木，通过搭积木来构建一个更大的神经网络。
2.接下来进一步看上面这个例子。
我们不仅仅用房屋的面积来预测价格，现在我们知道了一些其他的信息，比如：卧室的数量，你可能会想到，有一个很重要的因素会影响房屋的价格，就是家庭人数；还有邮编、富裕程度也能对房屋价格产生影响。我们画的每一个小圈都可能是一个ReLU。基于房屋面积和卧室数量，可以估算家庭人口数，基于邮编可以评估步行化程度，基于邮编也可以评估学校质量。最后你可能会想，人们愿意在房屋上花多少钱，和他们关注什么息息相关。在这个例子中，家庭人数，步行华程度以及学校质量都可以帮助你进行房屋价格的预测。
现在由无数神经元构成了一个神经网络，只要在左边输入x,就能得到y，不管训练集由多大，所有的中间过程，他都会自己完成。那么需要你完成的就是输入特征，输入的值可能是房屋大小，卧室数量，邮编以及富裕程度，已知致谢特征，神经网络就能对价格进行预测了。同时也要注意到，这些圈圈，在神经网络中被称为隐藏单元，每个输入都同时来自4个特征，我们不需要具体指定第几个节点表示的是什么特征值，我们只给定神经网络4个输入的特征，计算由神经网络完成，对于神经网络而言，只要给定足够的x和y的样本，神经网络非常擅长计算x到y的映射函数
原文地址：https://www.cnblogs.com/bigdata-stone/p/10289945.html