一、神经网络
二、激活函数
三、评价神经网络的效果
四、梯度下降算法
五、参数与超参数区别
六、习题
一、神经网络 neural network
w11a1+w12a2+w13a3 + bias1=b1
w21a1+w22a2+w23a3 + bias2=b2
从网络层1到网络层2，可能是线性运算，可能是非线性运算。
二、激活函数
经典激活函数：Sigmoid函数
激活函数引入非线性，使得原本不可分变为可分，且可以被作为概率看待。
三、评价神经网络的效果
（1）使用随机值初始化神经网络参数 随机设定权重w和偏移量bias
（2）损失函数 评价神经网络效果的函数
损失函数
四、梯度下降算法
一次求导，朝着梯度最大的方向前进。 https://www.cnblogs.com/pinard/p/5970503.html
五、参数与超参数区别
超参数 α = 学习速率 learning rate。【调参点】
六、习题
1、“手工编程计算圆的面积”中，3.14是“参数”还是“超参数”？ 参数
2、一个如本次实验所描述的神经网络有两层，第一层有10个神经元，第二层有20个神经元，请问这两层神经元之间有多少条连接？第一层到第二层之间由这些连接所表示的线性变换矩阵尺寸是多少？ 200个
3、“使用深度学习预测股票走势曲线”是分类问题还是回归问题？ 回归问题
4、“根据人脸图片识别人的性别”是分类问题还是回归问题？ 分类问题
5、如果说，有监督学习的训练数据data由输入X和正确答案Y组成，那无监督学习的训练数据应该是什么样的？ 输入数据集长度m，聚类得到X1，X2，Xn 个聚类
6、[选做题]sigmoid函数对x求导结果是什么？
7、[选做题]2.6.1小节中的图片里，为什么“学习速率适中”图中每次更新的“步子”越来越短，而“学习速率过大”图中每次更新的“步子”越来越长？
学习速率是比率，合适的学习速率，越接近极值，下降越慢，基数越小，步子越短。
过大的学习速率，越学越超出范围，自然增长快，步子大。
8、[选做题]你能自己想出一种求损失函数梯度的方法吗
梯度：偏导向量。对损失函数求偏导，得到梯度，梯度最大的地方就是下降最快的地方。
参考：
https://www.shiyanlou.com/courses/814
原文地址：https://www.cnblogs.com/Years4Nancy/p/8490061.html