深度学习采用神经网络解决线性不可分的问题。既然是深度学习,就是包含多个隐层。
觉得知乎大神说了一段很有意思的话:
1.初恋期。相当于深度学习的输入层。别人吸引你,肯定是有很多因素,比如:身高,身材,脸蛋,学历,性格等等,这些都是输入层的参数,对每个人来说权重可能都不一样。 2.热恋期。我们就让它对应于隐层吧。这个期间,双方各种磨合,柴米油盐酱醋茶。
3.稳定期。对应于输出层,是否合适,就看磨合得咋样了。
大家都知道,磨合很重要,怎么磨合呢?就是不断学习训练和修正的过程嘛!比如女朋友喜欢草莓蛋糕,你买了蓝莓的,她的反馈是negative,你下次就别买了蓝莓,改草莓了。
既要防止欠拟合,也要防止过拟合。所谓欠拟合,对深度学习而言,就是训练得不够,数据不足,就好比,你撩妹经验不足,需要多学着点,送花当然是最基本的了,还需要提高其他方面,比如,提高自身说话的幽默感等,因为本文重点并不是撩妹,所以就不展开讲了。这里需要提一点,欠拟合固然不好,但过拟合就更不合适了。过拟合跟欠拟合相反,一方面,如果过拟合,她会觉得你有陈冠希老师的潜质,更重要的是,每个人情况不一样,就像深度学习一样,训练集效果很好,但测试集不行!就撩妹而言,她会觉得你受前任(训练集)影响很大,这是大忌!
作者:Jacky Yang
链接:https://www.zhihu.com/question/26006703/answer/129209540
来源:知乎
当对每个参数进行更新时,我们需要做的就是计算偏导数(偏导数: 多个变量时,对某个变量的变化率。)。 那对什么求偏导数,要对我们想要的目标求偏导数,诱导结果编导想要的方向。这里的目标就是减少与已知正确结果的差距(loss function 各种)。 对每个参数加上一个很小的偏差,来看结果的响应。但是我们不能把各个偏差都试一遍。为了让偏差最合适,选择误差对每个参数的变化率,也就是偏导数。
求偏导数:
相邻层的偏导是线性的,从左到右挨个求偏导,各个偏导相乘
但是要注意加入的激活函数和pool层的激活函数的计算
求完偏导数,以多大的步长来调整: 学习率