1 传统机器学习
传统机器学习:通过人工设计特征提取器,将原始数据转化为合适的中间表示形式或者特征向量,利用学习系统(通常为分类器)可以对输入模式进行检测或者分类。流程如下:
传统机器学习的局限在于需要人工设计特征提取器,而且要求较高。而深度学习则不需要,可以由机器自动学习获取,适应性较强。
2 从表示学习到深度学习
表示学习:原始数据—>自动发现用于检测和分类的表示,如下图 ;
深度学习:是一种多层表示学习方法,用简单的非线性模块构建而成;这些模块将上一层表示(从原始数据开始)转化为更高层、更抽象的表
3 深度学习类型
监督学习 : 略
反向传播学习:略
卷积神经网络(ConvNet) : 一种特殊类型的深度前馈网络,训练更简单,泛化能力比相邻层全连接更好。四项基本原则:局部互联、共享权值、下采样及使用多个卷积层。
4 深度学习的反思
(1) 模型参数远大于数据量时,相当于求解一个欠定方程,存在多接的可能性大,容易过拟合;
(2) 模型参数远小于数据量时,相当于求解超定方程,可能无解,或者有解但准确率很低,容易欠拟合;
(3) 模型参数与数据量匹配时,相当于秋季恰定方程,刚刚好,但是如何确定参数和数据量师哥过程问题;
为了避免过拟合或者欠拟合问题,我们通常将大模型首先在较大的数据集(如ImageNet)上预训练,得到模型,再对特定数据集(如人脸数据)进行精调,即可得到较为理想的结果。
5 参考博客
(1) http://blog.csdn.net/julialove102123/article/details/71722495
(2) <深度学习21天实战Caffe.pdf>
原文地址:https://www.cnblogs.com/qiqibaby/p/8611912.html
时间: 2024-10-10 01:42:07