深度学习的应用前提(个人见解)

仅仅是本人个人理解,可以转载,不供参考。。。

————————————————————————

Hinton大神在Science上发的文章《Reducing the
Dimensionality ofData with Neural Networks》已经明确说明了——深度学习的本质是一种降维!

可以从降维的角度来探讨深度学习的应用前提:稀疏性!倘若信号或图像完全由噪声组成(或者信噪比很低,如EEG经常被噪声所掩盖),无论用什么方法降维都必定丢失一部分信息(特别是在低信噪比信号中,经常是丢了西瓜拣芝麻,无标签学习只学到噪声,到bp阶段才提取出一部分有用信号)。No
free lunch!DL也不是万能的。

再从稀疏性出发,发现数据平滑性很大程度决定了稀疏性。数据在时间、空间的平滑性说明存在冗余信息,这意味着通过某种映射可以得到数据的稀疏性表示(如正弦波经过傅里叶变换映射到频域,固定频率的正弦波只需要一个频率和相位即可表示出原始信号)。总之,使用DL是有代价的(一定存在一部分信息丢失),稀疏性的强弱决定DL压缩数据的大小。

总的概括可以发现,应用深度学习方法的过程如下:

深度学习<==>降维<==稀疏性<==平滑性

其中平滑性到稀疏性的映射是最为关键的步骤,。。。这样就从DL这个打坑掉进另一个大坑中。。。核函数什么的不懂了、小波也学的很渣。

常常发现对同一个问题用同一个方法,大神能做到99%,我只能做90%多一点。究其原因就是方法和问题的结合,结合的好坏一般是在preprocessing上!!!

由平滑性到稀疏性转换就是一个preprocessing。对于空间平滑的数据,如手写数据图像(空间是平滑的,只有边缘突变),简单二值化处理再拉成一个一维向量就发现它是稀疏的;对于时间平滑的信号,常常可以映射到频域中去,将较小的幅值取零,稀疏了。Done!套公式把DL方法挨个试一遍,调得一手好参数!Paper在呼唤!

来自为知笔记(Wiz)

深度学习的应用前提(个人见解)

时间: 2024-10-20 01:54:05

深度学习的应用前提(个人见解)的相关文章

Java/Python转大数据,你必须了解的深度学习

深度学习这是当今的热门话题,坚定地投入到人工智能,大数据和分析等领域的广泛行业.目前,Google正在使用语音和图像识别算法深度学习,而Netflix和Amazon正在使用它来了解客户的行为.事实上,你不会相信,但是麻省理工学院的研究人员正在试图用深度学习来预测未来.现在,想象一下,革命化的世界和我们的工作方式,潜在的深入学习有多少.在谈论深度学习突破之前,人们必须了解它与机器学习和人工智能的关系.了解这种关系的最简单的方法是通过下面的图表: 什么 是深度学习 - AI技术时间表 在这里,您可以

深度学习调参策略(一)

经常会被问到你用深度学习训练模型时怎么样改善你的结果呢?然后每次都懵逼了,一是自己懂的不多,二是实验的不多,三是记性不行忘记了.所以写这篇博客,记录下别人以及自己的一些经验. Ilya Sutskever(Hinton的学生)讲述了有关深度学习的见解及实用建议: 获取数据:确保要有高质量的输入/输出数据集,这个数据集要足够大.具有代表性以及拥有相对清楚的标签.缺乏数据集是很难成功的. 预处理:将数据进行集中是非常重要的,也就是要使数据均值为0,从而使每个维度的每次变动为1.有时,当输入的维度随量

Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.2

3.Spark MLlib Deep Learning Convolution Neural Network(深度学习-卷积神经网络)3.2 http://blog.csdn.net/sunbow0 第三章Convolution Neural Network (卷积神经网络) 2基础及源码解析 2.1 Convolution Neural Network卷积神经网络基础知识 1)基础知识: 自行google,百度,基础方面的非常多,随便看看就可以,只是很多没有把细节说得清楚和明白: 能把细节说清

重磅︱文本挖掘深度学习之word2vec的R语言实现

笔者寄语:2013年末,Google发布的 word2vec工具引起了一帮人的热捧,大家几乎都认为它是深度学习在自然语言领域的一项了不起的应用,各种欢呼"深度学习在自然语言领域开始发力 了". 基于word2vec现在还出现了doc2vec,word2vec相比传统,考虑单词上下文的语义:但是doc2vec不仅考虑了单词上下文的语义,还考虑了单词在段落中的顺序. 如果想要了解word2vec的实现原理,应该读一读官网后面的三篇参考文献.显然,最主要的应该是这篇: Distributed

Deep Learning(深度学习)学习笔记整理系列七

Deep Learning(深度学习)学习笔记整理系列 声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除. 3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢. 4)阅读本文需要机器学习.计算机视觉.神经网络等等基础(如果没有也没关系了,没

GitChat&#183;人工智能 | 除了深度学习,机器翻译还需要啥?

本文开始要写作的时候,翻译圈里出了一个"爆炸性"的事件.6月27日下午,一个同传译员在朋友圈里爆料:某AI公司请这位译员去"扮演"机器同传,制造人工智能取代人工同传的"震撼"效果. 这个事件瞬间在译员群体的朋友圈.微博.微信群引爆了隐忍已久的火药桶.因为过去几个月来,隔三差五就冒出一个号称要取代同声传译的翻译机,尤其是一篇题为<刚刚宣告:同声传译即将消亡!>的微信文章,在六月下旬铺天盖地的充满了一堆有关的或者无关的公众号,不知道带来了

给深度学习入门者的Python快速教程 - 基础篇

实在搞不定博客园的排版,排版更佳的版本在: https://zhuanlan.zhihu.com/p/24162430 Life is short, you need Python 人生苦短,我用Python -- Bruce Eckel 5.1 Python简介 本章将介绍Python的最基本语法,以及一些和深度学习还有计算机视觉最相关的基本使用. 5.1.1 Python简史 Python是一门解释型的高级编程语言,特点是简单明确.Python作者是荷兰人Guido van Rossum,1

Deep Learning(深度学习)学习笔记整理系列之(四)——CNN

[email protected] http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0  2013-04-08 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除. 3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈

深度学习(上)

深度学习允许由多个处理层组成的计算模型来学习多个抽象层数据的表示.这些方法大大提高了目前最先进的语音识别,可视对象识别,目标检测和其他诸多领域如药物发现和基因组.深度学习发现大数据集结构很复杂,该结构使用BP算法来指示机器应该如何改变内部参数,这些参数是用于从前一层的表示来计算每层的表示.深度卷积网已经在处理图像,视频,语音和音频方面取得了突破,而递归网已经触及到连续数据,如文本和语音. 机器学习技术为现代化社会的许多方面提供了动力:从网络搜索到社交网络上的内容过滤到电子商务网站的推荐,并且越来