DNN原理探究系列之目录与序章篇

序言：

神经网络结构，作为最成功的机器学习模型之一，其工作原理一直被埋藏得比较深，其解释性以至于被称为黑盒。

自己对于DNN的理解也只能算刚踏入了门槛，对于人脑的原理与DNN原理之间的互通性，一直是非常深信的，所以想一窥DNN成功背后的数学原理。

通过DNN原理探究系列博文，希望能总结归纳已经理解的知识点，梳理清楚知识点之间的关系结构，同时探讨各种流派对于DNN原理的解读。

目录会随着自己掌握的知识量逐渐扩展新的分支，以此记录自己的学习历程。

当前知识结构树（2017-11-11）

DNN结构与原理（神经元 + 权重 +非线激活）：

结构的作用：

激活响应区域Partition，拟合任意函数

向量空间的变换Transformation

向量空间变换技巧：核方法

训练和结构参数的影响与作用：

SGD与收敛速度

信息瓶颈理论：

隐层马尔科夫链的信息表述

信息压缩的必要性

信息压缩的方法

分类器原理（softmax）：

最大熵与玻尔兹曼分布

最大熵与最大似然的关联

能量模型

时间： 2024-10-01 10:39:08

DNN原理探究系列之目录与序章篇的相关文章

单片机入门指南系列（〇）序

单片机入门指南系列(〇)序本文由PurpleSword(jzj1993)原创,转载请注明原文网址 http://blog.csdn.net/jzj1993 我是在上大学时开始接触单片机的,当时走了很多弯路,花了很多时间,才终于比较全面的理解和掌握了单片机.回想起来,从对很多东西毫无概念,到有所认识,直到最终能理解并完全掌握,确实经历了很多.也正是因为这样一些经历,我比较理解初学者的迷茫,后来帮过很多初学者,带动他们去学习单片机等电子设计知识.和初学者的交流中,一方面,我巩固了基础知识,加深了

《coredump问题原理探究》Windows版笔记

<coredump问题原理探究>Windows版笔记 Debug 一.环境搭建 1.Win7捕获程序dump 2.Windbg符号表设置(Symbols Search Path) 二.WinDbg命令三.函数栈帧 1.栈内存布局 2.栈溢出 3.栈的规律 4.定位栈溢出问题的经验方法四.函数逆向五.C内存布局 1.基本类型 2.数组类型 3.结构体六.C++内存布局 1.类的内存布局 2.this指针 3.虚函数表及虚表指针 4.单继承 5.多继承(无公共基类) 七.STL容器内存布

zookeeper使用和原理探究（一）（转）

zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的Hadoop项目中的一个子项目,并且根据google发表的<The Chubby lock service for loosely-coupled distributed systems>论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法. zookeeper安装和使用zookeeper的安装基本上可以按照 http://hadoop.apache.org/zookee

Sql Server来龙去脉系列之一目录篇

不要做一个只懂数据库查询的程序猿,学习数据库我们不要只知其一不知其二.之前看了下<Microsoft SQL Server 2008 Internals>,才知道数据库是怎么样的架构以及数据库使用了哪些网络传输协议,受益不浅值得自己花时间继续去深入研究,也推荐这本书给需要学习数据库的同学看.另外,给大家分享下这两天学习的一些心得:学.NET就得好好看msdn. 之前在博客园看了很多介绍ASP.NET在IIS的运行管道的文章,但我自己觉得还是msdn描述的最直接 (https://msdn.mi

【0002（基础）】Skyline二次开发入门经典系列教程——目录

这段时间由于个人事务太多,以至于没有按照时间更新系列教程,本人将尽快补上所欠章节,在此说声抱歉! 这一章在我心目中占有很重要的地位,因为我想通过这一章的内容来确定整个系列的大致走向.然而在整理的过程中,发现现实远比想象要复杂得多:首先想尽可能介绍较多的知识点,其次又要考虑学习的简易程度,再次又要确定顺当的知识体系流程-- 由于暂时的考虑无论如何也是不可能完备的,因此为了不影响后面教程的编写,暂定把这一章作为一个[流动性质]的可变章节,在编写每一章时,动态根据实际情况修改(添加.移动.修改)系

CGI原理解析系列之一----CGI如何获取WEB服务器数据

//gcc get_post.c -o get_post.ums; #include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <string.h> int main(int argc,char *argv[]) { size_t i = 0,n = 0; printf("Content-Type:text/plain\n\n"); char * method =

ASP.NET Web API系列教程目录

ASP.NET Web API系列教程目录 Introduction:What's This New Web API?引子:新的Web API是什么? Chapter 1: Getting Started with ASP.NET Web API第1章 ASP.NET Web API入门 Your First Web API (C#)第一个Web API(C#) Deep Dive into Web API深入探讨Web API(这是一个视频教程,本翻译系列略) Pro ASP.NET Web

使用 jQuery Mobile 与 HTML5 开发 Web App 系列文章目录

使用 jQuery Mobile 与 HTML5 开发 Web App 系列文章目录时间:2012年9月20日分类:JavaScript 标签:HTML5‚ jQuery Mobile‚ Web App “使用 jQuery Mobile 与 HTML5 开发 Web App”系列文章的数目累积起来也比较多了,为方便大家浏览, Kayo 把这些文章整理成一个目录,收录那些已经写好的文章并会继续更新. 该系列的文章实质上分成四个部分,分别是总体概况.jQuery Mobile 组件.jQuer

Linux C编程学习5---参考《那年，一步一步学linux c》全系列（目录索引）

漫无目的的搜索一些东西,发现的一个很好的资源,所以就一定要收藏下来,方便自己学习Linux C 的时候也能够去参考一下别人的学习之路,来更加促进我的学习和思考说明转载请注明出处:谢谢:http://blog.csdn.net/muge0913/article/details/7342977 博主的邮箱是:[email protected] 文章中若有不对或某些功能更好的实现方法,请指出或直接留言. 该系列文章中所用结构数据代码均来自linux2.6.39. 1.那年,一步一步学linux c