北大深度学习讲座(14-12-14)

周日在北大理教听了余凯和漆远关于深度学习的讲座,这个讲座是北大机器学习研究会办的,不是学术性质,是有点科普性质的一个对话,雷鸣做现场主持。

刚开始余凯说了一下什么是大数据,他提到除了数据源、数据仓库,还有分层的概念,是分层学习的意思吗?存疑;漆远提到一本大数据的入门书,introduction to AI,是伯克利的老师写的。关于机器学习,漆远还提到不确定性的概念,就是除了最优化误差外,得到的最优结果的不确定性是多少,对于某些问题,这也是很重要的。他提到曾经在华尔街工作,如果你算得一个股票能收益一毛钱,方差是二分,另一个股票收益是10元,方差是100,那人们宁愿选择收益一毛的。余凯又提到怎么利用数据?就是面对数据如何利用,无监督学习是很重要的,比如机器人如何在三维空间出学习出事物的大小和远近的关系,从静止的图片中如何学习?

关于深度学习,余凯和漆远分别说优缺点,优点是分层学习的思想,余凯认为这是深度学习中可以流传下去的点,还有feature learning,N to N learning;缺点是深度学习如何计算不确定性,如何将先验知识映射到模型里,是未来研究的机会。对于未来,DL可能只是一个工具,而不是算法,就像雕塑家的凿子,至于最后的成功,还得看用的人对问题的了解。对于DL的研究学者,余凯提到了Jeaf Dean,是他提出深网络比浅网络好,漆远则赞扬了Geoffrey Hinton和Michael Jordan,两个人是南帝北丐式的人物。提到阿里现在的应用是语音客服。

最后的话题是创业,漆远提到大疆科技做航拍,坚持十年,最终做出来了。所以坚持很重要,加油,吼吼!

时间: 2024-10-26 00:24:40

北大深度学习讲座(14-12-14)的相关文章

深度学习面试题12:LeNet(手写数字识别)

目录 神经网络的卷积.池化.拉伸 LeNet网络结构 LeNet在MNIST数据集上应用 参考资料 LeNet是卷积神经网络的祖师爷LeCun在1998年提出,用于解决手写数字识别的视觉任务.自那时起,CNN的最基本的架构就定下来了:卷积层.池化层.全连接层.如今各大深度学习框架中所使用的LeNet都是简化改进过的LeNet-5(-5表示具有5个层),和原始的LeNet有些许不同,比如把激活函数改为了现在很常用的ReLu. 神经网络的卷积.池化.拉伸 前面讲了卷积和池化,卷积层可以从图像中提取特

深度学习与计算机视觉(12)_tensorflow实现基于深度学习的图像补全

原文地址:Image Completion with Deep Learning in TensorFlow by Brandon Amos 原文翻译与校对:@MOLLY && 寒小阳 ([email protected]) 时间:2017年4月. 出处:http://blog.csdn.net/han_xiaoyang/article/details/52665396 声明:版权所有,转载请联系作者并注明出 简介 第一步:将图像理解为一个概率分布的样本 你是怎样补全缺失信息的呢? 但是怎

Coursera--Deep Learning--吴恩达 深度学习笔记 2017.12.10

2017-12-10 19:27:01 Broadcasting 广播机制广泛用于数据处理. import numpy as np A = np.array([[56.0, 0.0, 4.4, 68.0], [1.2, 104.0, 52.0, 8.0], [1.8, 135.0, 99.0, 0.9]]) print(A) cal = A.sum(axis = 0) print(cal) percentage = 100 * A/cal.reshape(1,4) print(percentag

深度学习各类框架分析

因为工程实践设计深度学习中的迁移学习,要部署GPU版本的caffe框架,在部署过程中遇到了很多问题,由此引发了我对各类深度学习框架特点的思考,虽然之前也或多或少接触过各类框架,但是从没有进行过细致的相互比较.目前深度学习框架主要有TensorFlow,Caffe,MXNet,Pytorch,Keras,paddlepaddle,DeepLearning4J,CNTK等. 这些软件的开发者是怎么说服你(陌??)成为他们的?户的?他们的?标都是盈利么?他们的?标都是赚取?户的现?么?还是别的? 作为

Ubuntu 14.04 安装caffe深度学习框架

简介:如何在ubuntu 14.04 下安装caffe深度学习框架. 注:安装caffe时一定要保持网络状态好,不然会遇到很多麻烦.例如下载不了,各种报错. 一.安装依赖包 $ sudo apt-get install git$ sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler $ sudo apt-get ins

AI - 深度学习之美十四章-概念摘要(8~14)

原文链接:https://yq.aliyun.com/topic/111 08 反向传播(Back Propagation,简称BP) 算法 在神经网络(甚至深度学习)参数训练中,BP算法占据举足轻重的地位. 实际上BP算法是一个典型的双向算法,但通常强调的是反向传播. 工作流程分两大步: 正向传播输入信号,输出分类信息(对于有监督学习而言,基本上都可归属于分类算法).简单说来,就是把信号通过激活函数的加工,一层一层的向前"蔓延",直到抵达输出层. 反向传播误差信息,调整全网权值.如果

深度学习面试题14:Dropout(随机失活)

目录 卷积层的dropout 全连接层的dropout Dropout的反向传播 Dropout的反向传播举例 参考资料 在训练过程中,Dropout会让输出中的每个值以概率keep_prob变为原来的1/keep_prob倍,以概率1-keep_prob变为0.也就是在每一轮的训练中让一些神经元随机失活,从而让每一个神经元都有机会得到更高效的学习,会让网络更加健壮,减小过拟合. 在预测过程中,不再随机失活,也不在扩大神经元的输出. 卷积层的dropout 举例:以一个2*4的二维张量为例,参数

Ubuntu18.04 + CUDA9.0 + cuDNN7.3 + Tensorflow-gpu-1.12 + Jupyter Notebook深度学习环境配置

目录 一.Ubuntu18.04 LTS系统的安装 1. 安装文件下载 2. 制作U盘安装镜像文件 3. 开始安装 二.设置软件源的国内镜像 1. 设置方法 2.关于ubuntu镜像的小知识 三.Nvidia显卡驱动的安装 1. 首先查看显卡型号和推荐的显卡驱动 2. 安装nvidia-390版本驱动 3. 重启系统,可以查看安装是否成功 四.CUDA9.0的安装 1. CUDA版本选择 2. 安装CUDA9.0 3. 设置环境变量 五.cuDNN7.3的安装 六.Tensorflow-1.12

15天倒计时:深度学习高端讲座免费听,最后200位赠教材名额!

深度学习是对使用多层神经网络过程进行机器学习的统称.目前已经被应用到图像识别,语音识别,自然语言处理,机器翻译等场景并取得了很好的行业应用效果. 由谷歌研发的新一代深度学习工具Tensor Flow,于2015年底正式向公众开源. Tensor Flow技术是当前最值钱,也是最便利的深度学习库! 目前已在谷歌.优步.京东.小米等公司中广泛应用! TensorFlow主要特性有: 使用灵活:TensorFlow是一个灵活的神经网络学习平台,采用图计算模型,支持High-Level的API,支持Py