Deep Learning for Nature Language Processing --- 第四讲(下)

A note on matrix implementations

将J对softmax的权重W和每个word vector进行求导:

尽量使用矩阵运算(向量化),不要使用for loop。

模型训练中有两个开销比较大的运算:矩阵乘法f=Wx和指数函数exp

Softmax(=logistic regression) is not very powerful

softmax只是在原来的向量空间中给出了一些linear decision boundary(线性决策线),在小的数据集上有很好的regularization,但是在处理大数据集的时候会受到很大的限制。

但是neural network能够很好地克服softmax的缺点:

From logistic regression to neural nets

不单独介绍神经网络,可以参考其他介绍神经网络的文章

如果没有非线性的激活函数,那么输入x后,第一层就是W1*x,第二层就是W2*W1*x,等同于这个神经网络只有一层,权重为W2*W1。

有更多的层,deep learning就可以有近似(分类)更复杂数据集的功能:

神经网络的单层single layer就是一个线性表达式和一个非线性函数的组合:

激励activation可以用来计算某个函数,例如在softmax中:

示例:计算三层神经网络中一个window’ score(s=score(museumsinParisareamazing)):

score其实就是softmax的概率值

下一讲

训练一个window-based的神经网络

反向传播backpropagation

时间: 2024-11-03 03:24:15

Deep Learning for Nature Language Processing --- 第四讲(下)的相关文章

Deep Learning for Nature Language Processing --- 第八讲

Current statistical machine translation systems 源语言:法语 目标语言:英语 概率公式(利用贝叶斯定理): 在平行语料库(parallel corpora)上训练翻译模型p(f|e) 在英语语料库上训练语言模型p(e) Step1: Alignment 目标:将源语言中的单词或者短语匹配到正确的目标语言中的单词或者短语 假如匹配好了单词和短语,那么又如何给这些单词和短语重新排序呢? After many steps 每个源语言中的单词或者短语,在目

Deep Learning for Nature Language Processing --- 第七讲

Overview 传统语言模型 RNNs RNN 语言模型 一些训练时重要的策略和技巧 梯度消失和梯度爆炸的问题 双向RNNs 其他序列问题中的RNNs Language Models 语言模型计算的是一连串词的概率:P(w1,w2-wT):其中的w1,w2-wT都是词向量. 这种语言模型有利于机器翻译,例如: 1.词序:p(the cat is small) > p(small the is cat) 2.词的选取:p(walking home after school) > p(walki

Deep Learning for Natural Language Processing1

Focus, Follow, and Forward Stanford CS224d 课程笔记 Lecture1 Stanford CS224d 课程笔记 Lecture1 Stanford大学在2015年开设了一门Deep Learning for Natural Language Processing的课程,广受好评.并在2016年春季再次开课.我将开始这门课程的学习,并做好每节课的课程笔记放在博客上.争取做到每周一更吧.本文是第一篇. NLP简介 NLP,全名Natural Languag

CS224d: Deep Learning for Natural Language Process

Course Description Teaching Assistants Peng Qi Course Notes (updated each week) Detailed Syllabus Class Time and Location Spring quarter (March - June, 2015).Lecture: Monday, Wednesday 11:00-12:15Location: TBD Office Hours Richard: Wed 12:45 - 2:00,

Deep Learning Libraries by Language

Deep Learning Libraries by Language Tweet Python Theano is a python library for defining and evaluating mathematical expressions with numerical arrays. It makes it easy to write deep learning algorithms in python. On the top of the Theano many more l

Deep Learning for Natural Language Processeing : Convex Optimization

效率爆表的一个晚上,只是因为没带手机,可怕! 今天开启新的课程,http://cs224d.stanford.edu/syllabus.html 第一章是凸优化,convex Optimazition 凸集 Convex Set 定义: A set C is convex if, for any x, y ∈ C and θ ∈ R with 0 ≤ θ ≤ 1,θx + (1 ? θ)y ∈ C. 判别方法:如果一个集合C是凸集,则C中任意两个元素连线上的点都属于C 举例:所有的实数空间:实数

第十四讲(下) 可视化方式的实现通讯录.(及storyboard方式)

代码演示: AddressBookModel.m 用于创建第一个页面 包括cell的自定义高度问题 1 #import "ViewController.h" 2 #import "TableViewCell.h" 3 #import "DetailViewController.h" 4 @interface ViewController ()<UITableViewDataSource,UITableViewDelegate,DetailV

机器学习(Machine Learning)&amp;amp;深度学习(Deep Learning)资料

机器学习(Machine Learning)&深度学习(Deep Learning)资料 機器學習.深度學習方面不錯的資料,轉載. 原作:https://github.com/ty4z2008/Qix/blob/master/dl.md 原作作者會不斷更新.本文更新至2014-12-21 <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍非常全面.从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep L

Deep learning的一些教程 (转载)

几个不错的深度学习教程,基本都有视频和演讲稿.附两篇综述文章和一副漫画.还有一些以后补充. Jeff Dean 2013 @ Stanford http://i.stanford.edu/infoseminar/dean.pdf 一个对DL能干什么的入门级介绍,主要涉及Google在语音识别.图像处理和自然语言处理三个方向上的一些应用.参<Spanner and Deep Learning>(2013-01-19) Hinton 2009 A tutorial on Deep Learning