CS224d lecture 12札记

欢迎转载,转载注明出处:

http://www.cnblogs.com/NeighborhoodGuo/p/4711678.html

CS224d的第十一课是他们的课上考试,所以后面的视频就直接跳到lecture 12了。lecture 12是一位外宾过来讲得,据说是Facebook的工程师,讲了现在最前沿的AI research,AI很多东西在全世界范围内都没有解决方案或者说对某一问题有统一的意见,所以这堂课不是介绍一个成熟的model,可以理解这一讲是为大家打开一扇门,让大家了解AI中的这部分工作是怎么开展的,从very super-super-high-level的角度解释了这个research。

这堂课的就介绍了一个东西,就是Memory Networks。不过Memory Networks涵盖的范围太广,再加上这个model还不成熟,一堂课也仅仅只是简要介绍它。

Memory Networks不是和之前我们讲得模型里所定义的那种Memory。之前课上介绍的Model里的memory是使用各种data然后训练model,可以认为memory存储在这个model的weight里,可以用来进行object detection等的工作。而这堂课讲得memory和之前定义的不是一个概念,之前的memory类似计算机的软件,这堂课讲得memory类似计算机的硬盘,需要用到memory的时候从硬盘里提取数据,不需要的时候就放那里。

这堂课所讲的AI只是AI中的一个小分支,也就是Q&A的部分,也就类似我们中学英语考试的阅读理解,或者语文高考的最后几道阅读题。我们实际想要达到的目标是能够让计算机完成语文高考的阅读题的水平,这种目标想法很好,但是实现很难衡量现有模型的好与坏,而且也不可能一下就实现这么复杂的架构。所以基于以上考虑聪明的科学家把Q&A分成了好几块类似我们中学英语的阅读理解,不用回答完整的句子,只要像英语阅读那样司选一或者只要回答单个或者几个关键词即可。论文中有具体的介绍分出来的Tasks的讲解和例子,从前到后的排序是由容易及难。我们大致的认为先把以上的几个分块的任务完成之后,再使用一个优化的model使得输出的句子比较nature就能完成AI的Q&A的任务了。

这个Memory Network的目标是可以理解(comprehension)一篇文章或者一部电影,然后根据文章或者电影的内容回答问题。但是动词的种类那么多,如果一个单词一个处理方法的话不现实,效率也挺低,而很多动词的意思其实是类似的,所以就可以使用下图中的基本Command来替代这些各种各样的单词。

替代完成后,再进行处理就相对来说简单了。

有了处理过的数据,也有了多个简单的Q&A目标,接下来就可以进行model的建立了。

我们建立的model主要分为四个部分I,G,O,R

I这一模块,其实之前的课程大部分都是针对I模块所包含的任务的,比如说Parsing,RNN。

不论在论文里还是在课上讲到的O模块的搜寻的向量只搜索两个,具体搜索方法如下:

简单的说就是每次取出最高score的向量,然后再根据取出来的这两个向量和原始的问题生成貌似nature的回答。

那么如果在Memory里一个单词没有见过或者一个单词遗失了怎么办呢?简单的办法就是使用临近的单词,然后Bag-of-words

当然以上的内容还远远没有达到AI的要求,课上和论文里都给出了approach AI的两个方法:

好啦,AI的大门已经打开啦!真希望有生之年能看到AI的实现。

时间: 2024-10-13 00:46:22

CS224d lecture 12札记的相关文章

CS224d lecture 8札记

欢迎转载,转载注明原文地址: http://www.cnblogs.com/NeighborhoodGuo/p/4692979.html 又开始新一课的札记啦!最近Project Proposal也快到了,时间还是比较紧的.不过课程已经过半了还是挺开心的.stanford开放这么有技术含量的课程,还是很钦佩stanford的开放精神. 这一课是对Recurrent NN for MT做了一个简要的介绍.个人认为这种方法比较靠谱耶,想想我们人类对于母语的学习,对于母语的理解,从来都不是先分析语法,

CS224d lecture 10札记

欢迎转载,转载注明出处: http://blog.csdn.net/neighborhoodguo/article/details/47282709 Go Go Go 第十讲也顺利结束啦,不愧是Advanced Recursive NN讲得内容确实有些Advanced,不过如果认真听课再认真看课后的paper的话,我相信还是可以完全理解的. 开始总结喽... 首先,老师在课上开篇讲了RNN的一个综述吧,也是使用RNN进行NLP的三个大的要素:1.Train objective主要有两种,一种是c

CS224d lecture 9札记

欢迎转载,转载注明出处: http://www.cnblogs.com/NeighborhoodGuo/p/4694955.html 最近几课的内容不是很难,还有我的理解能力有所提高(自恋一下),所以这几课完成的都挺快.不知不觉lec9也完成了.这一讲讲了另一个RNN,其中R是Recursive不是之前的Recurrent.课上老师使用Recursive NN来做NLP和CV的任务,我个人认为做CV还是不错的,这个NLP怎么感觉有点不靠谱.不管怎么说这个model还是解决了很多实际问题的,而且性

CS224d lecture 15札记

欢迎转载,转载注明出处: http://blog.csdn.net/neighborhoodguo/article/details/47449257 这一讲还是嘉宾的讲课,讲得是关于parallel计算方面的.俗话说的好:"三个臭皮匠,顶个诸葛亮嘛".哈哈 因为一台计算机,或者一个处理器的处理能力是有限的,进行并行计算能够大大提高运算速度,节省调试的时间.而我们的NN是如此的复杂,有时候规模也特别大,所以使用并行计算是很有必要的. 这一讲呢,主要分为五个部分:1.Efficient f

CS224d lecture 13札记

欢迎转载,转载注明出处: http://blog.csdn.net/neighborhoodguo/article/details/47387229 不知不觉到了第三部分了,整个课程也快结束了,虽然不是第一次整个推完公开课,但是还是有些兴奋呢! 废话不多说,开始总结啦! 这节课就介绍了一个模型,就是在Computer Vision里十分popular的CNN(Convolutional Neural Networks).不过这里介绍它在NLP的应用,可见model其实是可以有不同的应用的哦,没准

CS224d lecture 6札记

哈哈哈,终于又到了每课的写笔记时间.这次课程的内容比较少,可能是为了给Problem set 1空余时间吧. 废话不多说.写喽 这次的video讲的东西主要就是把推荐的论文稍微详细的讲解了一部分,然后外加给RNN模型开了个头. 1.Multi-task learning / weight sharing 这个第一部分其实在NLP(almost) from scratch里也有讲解它的理念就是,在DL model里面底下几层里学到的feature是相同或者近似的,那么这样的话,只需要统一给DL m

CS224d lecture 16札记

欢迎转载,转载注明出处: http://blog.csdn.net/neighborhoodguo/article/details/47617297 终于把最后一讲也看完了,stanford的NLP课程也接近了尾声,真的是非常的开心,这门课真的让我收获了很多. 这一课讲得就是DL在NLP方面的应用,其实大部分内容在之前的课上和之前的推荐阅读里都有提及,这一课也算是一门复习课吧. 同样的先overview一下:1.Model overview 2.Character RNNs on text an

CS224d lecture 14札记

欢迎转载,转载注明出处: http://www.cnblogs.com/NeighborhoodGuo/p/4720985.html 这一课也是请得嘉宾讲得课,据说是standford的一位博士.讲得主题是Neural Networks in Speech Recognition 不过Speech Recognition可谓是博大精深啊,这一堂课就像讲师在课前的Overview里说的一样,只是做一个perspective 让大家对这个方面有一个简要的了解,具体如何操作,这个就没有详细讲了...课

深度学习与自然语言处理(3)_斯坦福cs224d Lecture 3

原文作者:Rohit Mundra, Richard Socher 原文翻译:@熊杰([email protected]) && @王昱森([email protected]) && @范筑军老师( [email protected]) && @OWEN([email protected]) 内容校正:寒小阳 && 龙心尘 时间:2016年6月 出处:http://blog.csdn.net/han_xiaoyang/article/deta