【deep learning学习笔记】Distributed Representations of Sentences and Documents

很久以前关注过一段时间word2vec，最近比较好奇doc2vec，找来资料看看。

时间：2014

作者：Mikolov （word2vec的作者）

发表于：icml

原文件：http://pan.baidu.com/s/1bnm7COB

主要内容：

继写出word2vec之后，接下来的问题是：能否在更大的语言单位上，如：短语、句子、段落、篇章，上面继续word2vec的工作，将这些语言单位用实属向量的方式表示出来。

思路：

作者思路很直接，即在word2vec模型的基础上，将神经网络的偏置b用一个向量来代替，参与训练，在获得每个词语的实属向量的同时，也获得这个代替偏置的向量。作者用这个向量来作为当前上下文content的表示向量。整个训练方式和word2vec基本一致。

实验：

作者一共写了两个实验，我看了第一个。是判断语句的情感倾向性的。关键在于作者如何使用他训练出来的phrasevec。使用方式如下：对目标语句进行分词，截取sub-phrase，每个sub-phrase对应一个作者训练出来的phrasevec。用这些phrasevec，结合LR模型，进行分类，从而预测目标语句的情感倾向。从结果上看，无论是二值分类（正面情感 vs 负面情感）还是多值分类，相比传统benchmark，作者的方法都有提升。

完。

转载请注明出处：http://blog.csdn.net/xceman1997/article/details/46290365

时间： 2024-08-10 05:01:25

【deep learning学习笔记】Distributed Representations of Sentences and Documents的相关文章

【deep learning学习笔记】Recommending music on Spotify with deep learning

主要内容: Spotify是个类似酷我音乐的音乐网站,做个性化音乐推荐和音乐消费.作者利用deep learning结合协同过滤来做音乐推荐. 具体内容: 1. 协同过滤 基本原理:某两个用户听的歌曲都差不多,说明这两个用户听歌的兴趣.品味类似:某两个歌曲,被同一群人听,说明这两个歌曲风格类似. 缺点: (1)没有利用歌曲本身的特征(信息) (2)无法对"层级"的item进行处理,对于歌曲来说,这种层级关系体现在:专辑-主打歌-副歌,上面,这几种因素并不是同等重要的 (3)冷启动问题:

Neural Networks and Deep Learning学习笔记ch1 - 神经网络

近期開始看一些深度学习的资料.想学习一下深度学习的基础知识.找到了一个比較好的tutorial,Neural Networks and Deep Learning,认真看完了之后觉得收获还是非常多的.从最主要的感知机開始讲起.到后来使用logistic函数作为激活函数的sigmoid neuron,和非常多其它如今深度学习中常使用的trick. 把深度学习的一个发展过程讲得非常清楚,并且还有非常多源代码和实验帮助理解.看完了整个tutorial后打算再又一次梳理一遍,来写点总结.以后再看其它资料

deep learning 学习笔记(三) 线性回归学习速率优化寻找

继续学习http://www.cnblogs.com/tornadomeet/archive/2013/03/15/2962116.html,上一节课学习速率是固定的,而这里我们的目的是找到一个比较好的学习速率.我们主要是观察 不同的学习速率对应的不同的损失值与迭代次数之间的函数曲线是怎么样的,找到那条最快达到收敛的函数曲线,其对应的学习速率就是我们要找的比较好的学习速率.在这里我们分别取速率值为:0.001,0.01,0.1,1,2,当我们选择完学习速率后,其余的都跟上一节课一样了.本文要解决

Deep Learning 学习笔记（一）——softmax Regression

茫然中不知道该做什么,更看不到希望. 偶然看到coursera上有Andrew Ng教授的机器学习课程以及他UFLDL上的深度学习课程,于是静下心来,视频一个个的看,作业一个一个的做,程序一个一个的写.N多数学的不懂.Matlab不熟悉,开始的时候学习进度慢如蜗牛,坚持了几个月,终于也学完了.为了避免遗忘,在这里记下一些内容.由于水平有限,Python也不是太熟悉,英语也不够好,有错误或不当的地方,请不吝赐教. 对于softmax背后的理论还不是很清楚,不知道是来自信息论还是概率.不过先了解个大

paper 149:Deep Learning 学习笔记（一）

台湾李宏毅教授写的,<1天搞懂深度学习> slideshare的链接: http://www.slideshare.net/tw_dsconf/ss-62245351?qid=108adce3-2c3d-4758-a830-95d0a57e46bc&v=&b=&from_search=3 网盘下载链接:http://pan.baidu.com/s/1nv54p9R     密码:3mty. 中文在线课程:Hung-yi Lee

udacity google deep learning 学习笔记

1.为什么要在卷积网络中加入pooling(池化) 如果只利用卷积操作来减少feature map的大小,会失去很多信息.所以想到一种方法,减小卷积时的stride,留下大部分信息,通过池化来减小feature map的大小. 池化的优点: 1.池化操作不会增加parameters 2.实验结果表明用池化的模型准确率更高 池化的缺点: 1.由于减小了卷积的stride,所以会增加计算量 2.同时,池化层的加入使得我们又多了两个超参数(hyper parameters):pooling size和

Deep Learning论文笔记之（一）K-means特征学习

Deep Learning论文笔记之(一)K-means特征学习 [email protected] http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正

【转】Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现

原作者:zouxy09 原文链接:http://blog.csdn.net/zouxy09/article/details/9993371 Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 [email protected] http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己

Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现（转）

Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 [email protected] http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不