word2vec、seq2seq

tensorflow是google在2015年开源的深度学习框架

tf中有word2vec,seq2seq ,所以我这里先学习tensorflow,然后再实现word2vec和seq2seq

一、tensorflow

1.1 安装

win10,python3.5,记得安装 vc++ 看此blog http://blog.csdn.net/xukangmin/article/details/53415168

1.2学习

https://classroom.udacity.com/courses/ud730

二、word2vec

word2vec是Google的开源项目,用一个一层的神经网络(CBOW的本质)把one-hot形式的词向量映射为分布式形式的词向量,为了加快训练速度,用了Hierarchical softmax,negative sampling 等trick。

学习资料:

1.word2vec中的数学原理详解

https://wenku.baidu.com/view/042a0019767f5acfa1c7cd96.html

2.使用tf来实现word2vec

http://blog.csdn.net/u014595019/article/details/54093161

三、seq2seq

时间: 2024-10-28 23:31:37

word2vec、seq2seq的相关文章

keras系列︱seq2seq系列相关实现与案例(feedback、peek、attention类型)

之前在看<Semi-supervised Sequence Learning>这篇文章的时候对seq2seq半监督的方式做文本分类的方式产生了一定兴趣,于是开始简单研究了seq2seq.先来简单说一下这篇paper的内容: 创立的新形式Sequence AutoEncoder LSTM(SA-LSTM),Pre-trained RNNs are more stable, generalize better, and achieve state-of-the-art results on var

NLP:language model(n-gram/Word2Vec/Glove)

首先,大概讲一下自然语言处理的背景.互联网上充斥着大规模.多样化.非结构化的自然语言描述的文本,如何较好的理解这些文本,服务于实际业务系统,如搜索引擎.在线广告.推荐系统.问答系统等, 给我们提出了挑战.例如在效果广告系统中,需要将 Query(User or Page) 和广告 Ad 投影到相同的特征语义空间做精准匹配,如果 Query 是用户,需要基于用户历史数据离线做用户行为分析,如果 Query 是网页,则需要离线或实时做网页语义分析.文本语义分析(又称文本理解.文本挖掘)技术研究基于词

学习笔记TF019:序列分类、IMDB影评分类

序列分类,预测整个输入序列的类别标签.情绪分析,预测用户撰写文字话题态度.预测选举结果或产品.电影评分. 国际电影数据库(International Movie Database)影评数据集.目标值二元,正面或负面.语言大量否定.反语.模糊,不能只看单词是否出现.构建词向量循环网络,逐个单词查看每条评论,最后单词话性值训练预测整条评论情绪分类器. 斯担福大学人工智能实验室的IMDB影评数据集: http://ai.stanford.edu/~amaas/data/sentiment/ .压缩ta

Word2Vec原理及代码

一.分布式词表示(Distributed Represantation) Word2Vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包,具体思想可由Tomas Mikolov的两篇论文一探究竟.此文是我对Word2Vec学习的总结.分布式词表示使用低维.稠密.连续的向量来表示词.它们通过“有指导”的方法直接学习词向量,也称为词嵌入(Word Embedding).它的发展历程由最初的LSA.LDA.NNLM发展到后来的诸如RNNLM.Word2Ve

文本情感分析(一):基于词袋模型(VSM、LSA、n-gram)的文本表示

现在自然语言处理用深度学习做的比较多,我还没试过用传统的监督学习方法做分类器,比如SVM.Xgboost.随机森林,来训练模型.因此,用Kaggle上经典的电影评论情感分析题,来学习如何用传统机器学习方法解决分类问题. 通过这个情感分析的题目,我会整理做特征工程.参数调优和模型融合的方法,这一系列会有四篇文章.这篇文章整理文本特征工程的内容. 文本的特征工程主要包括数据清洗.特征构造.降维和特征选择等. 首先是数据清洗,比如去停用词.去非字母汉字的特殊字符.大写转小写.去掉html标签等. 然后

学习笔记TF050:TensorFlow源代码解析

TensorFlow目录结构. ACKNOWLEDGMENTS #TensorFlow版本声明 ADOPTERS.md #使用TensorFlow的人员或组织列表 AUTHORS #TensorFlow作者的官方列表 BUILD CONTRIBUTING.md #TensorFlow贡献指导 ISSUE_TEMPLATE.md #提ISSUE的模板 LICENSE #版权许可 README.md RELEASE.md #每次发版的change log WORKSPACE #配置移动端开发环境 b

回望2017,基于深度学习的NLP研究大盘点

回望2017,基于深度学习的NLP研究大盘点 雷锋网 百家号01-0110:31 雷锋网 AI 科技评论按:本文是一篇发布于 tryolabs 的文章,作者 Javier Couto 针对 2017 年基于深度学习的自然语言处理研究进行了大盘点.雷锋网 AI 科技评论根据原文进行了编译. 在过去的几年里,深度学习(DL)架构和算法在诸如图像识别和语音处理等领域取得了世人瞩目的进步.然而在最开始的时候,深度学习在自然语言处理(Natural Language Processing, NLP)领域的

第十四章——循环神经网络(Recurrent Neural Networks)(第二部分)

本章共两部分,这是第二部分: 第十四章--循环神经网络(Recurrent Neural Networks)(第一部分) 第十四章--循环神经网络(Recurrent Neural Networks)(第二部分) 14.4 深度RNN 堆叠多层cell是很常见的,如图14-12所示,这就是一个深度RNN. 图14-12 深度RNN(左),随时间展开(右) 在TensorFlow中实现深度RNN,需要创建多个cell并将它们堆叠到一个MultiRNNCell中.下面的代码创建了三个完全相同的cel

1.中文NLP的完整机器处理流程

首先我们通过一张图来了解 NLP 所包含的技术知识点,这张图从分析对象和分析内容两个不同的维度来进行表达. 有机器学习相关经验的人都知道,中文自然语言处理的过程和机器学习过程大体一致,但又存在很多细节上的不同点,下面我们就来看看中文自然语言处理的基本过程有哪些呢? 获取语料 语料,即语言材料.语料是语言学研究的内容.语料是构成语料库的基本单元.所以,人们简单地用文本作为替代,并把文本中的上下文关系作为现实世界中语言的上下文关系的替代品.我们把一个文本集合称为语料库(Corpus),当有几个这样的