Natural Language Processing with Python - Chapter 0

一年之前,我做梦也想不到会来这里写技术总结。误打误撞来到了上海西南某高校,成为了文科专业的工科男,现在每天除了膜ha,就是恶补CS。导师是做计算语言学的,所以当务之急就是先自学计算机自然语言处理,打好底子准备做科研(认真脸)。

进入正题,从图书馆找了本“Natural Language Processing with Python” (影印版),书长这个样子,作者是Steven Bird, Ewan Klein和Edward Loper。粘贴个豆瓣链接供参考:https://book.douban.com/subject/5336893/

对于本书,读者大多将其定义为:NLTK的工具书(再加个“入门级”的定语或许更佳恰当),理论性还有待深入。但是对于小白来讲先刷一遍再说,简单、粗暴、实用、能迅速上手才是王道!

顺便再说一下为什么要选Python,其实对于小白来讲,与其浪费时间去纠结学什么编程语言,不如花时间去多敲几行代码。Python语言本身好不好小白我没资格评价,但是这里必须要说一句Python有很多功能强大的第三方工具包(package),这些工具包是解决具体学科具体问题的利器!比如在自然语言处理方面,NLTK(Natural Language Toolkit)功能及其强大。

好了,这次终于能进入正题了。Chapter 0可以视为学习前的准备工作,正所谓“工欲善其事,必先利其器”。

IDE: PyCharm

IDE我选了PyCharm,据说很好用。下载及安装方法如下:

1.Python官网下载Python,打开terminal,输入python显示版本信息

2.下载Python开发的IDE PyCharm,Professional版的激活码可以求助度娘


关于Python文件编码声明

1.位置:必须放在python文件的第一行或第二行

2.格式:a. 带等于号的

1 #coding=<encoding name>

b. 带冒号的,最常见,大多数编辑器都可以识别

1 #!/usr/bin/python
2 # -*- coding: <encoding name> -*-             

c. vim的:

1 #!/usr/bin/python
2 # vim: set fileencoding=<encoding name>

3.作用:告诉python interpreter如何解释字符串的编码

如果没有文件编码类型声明,则python默认以ASCII编码去处理。

如果没有声明代码,但是文件中又包含非ASCII编码的字符的话,python解释器去解释python文件自然会报错。

4.例子:第一行说明脚本语言是python的;第二行用来指定文件编码为utf-8的 。

1 #!/usr/bin/python
2 # -*- coding: utf-8 -*-                          

5.注意:单个python源码文件中只允许用单一的编码,不允许嵌入多种编码,否则会报错!!!

6.Python分词器+编译器工作逻辑:

a. 读取文件

b. 不同的文件,根据其声明的编码去解析为Unicode

c. 转换为UTF-8字符串

d. 针对UTF-8字符串去分词

e. 编译之,创建Unicode对象

7.UTF-8: 8-bit Unicode Transformation Format,是一种针对Unicode的可变长度字符编码,又称万国码。

总之,要想让Python程序支持中文,就需要在Python源文件开头加上这样一段编码声明。


My First Python Program - Hello World!

1.File --> New Project --> 选择Project的保存路径(个人感觉很像R语言中working directory的设定)

2.右键刚刚建好的project --> New --> Python File --> 给File命个名(个人感觉这就是脚本文件,类似于R语言中的script)

3.敲入文件编码声明(其实并不必要,因为我们输入英文"Hello World!",而不是中文)

4.Hello World

1 print ("Hello World!") 

5.这时会发现运行及调试按钮(绿色三角形)是灰色的,因为我们还没有设置控制台。


python设置控制台

1.点击运行旁边的黑色倒三角,进入Run/Debug Configurations配置界面(或者Run —> Edit Configurations)

2.点击绿色加号,新建一个配置项,并选择python(因为是用源代码是python程序)

3.配置界面里Name一栏写一个名字,点击Script选项,找到刚才写的 .py 文件

4.点击OK,自动返回编辑界面,这时运行及调试按钮全部变绿

5.点击运行,观看输出结果


Installing Packages in PyCharm - Mac

1.Pycharm —> preference —> project interpreter

2. +  for adding packages

-   for deleting packages

-> for updating packages


NLTK (Natural Language Toolkit)

通过输入以下代码,调用NLTK这个包,然后下载我们所需的data sets(实际上就是书中所用的语料)

1 import nltk
2 nltk.download()

Run and you will get to the NLTK Downloader

The Collections tab on the downloader shows how the packages are grouped into sets, and you should select the line labeled book to obtain all data required for the examples and exercises in this book.

我表示下载速度让人捉鸡,虽然MIT (Minhang Institute of Technology,译作:闵行男子职业技术学院)的网速相当快,而且不用交网费!!!


吃饭前,还是要膜一下!遛了。

时间: 2024-10-10 16:20:12

Natural Language Processing with Python - Chapter 0的相关文章

&lt;Natural Language Processing with Python&gt;学习笔记二

用Enthought Canopy作图果然方便.昨天频频出现无法识别pylab模块的异常,今天终于搞好了.以下是今天出来的图:

A curated list of speech and natural language processing resources

A curated list of speech and natural language processing resources At Josh.ai, we’re often asked for developer resources relating to natural language processing, machine learning, and artificial intelligence. Paul Dixon, a researcher living in Kyoto

natural language processing

基于python 自然语言处理工具包 :NLPT(natural language processing toolkit)  ,安装时 sudo pip -U install nltk NLPT的网址 Natural language processing toolkits Name Language License Creators Website Apertium C++, Java GPL (various) [1] Deeplearning4j Java, Scala Apache 2.

NLP(Natural Language Processing)

https://github.com/kjw0612/awesome-rnn#natural-language-processing 通常有: (1)Object Recognition (2)Visual Tracking (3)Image Generation (4)Video Analysis NLP: (1)Language Modeling (2)Speech Recognition (3)Machine Translation (4)Conversation Modeling (5)

Coursera, Deep Learning 5, Sequence Models, week2, Natural Language Processing &amp; Word Embeddings

Word embeding 给word 加feature,用来区分word 之间的不同,或者识别word之间的相似性. 因为t-SNE 做了non-liner 的转化,所以在原来的3000维空间的平行的向量在转化过后的2D空间里基本上不会再平行. 看两个向量的相似性,可以用cosine similarity. 原文地址:https://www.cnblogs.com/mashuai-191/p/8977909.html

CS224d: Deep Learning for Natural Language Process

Course Description Teaching Assistants Peng Qi Course Notes (updated each week) Detailed Syllabus Class Time and Location Spring quarter (March - June, 2015).Lecture: Monday, Wednesday 11:00-12:15Location: TBD Office Hours Richard: Wed 12:45 - 2:00,

Deep Learning for Natural Language Processing1

Focus, Follow, and Forward Stanford CS224d 课程笔记 Lecture1 Stanford CS224d 课程笔记 Lecture1 Stanford大学在2015年开设了一门Deep Learning for Natural Language Processing的课程,广受好评.并在2016年春季再次开课.我将开始这门课程的学习,并做好每节课的课程笔记放在博客上.争取做到每周一更吧.本文是第一篇. NLP简介 NLP,全名Natural Languag

如何将 Cortana 与 Windows Phone 8.1 应用集成 ( Voice command - Natural language recognition )

随着 Windows Phone 8.1 GDR1 + Cortana 中文版的发布,相信有很多用户或开发者都在调戏 Windows Phone 的语音私人助理 Cortana 吧,在世界杯的时候我亲测 Cortana 预测德国和阿根廷的比赛很准的.(题外话扯远了),可是作为开发者我们怎么将Cortana集成到应用中呢,今天我用一点时间给大家介绍一下如何使用 voice command 集成 Windows Phone 8.1 的应用. 首先要明确两个名词 Voice command & Voi

Notes on learning c++: chapter 0

chapter 0 0.2    program(application or software): a set of instructions;   machine code(machine language or instruction set): limited set of instructions that a CPU natively understand; 1) instruction is composed of a number of binary digits(bit):MI