自然语言处理

  自然语言处理是人工智能的一大分支,本文简要介绍自然语言处理的基本内容,作为总结。

  用自然语言与计算机通信,这是人们长期以来所向往的。这主要有两点好处,第一:人们不再需要学习各种计算机语言,直接使用自己平时所熟悉的语言就好了。第二:让人们更加深入的了解人类语言能力和智能的机制。  实现这个既需要计算机能够理解人们表达的意思,又能够组织词汇进行表意输出从而完成对话。现在实用的自然语言处理的系统有:多种数据库和专家系统的自然语言的接口、各种机器翻译系统、全文检索系统、自动文摘系统等,但是这些系统所达到的效果距离人们所期望的“人机对话”距离还十分遥远,目前实现的都是些基本的功能。

  实现人机之间的自然语言通信最核心的问题是:自然语言文本和对话的各个层次上存在各种各样的歧义性。歧义现象的存在使得消除他们需要大量知识与推理。更深层次上要求我们先弄明白:人类大脑是如何进行语言的模糊识别和逻辑判断。

  自然语言处理基础理论:自动机、形式逻辑、统计机器学习、汉语语言学、形式语法理论

                   语言资源:语料库、词典

        关键技术:汉子编码、词法分析、句法分析、语义分析、文本生成、语音识别

        应用系统:文本分类和聚类、信息检索和过滤、信息抽取问答系统、拼音汉字转换系统、机器翻译、新信息检索等

  争论:发展限制的解决办法有两个方向:1.语言学家倾向于创新基础理论      2.工程师倾向于由已有的方法的完善和优化

  难点:1.单词的边界界定      我们知道在口语中,字与字之间是没有刻意的停顿的,我们之所以明白意思是因为我们的大脑对听到的字进行了编排划分成最恰当最合适的组合。在书写上同样如此。

     2.词义的消除歧义    同一个单词有不同的意思,我们需要选取单词最为通顺的解释

       3.句法的模糊性     自然语言的文法通常是模棱两可的,针对一个句子的词语可以编排出不同的逻辑意义出来,我们必须根据前后文来确定最合适的意义。

       4.有瑕疵和不规范的输入        遇到方言就呵呵了

       5.语言行为与计划              这个主要是语义上的理解与未来的执行。比如说“你能帮我拿一本书嘛?”   直接拿一本书过去要比回答“能”好。就算回答“不能”或者“太远了我拿不到”都比回答“能”然后待着不动要好。  再者,如果一门课程上一年没开设,对于提问“这门课程去年有多少学生没通过?”回答“去年没开这门课”要比回答“没人没通过”好。

  总括性的介绍完之后,来细致的认识自然语言处理的技术里程碑。

参考阅读:[1]自然语言处理技术的三个里程碑  微软亚洲研究院   黄昌宁 张小凤  2002.5

[2]http://baike.baidu.com/view/18784.htm  百度百科之自然语言处理

时间: 2024-10-09 22:18:18

自然语言处理的相关文章

深度学习与自然语言处理之四:卷积神经网络模型(CNN)

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 大纲如下: 1.CNN基础模型 2.单CNN模型的改进    2.1对输入层的改进    2.2Convolution层的改进    2.3Sub-Sampling层的改进    2.4全连接层的改进 3.多CNN模型的改进 4.探讨与思考 扫一扫关注微信号:"布洛卡区" ,深度学习在自然语言处理等智能应用的技术研讨与科普公众号.

Python自然语言处理工具小结

Python自然语言处理工具小结 作者:白宁超 2016年11月21日21:45:26 1 Python 的几个自然语言处理工具 NLTK:NLTK 在用 Python 处理自然语言的工具中处于领先的地位.它提供了 WordNet 这种方便处理词汇资源的借口,还有分类.分词.除茎.标注.语法分析.语义推理等类库. Pattern:Pattern 的自然语言处理工具有词性标注工具(Part-Of-Speech Tagger),N元搜索(n-gram search),情感分析(sentiment a

大数据文本分析:灵玖自然语言中文语义分词系统

自然语言通常是指一种自然地随文化演化的语言.英语.汉语.日语为自然语言的例子,而世界语则为人造语言,即是一种为某些特定目的而创造的语言. 自然语言具备两个属性:语言属性与自然属性."语言"属性表现为公认的某些约定俗成的内在规律性;"自然"属性是说并不存在某个人为制造的.严格的语法规则体系来约定人们的语言表达方式,这是和程序设计语言大相径庭的.自然语言需要遵循一定的内在规律,但更大程度上是"存在即合理". 一个自然语言处理系统必须考虑许多语言自身与

【行业聚焦】畅捷通用自然语言技术颠覆企业应用人机交互模式!

2016年7月30日,由崔牛会主办的主题为"小技术·大场景"的2016中国企业互联网技术论坛圆满落幕.活动现场20多位顶级技术专家,近千名行业技术大咖一起交流学习,商讨技术对未来商业模式的影响 ,洞察TO B领域的趋势和变革.畅捷通深度参与了此次大会,技术委员会主席李鲲带来了主题分享:自然语言处理在企业应用领域的实践,与行业专家一起深度讨论了企业SaaS未来的发展趋势. 颠覆企业级人机交互自然语言技术 自然语言处理技术正在日常生活中迅速普及,并给大家带来了很多方便.畅捷通经过三年多的技

深度学习与自然语言处理(2)_斯坦福cs224d Lecture 2

原文作者:Rohit Mundra, Richard Socher 原文翻译:@熊杰([email protected]) && @王昱森 内容调整与校对:寒小阳 && 龙心尘 特别鸣谢:@面包包包包包同学的帮助 时间:2016年6月 出处:http://blog.csdn.net/han_xiaoyang/article/details/51648483 http://blog.csdn.net/longxinchen_ml/article/details/5164853

Python自然语言工具包(NLTK)入门

在本期文章中,小生向您介绍了自然语言工具包(Natural Language Toolkit),它是一个将学术语言技术应用于文本数据集的 Python 库.称为“文本处理”的程序设计是其基本功能:更深入的是专门用于研究自然语言的语法以及语义分析的能力. 鄙人并非见多识广, 语言处理(linguistic processing) 是一个相对新奇的领域.如果在对意义非凡的自然语言工具包(NLTK)的说明中出现了错误,请您谅解.NLTK 是使用 Python 教学以及实践计算语言学的极好工具.此外,计

自然语言处理怎么最快入门?

http://www.zhihu.com/question/19895141 stanford NLP课程网址 https://class.coursera.org/nlp/lecture 14 个回答 赞同337反对,不会显示你的姓名 吴俣,自然语言处理民工 杨泽.林斌.王汪汪 等人赞同 推荐<数学之美>,这个书写得特别科普且生动形象,我相信你不会觉得枯燥.这个我极力推荐,我相信科研的真正原因是因为兴趣,而不是因为功利的一些东西. 接下来说,<统计自然语言处理基础>这本书,这书实

python自然语言处理1——从网络抓取数据

python自然语言处理1--从网络抓取数据 写在前面 本节学习python2.7 BeautifulSoup库从网络抽取数据的技术,检验之简而言之就是爬虫技术.网络编程是一门复杂的技术,在需要基础的地方,文中给出的链接地址,都是很好的教程,可以参考,我在这里不在重复发明轮子.本节的主旨在于: 帮助快速掌握基本爬虫技术,形成一条主线,能为自己的实验构造基础数据.掌握爬虫技术后,可以从网络抓取符合特定需求的数据供分析,这里学习的爬虫技术适用于数据挖掘.自然语言处理等需要从外部挖掘数据的学科. 1.

自然语言处理(3)之条件频率分布

自然语言处理(3)之条件频率分布 条件频率分布式频率分布的集合,每个频率分布有一个不同的条件. 从下面的例子就可以看出,cfd就是两个条件(news,romance)的频率分布集合 1 >>> cfd=nltk.ConditionalFreqDist( 2 ... (genre,word) 3 ... for genre in ['news','romance'] 4 ... for word in brown.words(categories=genre)) 5 >>>

自然语言处理哪家强?

自然语言处理哪家强? 摘要:语音交互事关未来,这点从大公司收购.投资.合作不断,就可见一斑.如苹果收购Siri.Novauris.Google收购多项语音识别技术专利.Facebook收购Wit.ai等.Amazon收购Yap--目前,基本上所有的巨头都有涉足. 语音交互事关未来,国内外已经不少公司在抢蛋糕了,大公司收购.投资.合作不断,就可见一斑.目前,基本上所有的巨头都有涉足. 苹果收购Siri.Novauris,组建基于神经网络算法的语音识别团队 2014 年7月,有消息称,苹果正在联系多