数学之美-2自然语言处理-从基于规则到基于统计的转变

<数学之美>知识点详细总结 原创作品, 转载请注明出处:[ Mr.Scofield  http://blog.csdn.net/scotfield_msn/article/details/69264939  ] From`RxNLP`Scofield 未完待续-- <数学之美>这本书在本科期间电子版上偶尔进行了翻阅,后来有时间了就完整的进行了阅读.出于老习惯,看完一本书后总会去总结书本的知识点层次框架,以更好地融入到原有的框架中.尤其是现入坑NLP,作为入门书,更应是好好吸收下.

自然语言的处理,主要是实现人与计算机之间用自然语言进行有效通信的方法和理论,它经历了从规则到统计的阶段,所谓规则,是指根据定义的语法进行语言的处理,所谓统计,是指IBM为解决语音识别问题提出的自然语言处理的方法,基于统计学. 1946年,现代计算机诞生,人类开始考虑通过计算机来处理自然语言,主要涉及两个认知方面的问题:第一,计算机是否能处理自然语言:第二,如果能,它处理自然语言的方法是否和人类一样.现代自然语言处理的高速发展,说明了这两个问题的答案都是肯定的. 计算机科学之父阿兰·图灵最早提出了

参考书籍:<数学之美> 吴军著 任何语言都是一种编码方式,语言的规则则是编解码的算法. 1. 计算机能否处理自然语言?如果能,它处理自然语言的方法和人类一样吗? Yes and Yes(上下文相关的.基于语料统计的方法) 2. 图灵测试:让人和机器进行交流,如果人无法判断自己交流得对象是人还是机器,就说明这个机器是有智能的. 3. 基于规则的句法分析("鸟飞派"):语法分析.语义分析-->失败:语法规则过多,计算量太大(甚至相互矛盾)+ 语义的多义性严重依赖上下文 高

文字.数字.语言 .信息 数字.文字和自然语言一样,都是信息的载体,他们的产生都是为了记录和传播信息. 但是貌似数学与语言学的关系不大,在很长一段时间内,数学主要用于天文学.力学. 本章,我们将回顾一下信息时代的发展,看语言学如何慢慢与数学联系起来的. 信息 最开始的时候,人类会用声音来传播信息. 这里面的信息的产生.传播.接收.反馈,与现在最先进的通信在原理上没有任何差别. 因为早期人类需要传播的信息量不多,所以不需要语言文字. 但是当人类进步到一定的程度的时候,就需要语言了. 所以我们的祖先

其实准备读<数学之美>这本书,是从很久开始的.记得去年夏天的时候,是读了<浪潮之巅>,然后就认识了吴军这样的一个人,很喜欢他的写作风格.于是就准备读<数学之美>的. <数学之美>这本书,本身和<浪潮之巅>一样,已经在众多的读者中有了一个很好的口碑了,吴军博士本身的才学和研究,对于更多的人来说,也形成了一种尊重的心理.在我读了<浪潮之巅>后,有种很厚重的历史沧桑感堆积于胸.不得不承认<浪潮之巅>对于我的影响. <数学之

转载自:http://mindhacks.cn/2008/09/21/the-magical-bayesian-method/ 概率论只不过是把常识用数学公式表达了出来. ——拉普拉斯 记得读本科的时候,最喜欢到城里的计算机书店里面去闲逛,一逛就是好几个小时:有一次,在书店看到一本书,名叫贝叶斯方法.当时数学系的课程还没有学到概率统计.我心想,一个方法能够专门写出一本书来,肯定很牛逼.后来,我发现当初的那个朴素归纳推理成立了——这果然是个牛逼的方法. ——题记 目录 0. 前言 1. 历史   

数学之美总结 数学 机器学习应用方法 自然语言处理 读这本书也有一段时间了.今天终于读完了最后的一页,感触多多,吴军先生用简单的语言很好的给读者解释了什么才是数学,数学与现实中到底有什么关系,让我这种对数学恨了十四年的人一下子找到了学习数学的兴趣,让我对当年说的"我不懂 log 照样活30岁,而且活的照样好"有了一种新的理解.数学与我们的生活息息相关. 第一章通过一些例子讲述了信息是什么,和数学究竟有什么联系,让我逐步的对这本书产生了一些兴趣.很经典的一个观点:"为什么我们祖

吴军的这本数学之美从google黑板报到实体书出版应该说一直都是比较火的,吴军博士作为早期加入google的那帮人,一直在搞搜索引擎的方向,除了本身是大牛还跟很多大牛一起共事过,眼界.见识.思维高度也不是一般人能比的.下面是一些凌乱的总结. 1.整个信息论的基础就是数学.如果往更远看,我们自然语言和文字的起源背后都受着数学规律的支配. 2.人们生活的经验作为一种特定的信息,其实是那个时代最宝贵的财富.(读者注:其实现在也是!) 3.信息冗余是信息安全的保障. 4.事实上,他们全靠的是数学,更准确

数学之美番外篇:平凡而又神奇的贝叶斯方法 BY 刘未鹏 – SEPTEMBER 21, 2008POSTED IN: 数学, 机器学习与人工智能, 计算机科学 概率论只不过是把常识用数学公式表达了出来. ——拉普拉斯 记得读本科的时候,最喜欢到城里的计算机书店里面去闲逛,一逛就是好几个小时:有一次,在书店看到一本书,名叫贝叶斯方法.当时数学系的课程还没有学到概率统计.我心想,一个方法能够专门写出一本书来,肯定很牛逼.后来,我发现当初的那个朴素归纳推理成立了——这果然是个牛逼的方法. ——题记 目