神经网络从被人忽悠到忽悠人(一)

为何取这标题呢,只是觉得目前人工智能只用于娱乐而已。

很早的时候就想写几篇关于人工智能的东西,把人工智能的东西写的通俗易懂点,但是毕竟人工智能的东西涉及的领域太广了,特别是对数学和概率有比较深的理解,如果只是想简单的了解,可以跳过文章的公式。

很难想象有什么事物会像廉价、强大、无处不在的人工智能那样拥有“改变一切”的力量。《必然》

前段时间的AlphaGo再次的把人工智能炒的火热,关于人工智能的讨论又再次进入讨论的风口浪尖上。各个方面对AlphaGo技术的猜测,神经网络也再次成为了技术的焦点。

一个看似简单的问题

给你一堆的图片,从图片中分出是猫,狗。归结成一个大问题:分类。本身来说,分类对计算机来说本该是最擅长的,本身0和1,就是很好的分类,编程语言的if else,swich,可以做到很好的分类。

像if else这种做法,似乎我们可以编写一套复杂的规则,这个规则覆盖所有的情况,就能够进行准确的分类了。但是这条路是走不通的,之前的自然语言处理就走过这条路。需要另外的选择一条出路。对,建模。通过模型来进行分类。

要让机器像人一样的思考,最好的办法就是让他的模型尽量的一样。莱特兄弟发明飞机时,并没有像之前一样利用翅膀,而是通过动力学原理。思考的机器如果靠的是规则下的专家系统,太过复杂,没有规律。最好的一条路是通过数学公式进行建模。

感知器

Hebb在1949年出版的《行为的组织》中,Hebb提出了其神经心理学理论。Hebb认为神经网络的学习过程最终是发生在神经元之间的突触部位,突触的联结强度随着突触前后神经元的活动而变化,变化的量与两个神经元的活性之和成正比。之后人们相继提出了各种各样的学习算法。康奈尔航空实验室心理学家Frank Rosenblatt 受到这种思想的启发,认为这个简单想法足以创造一个可以学会识别物体的机器,在1956年,创建了算法和硬件。1958年,Frank Rosenblatt在《 New York Times 》上发表文章《Electronic ‘Brain’ Teaches Itself.》,正式把算法取名为“感知器”。

1957年,Frank Rosenblatt 发布了算法模型:

1958年夏,Frank Rosenblatt受到美国海军的经费自助,并召开新闻发布会。《纽约时报》抓住了发布会的要点:
「海军透露了一种电子计算机的雏形,它将能够走路、说话、看、写、自我复制并感知到自己的存在……据预测,不久以后,感知器将能够识别出人并叫出他们的名字,立即把演讲内容翻译成另一种语言并写下来。」

现在来看这段话,就能看出Frank Rosenblatt靠谱的预见性了。可是这些事情在当时看来远超人们的想象,认为Frank Rosenblatt天方夜谭,像小孩子一样想象着未来。

感知器是有单层计算单元的神经网络,由线性元件及阀值元件组成。感知器如图所示。
再来看 神经网络的学习过程最终是发生在神经元之间的突触部位,突触的联结强度随着突触前后神经元的活动而变化,变化的量与两个神经元的活性之和成正比。 Frank Rosenblatt用数学的方法描述这个过程。

感知器的数学模型:

其中:f[.]是 阶跃函数 ,并且有

θ是阀值。
感知器的最大作用就是可以对输入的样本分类,故它可作分类器,感知器对输入信号的分类如下(A类,B类):

当感知器的输出为1时,输入样本称为A类;输出为-1时,输入样本称为B类。从上可知感知器的分类边界是:

在输入样本只有两个分量X1,X2时,则有分类边界条件:



也可写成

这时的分类情况如图所示。

感知器算法

感知器的学习算法: 目的在于找寻恰当的权系数(W1…Wn),使系统对一个特 定的样本(X1…Xn)能产生期望值d。
感知器学习算法步骤如下:

  1. 对权系数置初值。
  2. 输入一样(X1…Xn)本以及它的期望输出d。
    期望输出值d在样本的类属不同时取值不同。如果是A类,则取d=1,如果是B类,则取-1。期望输出d也即是教师信号。
  3. 计算实际输出值。
  4. 根据实际输出求误差e。
  5. 用误差e去修改权系数。
  6. 转到第2点,一直执行到一切样本均稳定为止。

感知器是整个神经网络的基础,神经元通过激励函数确定输出,神经元之间通过权值进行传递能量,权重的确定根据误差来进行调节(这个就是学习的过程),这个方法的前提是整个网络是收敛的。这个问题,1957年Frank Rosenblatt证明了这个结论。

或许这才是开始

但是1969年,Minsky 和Papert所著的《Perceptron》一书出版,该书从数学角度证明了关于单层感知器的计算具有根本的局限性,指出感知器的处理能力有限,甚至连XOR这样的问题也不能解决,并在多层感知器的总结中,论述了单层感知器的所有局限性在多层感知器中是不可能被全部克服的。神经网络进入了萧条期。

Marvin Minsky是“人工智能之父”,1970年,Minsky获得了计算机科学界最高奖项——图灵奖(the Turing Award),同时他也是第一位获此殊荣的人工智能学者。2016 年1月24日,上帝着需要人工智能,带走了Marvin Minsky,享年89岁。

这才是开始,2004年IEEE Frank Rosenblatt Award成立,Frank Rosenblatt被尊称为神经网络的创立者。

神经网络开启了人类对大脑的模拟形式,一种新型对大脑的建模,在这条路上后续有更多的科学家前仆后继,我们是树下乘凉的人。

(未完待续)

from: http://datartisan.com/article/detail/108.html

时间: 2024-12-23 05:55:18

神经网络从被人忽悠到忽悠人(一)的相关文章

人的烦恼来自人的欲望,人的欲望来自人的能力

人的烦恼来自人的欲望,人的欲望来自人的能力. 能力越强,欲望越大,欲望越大,则烦恼越多. 所以,欲望少一分,则烦恼少一分,快乐便多一分. 也许正如<庄子·列御寇>中所说,“巧者劳而知者忧,无能者无所求.饱食而遨游,泛若不系之舟,虚而遨游者也”. 还有一首诗: 铁甲将军夜渡关, 朝臣待漏五更寒. 山寺日高僧未起, 算来名利不如闲. 表达的大概也是这个意思吧.

神经网络从被人忽悠到忽悠人(五)

前面一节讲过,Vladimir Vapnik的出现,在神经网络的发展过程中起到了很关键的作用,而这种所谓的作用就是挑战.Vladimir Vapnik到底提出了什么理论能有这么大的影响呢?大家都非常熟悉的分类方法:支持向量机(SVM)Vladimir Vapnik 支持向量机(SVM) Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则.其原理也从线性可分说起,然后扩展到线性不可分的情况.甚至扩展到使用非线性函数中去,这种分类器被称为支持向量机(Support Ve

神经网络从被人忽悠到忽悠人(二)

引子 Minsky说过神经网络无法解决异或问题.60年代关于神经网络的研究还取得了一定的进展,但是都没有取得重大的突破.70年代,神经网络的研究进入了萧条期,人工智能里产生了许多不同的方向,神经网络,好像被人们所忘记. 直到1986年,David Rumelhar和Geoffery Hinton等人提出了反向传播(Backpropagation,BP)算法,解决了两层神经网络所需要的复杂计算量问题,克服了Minsky说过神经网络无法解决异或问题,该算法是对神经网络受到批判的一个有力的回答. 其中

神经网络从被人忽悠到忽悠人(三)

引子 在上一章,讲过bp神经网络虽然取得了很大的进步,但它本身存在着一些无法避免的问题,其中一个比较困惑的应该是局部最优解问题. 只接触那些你已经喜欢的东西是有风险的,即你可能会卷入一个以自我为中心的漩涡,从而对任何与你的标准存在细微差异的事情都视而不见,即使你原本会喜欢它.这种现象被称为“过滤器泡沫”(filter bubble),技术术语是“过适”(overfitting). — 必然 所谓的局部最优解的问题就是:卡在一个小高点的位置,而却认为自己在最高点,导致训练提前结束. 很多优化的算法

除皮卡丘让人疯狂、让人晕外,任天堂还干过的晕眩囧事

如果有一款超有趣的游戏机,但只能玩15分钟,你会喜欢吗? 文/张书乐 原载于<人民邮电报>2016年8月12日<乐游记>专栏114期 在手机游戏<口袋妖怪Go>大获成功的一片赞美声中,人们似乎看到了AR和VR未来在娱乐和商业领域无可限量的前景.但事物总具有两面性,接下来,我们真的要"黑"一下奇迹创造者任天堂. 比其他游戏巨头更具有创新"基因"的任天堂,总是在"黑科技"的九死一生中跌宕起伏.先谈一件往事,依然和口

同步函数 生产者和消费者模式 加强版(多人生产和多人消费)

曾经搞了半天, 生产者和消费者模式  加强版(多人生产 多人消费 ).. 以前的代码格式就不再吐槽了(以后努力改进) //输出结果是一个无限循环 import java.util.concurrent.locks.Condition; import java.util.concurrent.locks.Lock; import java.util.concurrent.locks.ReentrantLock; /** * 多个生产者&多个消费者模式 * 多个生产者不断生产,多个消费者不停的消费

人件札记:人血馒头

前言:相信鲁迅先生的<人血馒头>无人不知,血馒头可以拯救一个要死的命.大家都知道,这是个骗局. 来一个好的架构师,然后项目谁走谁留都无所谓 这是今天上级给我的建议,说他的朋友给他提过这样的想法:让一个牛逼的架构师架构好项目,然后找一些大学生填填代码,项目就完成了,谁走了,下一个谁就可以立马上任,这样就OK了. 这又是一个神话,很多有"理想"的人都喜欢编织这样的"巴比伦",简直在他们看来,这就是个解决问题的完美解决方案. 我不知道提出这样观点的人,是否真正

印度北方邦一发电厂爆炸 致9人死亡100余人受伤hh

生活中有这样的现象,主要领导者利用制度漏洞,把个人意志强加于集体,集体决策成为变相的个人决策,当然要由个人负责"张军向记者描述,现场已经有很多群众被砍伤,如果不果断处置,这伙暴徒还可能继续伤及更多无辜群众,造成更大伤亡.特别之处在于,用户在使用的时候不需要检索确切的歌手.曲名,其倾向于引导引导用户使用自然语言搜索,然后为用户推荐音乐.公司秉承中国农业文明传统,致力于中国现代农业装备的推广与应用.但如果不在店里上保险,就没有20万的优惠了.好在事情比较顺利,比对了100多条信息后,小女孩在宁波的户

适度冷淡的人,是很多人应该学会做的事。

在芬兰漫画家Karoliina Korhonen创作的漫画中,头戴着芬兰帽的圆球人马蒂,十分生动地诠释了这种距离感在芬兰人生活中的日常体现 这并不是不友好,相反,他们为了照顾对方的感受,宁愿选择牺牲自身利益.正因为"人们总是有办法进入别人的生活",所以,维护一份界限感,选择不去介入的"冷漠",才是真正的慈悲与温暖. 人的烦恼,往往把别人的事当成自己的事,替老天操心整个世界.正是因为知道,亲密无间容易翻船,泾渭分明又了无意趣,只有诚恳而不逾矩,尊重但不干涉,才是真正成