首先,机器学习是人工智能的一个分支,是人工智能发展到一定阶段的必然产物。
人工智能简史
推理期:二十世纪五十年代到七十年代;认为只要赋予机器逻辑推理能力,机器就具有了智能。
- 代表人物:A. Newell and H. Simon. 面临的问题:具有推理能力远远不够实现智能。
知识期:盛行于二十世纪七十年代中期;认为使机器具有智能,必须具备知识。
- 代表人物:E. A. Feigenbaum. 面临的问题:很难把人总结出来的知识再教给计算机。
机器学习期:当今时代;让机器自己学习知识,以获得智能。
机器学习简史
E.A.Feigenbaum对机器学习的划分:机械学习,示教学习,类比学习和归纳学习。其中归纳学习,即是从样例中学习,被研究最多应用最广,发展包括:
符号主义学习:盛行于二十世纪八十年代;代表包括决策树(Decision Tree)和基于逻辑的学习。
- 决策树学习:以信息论为基础,以信息熵的最小化为目标,直接模拟了人类对概念进行判定的树形流程。
- 基于逻辑的学习:代表为逻辑程序设计(Inductive Logic Programming,ILP)。
连接主义学习:二十世纪九十年代中期之前的另一大主流;基于神经网络,D.E.Rumelhart 的BP算法对连接主义学习的推广与应用,起到深远。
- 特点:连接主义学习产生的是“黑箱”模型,从知识获取的角度有明显弱点(不像符号主义);但是BP算法,使得它在很多问题上发挥作用。
- 最大局限:试错性,其学习过程涉及大量参数,而参数的设置缺乏理论指导,主要靠手工调参;夸张一点说,参数调节上失之毫厘,学习结果可能差之千里。因此,在二十世纪九十年代中期,研究热度冷却了下来。
- 二十一世纪初,又卷土从来,原因:深度学习的发展。深度学习,狭义地说即是有很多层的神经网络,在语音,图像等复杂对象的应用中性能很好。两个促成深度神经网络优越性能的因素:大量数据和高性能计算。
统计学习:二十世纪九十年代中期开始成为主流;代表技术为支持向量机(SVM)和更一般的核方法(Kernel Methods)。
- 事实上,统计学习与连接主义学习有密切的联系。在SVM被普遍接受之后,核技术被应用到了机器学习的几乎每一个角落。
参考:西瓜书
原文地址:https://www.cnblogs.com/sanlangHit/p/11624839.html
时间: 2024-10-18 22:07:21