01-01 机器学习

目录

  • 机器学习
  • 一、学习目标
  • 二、人工智能
  • 三、机器学习
    • 3.1 机器学习基本术语
  • 四、深度学习
  • 五、机器学习分类
    • 5.1 监督学习

      • 5.1.1 回归问题
      • 5.1.2 分类问题
    • 5.2 无监督学习
      • 5.2.1 聚类
    • 5.3 半监督学习
    • 5.4 强化学习
  • 六、Python语言的优势
  • 七、小结

更新、更全的《机器学习》的更新网站,更有python、go、数据结构与算法、爬虫、人工智能教学等着你:https://www.cnblogs.com/nickchen121/

机器学习

可能有很多同学想到高大上的人工智能、机器学习和深度学习,会在怀疑我是否能学会。在自我怀疑之前,我希望你能考虑一个问题,你了解机动车的构造原理吗?难道你不了解机动车的构造就不能开车了吗?我们的机器学习也是如此,你只要拿到一张“驾驶证”,你就能很好的应用它,并且能通过本文的学习,快速的为公司、为企业直接创造价值。

机器学习已经不知不觉的走入了我们的生活,我们可能无法干涉它的崛起,也可能无法创建如十大算法一样的算法。但现如今生活的方方面面都有着机器学习的身影,为什么我们不试着去认识它呢,让我们能在机器学习彻底降临之前做好驾驭它的准备呢?

一、学习目标

  1. 了解人工智能、机器学习和深度学习之间的区别
  2. 掌握机器学习中的监督学习和无监督学习问题

二、人工智能

人工智能(artificial intelligence, AI):通过机器来模拟人类认知的技术。

人工智能被新闻媒体吹捧的让人遥不可及,但是细心的你可能会发现人工智能其实已经走入了我们的生活,并且已经步入以下几个领域。

  1. 人脸识别应用中,他根据输入的照片,判断照片中的人是谁
  2. 医疗诊断中,他根据输入的医疗影像,判断疾病的成因
  3. 语音识别中,他根据人说话的音频信号,判断说话的内容
  4. 电子商务网站中,他根据用户曾经的购买记录,预测用户感兴趣的商品,网站进而达到推荐商品的目的
  5. 自动驾驶应用中,他根据对当前汽车所处情况的分析,判断汽车接下来的速度和方向
  6. 金融应用中,他根据股票曾经的价格和其他交易信息,预测股票未来的价格走势
  7. 围棋对弈中,他根据当前的盘面形式,预测在哪个地方落子胜率最大(2016年3月的alphago大战李世石)
  8. 基因测序应用中,他根据对人的基因序列的分析,预测这个人未来患病的可能性
  9. 智能家居、智能玩具、网络安全……

最后,引用《终极算法》中的一段话:"我们可能无法阻挡人工智能发展的趋势,但是我们可以学会和他做朋友。"

三、机器学习

机器学习(machine learning):通过学习获得进行预测或判断的能力的人工智能。

机器学习是人工智能实现的一种方法(算法)。他主要是从已知数据中去学习数据中蕴含的规律或者判断规则,也可以理解成把无序的信息变得有序,然后他通过把这种规律应用到未来的新数据上,并对新数据做出判断或预测。

例如某个机器学习算法从全球70亿人类的数据集中学得了某种判断规则,这个判断规则可以通过输入Nick老师的身高180cm、体重70Kg,判断他是个帅哥。

3.1 机器学习基本术语

# 机器学习基本术语图例
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
# 显示plt.show()的图片,如若不使用jupyter,请注释
%matplotlib inline
# 中文字体设置,找到与之对应的中文字体路径
font = FontProperties(fname='/Library/Fonts/Heiti.ttc')

# 样本
plt.text(1, 70, s='{身高(180),体重(70),年龄(19),五官(精致)',
         fontproperties=font, fontsize=13, color='g')
plt.annotate(text='样本', xytext=(90, 70), xy=(78, 71), ha='center', arrowprops=dict(
    arrowstyle="<-", color='b'), fontproperties=font, fontsize=15, color='r')
plt.annotate(text='特征', xytext=(30, 90), xy=(10, 73), ha='center', arrowprops=dict(
    arrowstyle="<-", color='b'), fontproperties=font, fontsize=15, color='r')
plt.annotate(text='', xytext=(30, 90), xy=(30, 73), ha='center', arrowprops=dict(
    arrowstyle="<-", color='b'), fontproperties=font, fontsize=15, color='r')
plt.annotate(text='', xytext=(30, 90), xy=(50, 73), ha='center', arrowprops=dict(
    arrowstyle="<-", color='b'), fontproperties=font, fontsize=15, color='r')
plt.annotate(text='', xytext=(30, 90), xy=(70, 73), ha='center', arrowprops=dict(
    arrowstyle="<-", color='b'), fontproperties=font, fontsize=15, color='r')

plt.hlines(67, 0, 100, linestyle='--', color='gray')

# 特征
plt.text(1, 40, s='{身高(180),体重(70),年龄(19),五官(精致),帅}',
         fontproperties=font, fontsize=10, color='g')
plt.annotate(text='样例(实例)', xytext=(90, 40), xy=(70, 41), ha='center', arrowprops=dict(
    arrowstyle="<-", color='b'), fontproperties=font, fontsize=15, color='r')
plt.annotate(text='特征', xytext=(30, 60), xy=(8, 43), ha='center', arrowprops=dict(
    arrowstyle="<-", color='b'), fontproperties=font, fontsize=15, color='r')
plt.annotate(text='', xytext=(30, 60), xy=(23, 43), ha='center', arrowprops=dict(
    arrowstyle="<-", color='b'), fontproperties=font, fontsize=15, color='r')
plt.annotate(text='', xytext=(30, 60), xy=(38, 43), ha='center', arrowprops=dict(
    arrowstyle="<-", color='b'), fontproperties=font, fontsize=15, color='r')
plt.annotate(text='', xytext=(30, 60), xy=(53, 43), ha='center', arrowprops=dict(
    arrowstyle="<-", color='b'), fontproperties=font, fontsize=15, color='r')
plt.annotate(text='标记', xytext=(67, 60), xy=(67, 43), ha='center', arrowprops=dict(
    arrowstyle="<-", color='b'), fontproperties=font, fontsize=15, color='r')

plt.hlines(37, 0, 100, linestyle='--', color='gray')

# 特征空间
plt.text(1, 30, s='$\{(x_1^{(1)},x_1^{(2)},\cdots,x_1^{(n)}),(x_2^{(1)},x_2^{(2)},\cdots,x_2^{(n)}),\cdots,(x_m^{(1)},x_m^{(2)},\cdots,x_m^{(n)})\}$',
         fontproperties=font, fontsize=10, color='g')
plt.annotate(text='特征空间($m$个样本)', xytext=(90, 15), xy=(92, 30), ha='center', arrowprops=dict(
    arrowstyle="<-", color='b'), fontproperties=font, fontsize=15, color='r')
plt.annotate(text='特征向量($n$维特征)', xytext=(15, 15), xy=(15, 28), ha='center', arrowprops=dict(
    arrowstyle="<-", color='b'), fontproperties=font, fontsize=15, color='r')

plt.xlim(0, 100)
plt.ylim(10, 100)
plt.title('机器学习基本术语图例', fontproperties=font, fontsize=20)
plt.show()

通过上图,我们可以习得以下机器学习的基本术语:

  • 特征(feature):描述一件事物的特性,如一个人的身高、体重、年龄和五官。
  • 样本(sample):由一个人的特征组成的数据,如\(\{180,70,19,精致\}\)。
  • 标记(label):描述一件事物的特性,如一个人帅或丑、一个人的财富数量。注:特征和标记没有明确的划分,由于问题的不同可能导致A问题的特征是B问题的标记,B问题的标记是A问题的特征。
  • 样例(example):由一个人的特征和标记组成的数据,如\(\{180,70,19,精致,帅\}\)。
  • 特征空间(feature space):由\(\{x^{(1)},x^{(2)},\cdots,x^{(n)}\}\)这n个特征张成的n维空间,如以身高张成的一维空间(线);以身高和体重张成的二维空间(面);以身高、体重和年龄张成的三维空间(体)。
  • 特征向量(feature vector):特征空间内的某一个具体的向量,即特种空间中的某一个具体的点,
    \[
    \{x_i^{(1)},x_i^{(2)},\cdots,x_i^{(n)}\},\,i\in{R}
    \]
    其中\(x_m^{(n)}\)表示第m个人的第n个特征。如身高、体重、年龄张成的三维空间中的某一个具体的点\((180,70,19)\)。

四、深度学习

深度学习(deep learning):通过组合低层属性特征形成更加抽象的高层属性特征。如学英语的时候,“Nick handsome”这12个英文单词是低层属性特征,而“Nick handsome”的语义则是抽象的高层属性特征。

深度学习的概念源于人工神经网络的研究,它属于机器学习中的某一个方法,其中深度学习中的“深度”是指神经网络的层数。

五、机器学习分类

机器学习依据数据集数据格式的不同,可以划分成监督学习和无监督学习;依据算法模式的不同可以划分为监督学习、无监督学习、半监督学习和强化学习。

5.1 监督学习

监督学习(supervised learning):通过输入一组已知标记的样本,输出一个模型(model),然后通过这个模型预测未来新数据的预测值或预测类别。

监督学习的流程:

  1. 输入:一组已知类别的样本
  2. 输出:一个模型
  3. 预测未来新数据的预测值或预测类别

由于数据标记的类型不同,监督学习问题又分为回归问题和分类问题:

  • 如果模型的输出为连续值,如股票价格\(2.2,2.4,2.6,3…\)类型的数据称为连续值,则该监督学习问题称作回归问题
  • 如果模型的输出为离散值,如\(阿猫,阿狗,…\)或\(\{0,1\}\)(输出不是\(0\)就是\(1\)),则该监督学习问题称作分类问题。

5.1.1 回归问题

序号 房子面积(m\(^2\)) 房价(元)
1 10 100
2 20 200
3 40 400
4 100 1000
5 200 2000
# 回归问题图例
import numpy as np
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
%matplotlib inline
font = FontProperties(fname='/Library/Fonts/Heiti.ttc')

x = np.linspace(0, 200, 10)
y = 10*x

plt.plot(x, y)
plt.xlabel('房子面积', fontproperties=font, fontsize=15)
plt.ylabel('房价', fontproperties=font, fontsize=15)
plt.title('回归问题图例', fontproperties=font, fontsize=20)
plt.show()

通过上表给出的数据集(一组已知标记的样本)举例,通过数据集中的数据,我们可以假设房子面积和房价之间存在某种关系(模型)为
\[
房价=10*房子面积
\]
假设你在得到房子面积和房价之间的关系后,得到了上海二环某一所房子\(H_1\)的面积为\(1000m^2\)的消息(未来新数据),这个时候你就可以通过\(H_1\)的房子面积和房价之间的关系得到这所房子的价格为
\[
H_1的房价=10*H_1的房子面积=10*1000=10000(元)\quad\text{预测值}
\]

在这个回归问题中:

  1. 房子面积称为特征(feature)
  2. 房价称为标记(label)

5.1.2 分类问题

序号 房子面积(m\(^2\)) 房子所在区域
1 10 A区
2 20 A区
3 40 A区
4 100 B区
5 200 B区
# 分类问题图例
import numpy as np
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
%matplotlib inline
font = FontProperties(fname='/Library/Fonts/Heiti.ttc')

a_area = [10, 20, 40]
a_y = [0, 0, 0]

b_area = [100, 200]
b_y = [0, 0]

plt.scatter(a_area, a_y, label='A', color='r')
plt.scatter(b_area, b_y, label='B', color='g')
plt.vlines(50, ymin=-0.015, ymax=0.015, color='gray', linestyles='--')
plt.xlabel('房子面积', fontproperties=font, fontsize=15)
plt.title('分类问题图例', fontproperties=font, fontsize=20)
plt.legend()
plt.show()

同样通过上表给出的数据集举例,通过数据集的数据,我们可以假设房子面积和房子所在区域存在某种关系为
\[
房子所在区域 =
\begin{cases}
P(A区|房子面积<50m^2) \P(B区|房子面积>50m^2)
\end{cases}
\]
其中\(P(A区|房子面积<50m^2)\)为条件概率,即当满足\(房子面积<50m^2\)条件时房子所在区域为\(A区\)的概率;\(P(B区|房子面积>50m^2)\)也为条件概率,当满足\(房子面积>50m^2\)条件时房子所在区域为\(B\)区的概率。

假设你在得到房子面积和房子所在区域的关系后,得到了上海二环内两所房子\(H_1\)和\(H_2\)面积分别为\(30m^2\)和\(1000m^2\)的消息,这个时候你就可以通过房子面积和房子所在区域之间的关系得到这两所房子所在的区域
\[
\begin{cases}
因为H_1的面积\,<50m^2,&H_1属于A区的概率为1,H_1属于B区的概率为0\quad\text{预测类别} \因为H_2的面积\,>50m^2,&H_2属于B区的概率为1,H_2属于A区的概率为0\quad\text{预测类别}
\end{cases}
\]

在这个分类问题中:

  1. 房子面积称为特征
  2. 房子所在区域称为标记

5.2 无监督学习

无监督学习(unsupervised learning):通过输入一组未知标记的样本,可以通过聚类(clustering)的方法,将数据分成多个簇(cluster)。

无监督学习的流程:

  1. 输入:一组未知类别的样本
  2. 输出:分成多个簇的一组样本

5.2.1 聚类

聚类(clustering):将数据集分成由类似的数据组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据的集合,同一个簇中的数据彼此相似,不同簇中的对象相异。

需要注意的是,组成多个簇的概念是由某种非人为定义的潜在概念自动生成的,而我们在监督学习中的分类都有明确的定义,即按照房子面积和房价的关系、房子面积和房子所在区域的关系。

序号 房子面积(m\(^2\))
1 10
2 20
3 40
4 100
5 200

通过上表给出的数据集举例,通过聚类可能把数据集中的5个数据分成两个簇,即房子面积大于50的分为一个簇,房子面积小于50的为另一个簇,而这种通过面积分类并不是我们事先设定的,而是由聚类算法自己实现的。也就是说通过聚类把上表的数据集分为两簇,但是我们需要在把数据集分成两个簇后再去决定用什么概念定义这两个簇的划分。

5.3 半监督学习

半监督学习(semi-supervised learning):监督学习与无监督学习相结合的一种学习方法。

监督学习和无监督学习的区别主要在于数据集中的数据是否具有标记,当某个问题中的数据集中的数据具有标记时,我们称之为监督学习;反之,我们称之为无监督学习。

目前,由于无监督学习算法的不稳定性,它一般作为中间算法,工业上使用较多的是监督学习算法。但是目前工业上累积较多的是不带标记的数据,因此无监督学习在未来将是一个技术突破的重点目标。为了处理这批不带标记的数据,也有科学家提出了半监督学习,它可以简单的理解为监督学习和无监督学习的综合运用,它即使用带有标记的数据也使用不带有标记的数据。

5.4 强化学习

强化学习(reinforcement learning):学习系统从环境到行为映射的学习,目标是使智能体获得最大的奖励,即强化信号最大。

强化学习类似于无监督学习,但是又不同于无监督学习,强化学习针对的是无标记的数据,但是在强化学习算法对无标记的数据进行处理的同时会给出一个特定的目标,如果算法的处理结果偏离目标,则会给出惩罚;反之,给出奖励,而该算法的目标就是为了获得最大奖励。强化学习一般用于无人驾驶。

六、Python语言的优势

我们可以通过Python、R、C、Java、MATLAB、Octave等工具实现机器学习算法。本文接下来将通过Python实现,因此在这里简单说说Python的优势:语法清晰简单、易于操作文本文件、优秀的开源社区提供了大量的开源软件库,如scikit-learn、tensorflow等。

本文基于Python3.6+版本,不建议使用Python2.7版本。可以从https://www.python.org/downloads/下载Python。

Anaconda作为Python的科学计算软件包同样非常适合机器学习。可以从https://www.anaconda.com/download/下载Anaconda。

本文使用的机器学习软件库:

  • numpy 1.15.2
  • scipy 1.1.0
  • scikit-learn 0.20.0
  • matplotlib 3.0.2
  • xlrd 1.2.0
  • pandas 0.23.4
  • tensorflow 1.1.0
# 终端输入,安装numpy,其他第三库同理
!pip install numpy==1.15.2
Requirement already satisfied: numpy==1.15.2 in /Applications/anaconda3/lib/python3.6/site-packages (1.15.2)
import numpy

# 打印sklearn的版本
numpy.__version__
'1.15.2'

七、小结

机器学习可以浅显的认为对数据做处理,分析数据得到某种预测或者判断的能力。也就是说,只要有数据产生的地方,就会有机器学习的用武之地。在这个传感器发达的时代,各行各业都积累着大量的数据,因此机器学习其实不仅仅是计算机专业的人需要习得的,就比如最早的专家系统,需要的是某个领域的专家和计算机科学家两者共同努力才能完成一个专家系统。在未来,相信机器学习将会变得和英语一样普及,它将会变得大众化。

本章主要带大家介绍了人工智能、机器学习和深度学习的区别,并通过人体特征带大家了解了机器学习中常用的术语。之后,使用房价/房子所在区域的例子带大家认识了机器学习的目前最流行的四大分类算法,分别是监督学习、无监督学习、半监督学习和强化学习。本章最后也和大家介绍了我们未来需要使用的Python第三方库。

欢迎来到机器学习的世界。

原文地址:https://www.cnblogs.com/nickchen121/p/11686736.html

时间: 2024-11-02 05:25:54

01-01 机器学习的相关文章

Bentley.STAAD.RCDC.V8i.04.01.01.03 1CD

1.Bentley Multiframe Advanced V8i SS3 17.00.02.10 Win32_64 1CDBentley Multiframe Advanced V8i SS3 17.00.02.10 Win32_64 1CD Multiframe的分析和设计工具给你一个非常强大和灵活的创建.分析和研究结果的结构的手段.Multiframe唯一的一款功能之间使用VBA自动化的结构分析程序.使用自动化,你可... 2.Bentley Utilities Designer V8i

2015.12.25-2016.01.01 大论文迭代B

大论文B轮迭代,稍重前端 12.25 周五,完善摘要 12.26 周六,完善第一章 12.27 周天,完善第二章 12.28 周一,完善第三章 12.29 周二,完善第四章 12.30 周三,完善第五章 12.31 周四,加入参考文献 01.01 周五,加入参考文献 加强前端方面的学习

01.01教程简介01.02软件的基本工作界面01.03模型设计的一般过程

xue.taoao.com 我的学习记录 01.01教程简介 --- 01.02软件的基本工作界面 - 任务窗口 拖拽到实例中 - 底部显示单位 - 确定当前环境 - 放大缩小 - 鼠标旋转缩放移动 --- 01.03模型设计的一般过程 ----- 原有凸台基础上    插入一个凸台 进入草图环境  选择原有凸台的一个面为基准面   空格  正视于    画一个圆形 - 智能尺寸-标注并且同时设置尺寸 - - 拉伸切 和凸台一样     拉伸切除-选择基准面进入草图   正视于  画圆  给定深

「01」机器学习,到底在学些什么?

阅读 0 编辑文章 大家好,欢迎来到久违的机器学习系列,这是「美团」算法工程师带你入门机器学习 专栏的第一篇文章,不会太长,一半聊想法,一半聊干货.熟悉我的朋友可能知道,我以前的文章比较随意,涉及的内容极广,包括但不限于Python/Java/C/C++,网络编程,Hadoop等,但主要核心还是机器学习算法和数据科学相关的主题,这一点没变过. 最近认真总结和思考了之前的博客内容,决定将自己从入门到现在一路走来的学习经验和理解整理一番,帮助更多后来的小伙伴更好的入门,所以就有了这个系列.以前的知乎

【华为云技术分享】机器学习(01)——机器学习简介

最近在研究机器学习,随手将学习的过程记录下来,方面自己的学习与回顾 1. 机器学习是什么? 机器学习(Machine Learning,ML)是专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能的一门科学技术. 它使用计算机技术,应用微积分.概率论.统计学.逼近论.凸分析.算法等多种不同的理论与学科,针对分析目标建立有针对性的数据模型,通过对过往历史数据的学习(分类.回归.聚类等),完成基本算法模型,并能通过后续持续的学习(数据输入),

Java01.01~01.28

1:计算机概述(了解) (1)计算机 (2)计算机硬件 (3)计算机软件 系统软件:window,linux,mac 应用软件:qq,yy,飞秋 (4)软件开发(理解) 软件:是由数据和指令组成的.(计算器) 开发:就是把软件做出来. 如何实现软件开发呢? 就是使用开发工具和计算机语言做出东西来 (5)语言 自然语言:人与人交流沟通的 计算机语言:人与计算机交流沟通的 C,C++,C#,Java (6)人机交换 图形界面:操作方便只管 DOS命令:需要记忆一些常见的命令 2:键盘功能键的认识和快

杭电OJ 2011 2014年9月24日19:01:01

多项式求和 Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 41919    Accepted Submission(s): 24512 Problem Description 多项式的描述如下:1 - 1/2 + 1/3 - 1/4 + 1/5 - 1/6 + ...现在请你求出该多项式的前n项的和. Input 输入数据由2行组成,首

Cheatsheet: 2015 01.01~ 01.31

JAVA JVM Architecture Improving Lock Performance in Java 10 Best Java Tools That Every Java Programmers Should Know Web Performance Optimization in ASP.NET Web Sites Simple JavaScript OOP for C++, Java and C# Developers Improve Node.js Performance by

应用程序 /dev/rtc 编程 获取时间 2011-12-13 01:01:06【转】

本文转载自:http://blog.chinaunix.net/uid-16785183-id-3040310.html 分类: 原文地址:应用程序 /dev/rtc 编程 获取时间 作者:yuweixian4230 找的一些rtc资料: 系统时钟硬件与LINUX时间表示二 之 Linux内核对RTC的编程 S3C2440上RTC时钟驱动开发实例讲解 linux 实时时钟(RTC)驱动 linux RTC 驱动模型分析 ubuntu10.10 /dev/rtc 功能: 简单操作,打开/dev/r

RedHat6.4配置CentOS YUM源(2015.01.01更新)

1.查看当前系统版本和内核版本 [[email protected] ~]# uname -a Linux mdadm.lvmadm 2.6.32-358.el6.x86_64 #1 SMP Tue Jan 29 11:47:41 EST 2013 x86_64 x86_64 x86_64 GNU/Linux [[email protected] ~]# cat /etc/redhat-release Red Hat Enterprise Linux Server release 6.4 (Sa