AI - MLCC - 01 - 问题构建 (Framing):机器学习主要术语

什么是(监督式)机器学习?
简单来说,它的定义:机器学习系统通过学习如何组合输入信息来对从未见过的数据做出有用的预测。

问题构建 (Framing):机器学习主要术语

标签

标签是要预测的事物,即简单线性回归中的 y 变量。

标签可以是小麦未来的价格、图片中显示的动物品种、音频剪辑的含义或任何事物。

特征

特征是输入变量,即简单线性回归中的 x 变量。

简单的机器学习项目可能会使用单个特征,而比较复杂的机器学习项目可能会使用数百万个特征,按如下方式指定:

在垃圾邮件检测器示例中,特征可能包括:

  • 电子邮件文本中的字词
  • 发件人的地址
  • 发送电子邮件的时段
  • 电子邮件中包含“一种奇怪的把戏”这样的短语。

样本

样本是指数据的特定实例:x。(采用粗体 x 表示它是一个矢量)。样本分为两类:有标签样本和无标签样本。

有标签样本同时包含特征和标签。即:labeled examples: {features, label}: (x, y)

使用有标签样本来训练模型。

在垃圾邮件检测器示例中,有标签样本是用户明确标记为“垃圾邮件”或“非垃圾邮件”的各个电子邮件。

例如,下表显示了从包含加利福尼亚州房价信息的数据集中抽取的 5 个有标签样本:

无标签样本包含特征,但不包含标签。即:unlabeled examples: {features, ?}: (x, ?)

在使用有标签样本训练了模型之后,使用该模型来预测无标签样本的标签。在垃圾邮件检测器示例中,无标签样本是用户尚未添加标签的新电子邮件。

模型

模型定义了特征与标签之间的关系。

例如,垃圾邮件检测模型可能会将某些特征与“垃圾邮件”紧密联系起来。

重点介绍一下模型生命周期的两个阶段:

  • 训练表示创建或学习模型。也就是说,向模型展示有标签样本,让模型逐渐学习特征与标签之间的关系。
  • 推断表示将训练后的模型应用于无标签样本。也就是说,使用训练后的模型来做出有用的预测 (y‘)。例如,在推断期间,可以针对新的无标签样本预测 medianHouseValue

回归与分类

回归模型可预测连续值。例如,回归模型做出的预测可回答如下问题:

  • 加利福尼亚州一栋房产的价值是多少?
  • 用户点击此广告的概率是多少?

分类模型可预测离散值。例如,分类模型做出的预测可回答如下问题:

  • 某个指定电子邮件是垃圾邮件还是非垃圾邮件?
  • 这是一张狗、猫还是仓鼠图片?

涉及到的关键字词

分类模型 (classification model)
一种机器学习模型,用于区分两种或多种离散类别。
例如,某个自然语言处理分类模型可以确定输入的句子是法语、西班牙语还是意大利语。
请与回归模型进行比较。

回归模型 (regression model)
一种模型,能够输出连续的值(通常为浮点值)。
请与分类模型进行比较,分类模型会输出离散值,例如“黄花菜”或“虎皮百合”。

样本 (example)
数据集的一行。一个样本包含一个或多个特征,此外还可能包含一个标签。
另请参阅有标签样本和无标签样本。

特征 (feature)
在进行预测时使用的输入变量。

推断 (inference)
在机器学习中,推断通常指以下过程:通过将训练过的模型应用于无标签样本来做出预测。
在统计学中,推断是指在某些观测数据条件下拟合分布参数的过程。(请参阅维基百科中有关统计学推断的文章。)

标签 (label)
在监督式学习中,标签指样本的“答案”或“结果”部分。
有标签数据集中的每个样本都包含一个或多个特征以及一个标签。
例如,在房屋数据集中,特征可能包括卧室数、卫生间数以及房龄,而标签则可能是房价。
在垃圾邮件检测数据集中,特征可能包括主题行、发件人以及电子邮件本身,而标签则可能是“垃圾邮件”或“非垃圾邮件”。

模型 (model)
机器学习系统从训练数据学到的内容的表示形式。
多含义术语,可以理解为“一种TensorFlow图,用于表示预测的计算结构”或者“该TensorFlow图的特定权重和偏差,通过训练决定"。

训练 (training)
确定构成模型的理想参数的过程。

问题构建 (Framing):检查理解情况

问题

假设您想开发一种监督式机器学习模型来预测指定的电子邮件是“垃圾邮件”还是“非垃圾邮件”。以下哪些表述正确?

  1. 主题标头中的字词适合做标签。
  2. 未标记为“垃圾邮件”或“非垃圾邮件”的电子邮件是无标签样本。
  3. 我们将使用无标签样本来训练模型。
  4. 有些标签可能不可靠。

假设一家在线鞋店希望创建一种监督式机器学习模型,以便为用户提供合乎个人需求的鞋子推荐。也就是说,该模型会向小马推荐某些鞋子,而向小美推荐另外一些鞋子。以下哪些表述正确?

  1. 鞋码是一项实用特征。
  2. “用户点击鞋子描述”是一项实用标签。
  3. 鞋的美观程度是一项实用特征。
  4. 用户喜欢的鞋子是一种实用标签。

解答

假设您想开发一种监督式机器学习模型来预测指定的电子邮件是“垃圾邮件”还是“非垃圾邮件”。以下哪些表述正确?

  1. 主题标头中的字词可能是优质特征,但不适合做标签。
  2. 由于标签由“垃圾邮件”和“非垃圾邮件”这两个值组成,因此任何尚未标记为垃圾邮件或非垃圾邮件的电子邮件都是无标签样本。
  3. 将使用有标签样本来训练模型。然后,可以对无标签样本运行训练后的模型,以推理无标签的电子邮件是垃圾邮件还是非垃圾邮件。
  4. 当然。此数据集的标签可能来自将特定电子邮件标记为垃圾邮件的电子邮件用户。由于很少的用户会将每一封可疑的电子邮件都标记为垃圾邮件,因此可能很难知道某封电子邮件是否是垃圾邮件。此外,有些垃圾内容发布者或僵尸网络可能会故意提供错误标签来误导模型。

假设一家在线鞋店希望创建一种监督式机器学习模型,以便为用户提供合乎个人需求的鞋子推荐。也就是说,该模型会向小马推荐某些鞋子,而向小美推荐另外一些鞋子。以下哪些表述正确?

  1. 鞋码是一种可量化的标志,可能对用户是否喜欢推荐的鞋子有很大影响。例如,如果小马穿 43 码的鞋,则该模型不应该推荐 39 码的鞋。
  2. 用户可能只是想要详细了解他们喜欢的鞋子。因此,用户点击次数是可观察且可量化的指标,可用来训练合适的标签。
  3. 合适的特征应该是具体且可量化的。美观程度是一种过于模糊的概念,不能作为实用特征。美观程度可能是某些具体特征(例如样式和颜色)的综合表现。样式和颜色都比美观程度更适合用作特征。
  4. 喜好不是可观察且可量化的指标。我们能做到最好的就是针对用户的喜好来搜索可观察的代理指标。

原文地址:https://www.cnblogs.com/anliven/p/10252938.html

时间: 2024-11-08 14:43:11

AI - MLCC - 01 - 问题构建 (Framing):机器学习主要术语的相关文章

AI - MLCC - 02 - 深入了解机器学习 (Descending into ML)

线性回归 人们早就知晓,相比凉爽的天气,蟋蟀在较为炎热的天气里鸣叫更为频繁. 数十年来,专业和业余昆虫学者已将每分钟的鸣叫声和温度方面的数据编入目录. Ruth 阿姨将她喜爱的蟋蟀数据库作为生日礼物送给您,并邀请您自己利用该数据库训练一个模型,从而预测鸣叫声与温度的关系. 首先建议您将数据绘制成图表,了解下数据的分布情况: 图 1. 每分钟的鸣叫声与温度(摄氏度)的关系. 毫无疑问,此曲线图表明温度随着鸣叫声次数的增加而上升.鸣叫声与温度之间的关系是线性关系吗? 是的,您可以绘制一条直线来近似地

[小北De编程手记] Lesson 01 - AutoFramework构建 之 从一个简单的Demo聊起

写在最前面 这个系列的主旨是要跟大家分享一下关于自动化测试框架的构建的一些心得.这几年,做了一些自动化测试框架以及团队的构建的工作.过程中遇到了很多这样的同学,他们在学习了某一门语言和一些自动化测试的类库或者工具之后,打算进一步的提高.我想这个系列也许会帮助到你,我们一起从各个维度来看一看自动化测试框架的一些最佳实践.本人能力有限,如果有什么不正确的的地方还各位大牛指正. 聊聊自动化测试的初心 在开始具体的技术和理论之前,我们先来思考一下自动化测试的目的是什么?我简单的罗列了几点: 替代手工测试

AI - MLCC - 03 - 降低损失

1- 迭代方法 机器学习算法用于训练模型的迭代试错过程(迭代方法): 迭代策略在机器学习中的应用非常普遍,这主要是因为它们可以很好地扩展到大型数据集. "模型"部分将一个或多个特征作为输入,然后返回一个预测作为输出. "计算损失"部分是模型将要使用的损失函数,机器学习系统在"计算参数更新"部分检查损失函数的值. 现在,假设这个神秘的绿色框会产生新值,然后机器学习系统将根据所有标签重新评估所有特征,为损失函数生成一个新值,而该值又产生新的参数值.

AI - MLCC - 04 - 使用TF的基本步骤02 - Pandas 简介

原文链接:https://colab.research.google.com/notebooks/mlcc/intro_to_pandas.ipynb 1- Pandas HomePage : http://pandas.pydata.org/ Docs : http://pandas.pydata.org/pandas-docs/stable/index.html 针对Python语言的开源数据分析处理工具,可以提供高性能.易用的数据结构: 主要数据结构 DataFrame: 数据框架是用于数

[java工具类01]__构建格式化输出日期和时间的工具类

在之前的学习中,我写过一篇关于字符串格式化的,就主要设计到了时间以及日期的各种格式化显示的设置,其主要时通过String类的fomat()方法实现的. 我们可以通过使用不同的转换符来实现格式化显示不同的时间以及日期信息,但我们了解到,时间以及日期的转换符实在是太多了,导致我们无法十分方便的在需要的时候格式化出想要的日期时间输出格式. 然而在学习过程中,我们了解到类是可以相互调用的,以及静态方法是可以跨类使用的,,所以,通过本文,将构建一个显示时间日期的工具类,定义几个常用的日期时间格式,之后我们

第十一周(11.24-12.01)----构建之法 2016 回顾

一.回答五个问题 坦白说我在20160908那次的作业中并没有提出这五个问题,但我现在还记得当初幼稚的想法.在刚开学的时候,我没有完全熟悉周围的环境,没有认识全周围的同学,在一个陌生的环境下很迷茫,所以我只选择了努力却忽略了一个最重要的问题--明确努力的方向.当后来认真把心思放到课堂上的时候,我才意识到这个问题远比我想象的重要的多. 二.再问五个问题 首先很感谢老师能给予同学们再问问题的机会.对于我而言,这个五个问题虽然和之前的五个问题没有足够的对比,但是通过一学期的学习和练习,我已经深切的感触

机器学习主要术语

(监督式)机器学习 机器学习系统通过学习如何组合输入信息来对从未见过的数据做出有用的预测. 标签 在简单线性回归中,标签是我们要预测的事物,即 y 变量.标签可以是小麦未来的价格.图片中显示的动物品种.音频剪辑的含义或任何事物. 特征 在简单线性回归中,特征是输入变量,即 x 变量.简单的机器学习项目可能会使用单个特征,而比较复杂的机器学习项目可能会使用数百万个特征,按如下方式指定: 样本 样本是指数据的特定实例:x.本分为以下两类: 有标签样本:有标签样本同时包含特征和标签.我们使用有标签样本

腾讯AI主管带你深度实践Spark机器学习

前言 大数据.人工智能正在改变或颠覆各行各业,包括我们的生活.大数据.人工智能方面的人才已经供不应求,但作为人工智能的核心一机器学习, 因涉及的知识和技能比较多,除了需要具备一定的数学基础.相关业务知识外,还要求有比较全面的技术储备,如操作系统.数据库.开发语言.数据分析工具.大数据计算平台等,无形中提高了机器学习的门槛. 如何降低机器学习的门槛,让更多有志于机器学习.人工智能的人能更方便或顺畅地使用.驾驭机器学习? 如何使原本复杂.专业性强的工作或操作简单化? 封装是一个有效方法.封装降低了我

Facebook 开源 AI 所使用的硬件平台 'Big Sur'

Facebook 开源 AI 所使用的硬件平台 'Big Sur' Facebook 今开源其 AI 所使用的硬件平台 'Big Sur'.'Big Sur' 是兼容开放机架的 GPU 加速硬件平台.  人们经常会忽略 Facebook 的人工智能,但是 Facebook 在很多时候都使用了大量的人工智能.Facebook 在AI 上面大有研究,使用机器学习来帮助获取更好的新闻 feed,整理照片和视频内容,甚至是读故事或者玩游戏.现在,Facebook 开源了 AI 所使用的硬件 Big Su