day10_机器学习

1    机器学习的子类是深度学习,机器学习的父类是人工智能,核心都是机器学习。

百度大脑、谷歌大脑等都属机器学习,百度和谷歌数据量都大所以才会有百度大脑谷歌大脑

2    机器学习,我只要有大量数据,我去训练,我就可以训练出一个好的模型,而且这个模型就可以做预测,预测和分类是分不开的

3    机器学习就是 拟人

拟人 :

1 大量已有的数据(经验,存在大脑)

2 总结出某种规律(模型) 根据某种算法,训练出模型

3 利用此规律,输入新的数据,做出预测

4 机器学习“数据为王” 要求 数据要是大量正确的数据

历史数据--》训练出模型

新的数据--》上一个模型 --》预测

4   模式识别=机器学习

数据挖掘=机器学习+数据库 早期只有算法没有数据,所有没有活起来

统计学习近似等于机器学习

计算机视觉=图像处理+机器学习

语音识别=语音处理+机器学习

自然语言处理=文本处理+机器学习

5   机器学习 ---》 数   算法(公式)   模型(参数)

(根据某种算法 :y = a + bx   xy就是训练数据,得出的结果 y = 2 + 3x 这条直线 就是一个模型。 参数a和b就是模型)

如果得到的参数比较复杂,比较多,单机装不下,用分布式存储

6    机器学习要干的事情就是用大量数据用分布式的快速的总结规律,很多时候还要实时的计算模型

7    数据挖掘的基本任务包括  利用分类与预测、聚类分析、关联规则、

时序模式、偏差检测、智能推荐等方法,帮助企业提取数据中蕴含的商业价值,提高企业的竞争力

8    R语言和python 是第一代的机器学习的工具,python还可以做更多

Mahout 是第二代的机器学习工具 它是分布式的,是基于mapreduce的

MLlib 是第三代 它是基于 spark进行运算

机器学习里的算法,它的算法实现的时候都是需要的迭代的

9   R语言

主要用于统计分析、绘图、数据挖掘

内置多种统计学及数字分析功能。R的功能也可以通过安装包(Packages,别人撰写的功能)增强。

R的另一强项是绘图功能

10    编程 = 数据结构 + 算法  数据结构:数据类型

R语言的数据机构包含:向量,因子,列表,数组,数据框,矩阵

11    线性回归

y = a + bx

多元线性回归 :它是一种算法 那么它对应的公式是

y =m + A1X1 + A2X2 + A3X3 + A4X4 + A5X5 + A6X6 + .... AnXn  它易于分布式

一个维度对应一个模型

逻辑线性回归是线性回归经过数学上公式的转换,把y值进行缩放,缩放到0到1之间,那么它有一个好处,就是得到一个比例(概率)的事情

线性回归和逻辑回归 统称为广义线性回归

error 值最小

如果你有一个问题解决不了了,可以多维度考虑,升维度考虑。例如穿墙案例

12    相关系数 它来表达两个维度的相关性,的范围是-1~+1  正相关 和 负相关  0表示根本就不相关

R语言来探索相关性,R语言的一些函数 协方差函数cov(),标准方差函数sd(),可以求出来cor()

13    我越了解现实中的数据,越有利于改进模型

14    神经网络 复杂的多个层次的神经网络就叫深度学习

15    网络拓扑层--单层网络   多层网络

15  案例1 保险的消费 用多元线性回归来做

案例2 计算水泥的强度系数  用神经网络来做 1个输入层 1个隐藏层 1一个输出层

时间: 2024-08-30 11:17:16

day10_机器学习的相关文章

机器学习—逻辑回归理论简介

下面是转载的内容,主要是介绍逻辑回归的理论知识,先总结一下自己看完的心得 简单来说线性回归就是直接将特征值和其对应的概率进行相乘得到一个结果,逻辑回归则是这样的结果上加上一个逻辑函数 这里选用的就是Sigmoid函数,在坐标尺度很大的情况下类似于阶跃函数 在确认特征对应的权重值也就是回归系数的时候 最常用的方法是最大似然法,EM参数估计,这个是在一阶导数能够有解的前提下 如果一阶导数无法求得解析值,那么一般选取梯度上升法,通过有限次的迭代过程,结合代价函数更新回归系数至收敛 //////////

【机器学习实战】Machine Learning in Action 代码 视频 项目案例

MachineLearning 欢迎任何人参与和完善:一个人可以走的很快,但是一群人却可以走的更远 Machine Learning in Action (机器学习实战) | ApacheCN(apache中文网) 视频每周更新:如果你觉得有价值,请帮忙点 Star[后续组织学习活动:sklearn + tensorflow] ApacheCN - 学习机器学习群[629470233] 第一部分 分类 1.) 机器学习基础 2.) k-近邻算法 3.) 决策树 4.) 基于概率论的分类方法:朴素

机器学习 一 监督学习和无监督学习的区别

前话: 最近一直想学机器学习的东西,无奈自己的书太多但无法专心看一本,纯理论的东西看了感觉不记下来就忘记类,所以我想理论学习和实践一起. 所以最近想把机器学习实战这本书看完,并做好记录.加油.!~ 一:什么是监督学习? 监督学习(supervised learning):通过已有的训练样本(即已知数据以及其对应的输出)来训练,从而得到一个最优模型,再利用这个模型将所有新的数据样本映射为相应的输出结果,对输出结果进行简单的判断从而实现分类的目的,那么这个最优模型也就具有了对未知数据进行分类的能力.

R语言使用机器学习算法预测股票市场

quantmod 介绍 quantmod 是一个非常强大的金融分析报, 包含数据抓取,清洗,建模等等功能. 1. 获取数据 getSymbols 默认是数据源是yahoo 获取上交所股票为 getSymbols("600030.ss"), 深交所为 getSymbols("000002.sz").  ss表示上交所, sz表示深交所 2. 重命名函数 setSymbolLookup 3. 股息函数 getDividends 4. 除息调整函数 adjustOHLC

一次失败的却又成功的尝试机器学习经历

一遍看书一遍运行着书中提供的代码,我学习到K-NN分类算法.于是晚上找到一串数据进行尝试. 数据来自于网络1401班C语言教学平台里的数据 首先我对数据进行了简单的处理得到以下结果.这里的分类是对学生的期末考试分数(总评分)和省二级分数综合评定的 最后真正被使用的是txt格式的文件 然后使用了python读取TXT文件,用matplotlib库对数据画图 讲道理确实看不出来有什么规律,大概就是做题少的同学最后至少有一次考试不及格. 然后对数据的随堂测试.自由练习次数进行归一化处理,使用kNN模型

深度学习(deeplearing)(5月完成)共三部分 第一部分应用数学与机器学习(5.1-5.10)线性代数

第一章:线性代数: 学习一个新东西,首先要从概念开始,抓住其核心点 机器学习相关问题中,数据集多是以矩阵的形式存在,而模型的参数如W也是以矩阵或向量的形式存在,所以一个模型从数学的角度来说,就是矩阵间的运算,而运算中矩阵相乘的运算又是最常用的运算.本章后半部分讲解了在机器学习中会用到的一些矩阵运算的概念,如范数.行列式. 特征分解.奇异值分解等 一.基本单元:标量.向量.矩阵.张量 二.

TensorFlow【机器学习】:如何正确的掌握Google深度学习框架TensorFlow(第二代分布式机器学习系统)?

本文标签:   机器学习 TensorFlow Google深度学习框架 分布式机器学习 唐源 VGG REST   服务器 自 2015 年底开源到如今更快.更灵活.更方便的 1.0 版本正式发布,由 Google 推出的第二代分布式机器学习系统 TensorFlow一直在为我们带来惊喜,一方面是技术层面持续的迭代演进,从分布式版本.服务框架 TensorFlow Serving.上层封装 TF.Learn 到 Windows 支持.JIT 编译器 XLA.动态计算图框架 Fold 等,以及

机器学习进阶笔记之一 | TensorFlow安装与入门

原文链接:https://zhuanlan.zhihu.com/p/22410917 TensorFlow 是 Google 基于 DistBelief 进行研发的第二代人工智能学习系统,被广泛用于语音识别或图像识别等多项机器深度学习领域.其命名来源于本身的运行原理.Tensor(张量)意味着 N 维数组,Flow(流)意味着基于数据流图的计算,TensorFlow 代表着张量从图象的一端流动到另一端计算过程,是将复杂的数据结构传输至人工智能神经网中进行分析和处理的过程. -- 由 UCloud

机器学习中的算法(1)-决策树模型组合之随机森林与GBDT

版权声明: 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系[email protected] 前言: 决策树这种算法有着很多良好的特性,比如说训练时间复杂度较低,预测的过程比较快速,模型容易展示(容易将得到的决策树做成图片展示出来)等.但是同时,单决策树又有一些不好的地方,比如说容易over-fitting,虽然有一些方法,如剪枝可以减少这种情况,但是还是不够的. 模型组合(比如