高斯过程回归

参考资料:

http://kingfengji.com/?p=44

说说高斯过程回归

http://www.cnblogs.com/tornadomeet/archive/2013/06/15/3137239.html

机器学习&数据挖掘笔记_11(高斯过程回归)

?

在网上找了许久,终于找到几篇关于介绍这方面的文章,在第一篇文章的链接中,我们可以去下载一些demo

不过没看明白,程序也没调通。大神们,可以在试试。

?

何为高斯过程回归:

其实分为两个过程,高斯过程+回归。

高斯过程:其实就是在函数上的正态分布。它是由多个高斯函数组成的线性集合。

小知识:高斯分布其实就是正态分布,我们现在讲的高斯其实就是一个模型。高斯模型。

高斯模型具体是啥,大家可以想象一下高斯函数的分布,就是那个中间宽,两边窄的东东。

描述为:

回归:回归是一种关系。Xi与yi之间的关系。比如说线性回归分析,这里面就是指x与y存在线性关系,即一次函数关系。

?

看看下面的公式:

实例:

如何计算k?需要一个核函数,在高斯过程回归里面,我们最常见的kernel就是svm里面的高斯核,为了避免命名上的混淆,我们一般称之为平方指数核函数。

Squared exponential kernel .

?

现在我们继续分析上面的例子,假如我们通过高斯核函数,算出来K11—K33,这时x*又出来捣蛋了,它对应的f*是多少呢?

我们根据上面计算出来的f和K,可以对x*进行预测,因为它本身就是一个函数,是函数的话,知道x就一定可以算出y。此时,我们可以根据联合分布

的所有参数,算出其对应的p(f*),也就是说,此方法给出了预测值所隶属的整个后验概率分布,我们得到的是f*的整个分布,不是点估计。

?

在道路边缘检测算法当中,当我们对其进行GPR()的时候,你会发现我们计算出model后,需要对其进行评估,将不满足条件的点给干掉。

(对于每一块区域)先通过HT 霍夫变换得到种子点,然后利用种子点之间的关系,比如协方差K,利用这个关系去预测其他点是不是满足这个模型。(理解为直线模型),第二步,去eval,对于这里面的每个点,X属于test,计算k(x*,x*)和K(X,x*),未知点,测试的点。然后和我们自己定义的tmodel(测试点x*的方差的阈值)和tdata(测试点x*到它的预测均值f*)去比较。当满足的时候,我们认为其满足,并保留到sp当中,从初始选择的种子点的集合sp开始,每一次迭代都从Sc中,选择snew,满足就累加,直到Sc为空。也就是这一块区域都找到为止。

?

其实这种算法,和区域生长算法类似,都是将定义的点每个检测,然后增加其长度。

?

时间: 2024-10-10 18:12:49

高斯过程回归的相关文章

机器学习实战——SVM(3/3)

前面两篇总结了线性支持向量机模型,总体来说,就是在样本输入空间下对每个维度进行线性组合之后使用符号函数判别最终的类别.第一个是理想情况下的线性可分SVM,这是第二个的近似线性可分SVM的基础.而且也是一种递进关系,是为了从数学抽象化的理想模型到现实情形的一种推广,但它们终究是一种线性模型,对于更复杂的现实情形有时候依然会难以描述,需要使用非线性模型去描述. 非线性SVM 由于现实问题的复杂性,导致训练的样本数据无法使用在输入空间χ=Rn(或其子集或其离散集合)下使用一个线性超平面进行分隔,对于给

离线轻量级大数据平台Spark之MLib机器学习库概念学习

Mlib机器学习库 1.1机器学习概念 机器学习有很多定义,倾向于下面这个定义.机器学习是对能通过经验自动改进的计算机算法的研究.机器学习依赖数据经验并评估和优化算法所运行出的模型.机器学习算法尝试根据训练数据使得表示算法行为的数学目标最大化,并以此来进行预测或作出决定.机器学习问题分类为几种,包括分类.回归.聚类.所有的机器学习算法都经过一条流水线:提取训练数据的特征->基于特征向量训练模型->评估模型选择最佳.特征提取主要是提取训练数据中的数值特征,用于数学建模.机器学习一般有如下分类:

机器学习定义及常用算法

转载自:http://www.cnblogs.com/shishanyuan/p/4747761.html?utm_source=tuicool 1 . 机器学习概念 1.1   机器学习的定义 在维基百科上对机器学习提出以下几种定义: l “ 机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习中改善具体算法的性能 ” . l “ 机器学习是对能通过经验自动改进的计算机算法的研究 ” . l “ 机器学习是用数据或以往的经验,以此优化计算机程序的性能标准. ” 一

Spark入门实战系列--8.Spark MLlib(上)--机器学习及SparkMLlib简介

[注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 1.机器学习概念 1.1 机器学习的定义 在维基百科上对机器学习提出以下几种定义: l“机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习中改善具体算法的性能”. l“机器学习是对能通过经验自动改进的计算机算法的研究”. l“机器学习是用数据或以往的经验,以此优化计算机程序的性能标准.” 一种经常引用的英文定义是:A computer program is said

theano学习指南

开始 这些教程并不在于成为本科生或者研究生的机器学习课程,而是给出一些快速的概念上的认同.为了继续接下来的教程,你需要下载本章中提到的数据库. 下载 在每个学习算法的网页上,你都可以下载相关的文件.如果你想同时下载这些文件的话,你可以克隆本教程的仓库: git clone https://github.com/lisa-lab/DeepLearningTutorials.git 数据库 MNIST数据库 (mnist.pkl.gz) MNIST数据库是关于手写数字的数据库,它包含了60000幅用

机器学习的一些常用算法

下面是些泛泛的基础知识,但是真正搞机器学习的话,还是非常有用.像推荐系统.DSP等目前项目上机器学习的应用的关键,我认为数据处理非常非常重要,因为很多情况下,机器学习的算法是有前提条件的,对数据是有要求的. 机器学习强调三个关键词:算法.经验.性能,其处理过程如下图所示. 上图表明机器学习是数据通过算法构建出模型并对模型进行评估,评估的性能如果达到要求就拿这个模型来测试其他的数据,如果达不到要求就要调整算法来重新建立模型,再次进行评估,如此循环往复,最终获得满意的经验来处理其他的数据. 1.2 

[转]算法的简单归类。大数据常用算法

无论是机器学习.模式识别.数据挖掘.统计学习.计算机视觉.语音识别.自然语言处理都涉及到算法. 1.树:决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法.由于这种决策分支画成图形很像一棵树的枝干,故称决策树.在机器学习中,决策树是一个预测模型,他代表的是对象属性与对象值之间的一种映射关系.Entropy = 系统的凌乱程度,使用算法ID3, C4.5和

人群计数:Single-Image Crowd Counting via Multi-Column Convolutional Neural Network(CVPR2016)

本博文主要是CVPR2016的<Single-Image Crowd Counting via Multi-Column Convolutional Neural Network>这篇文章的阅读笔记,以及对人群计数领域做一个简要介绍. Abstract 这篇论文开发了一种可以从一个单幅的图像中准确地估计任意人群密度和任意角度的人群数目.文章提出了一种简单有效的的多列卷积神经网络结构(MCNN)将图像映射到其人群密度图上.该方法允许输入任意尺寸或分辨率的图像,每列CNN学习得到的特征可以自适应由

在自遮挡下的单目图像3D姿态估计 Monocular Image 3D Human Pose Estimation under Self-Occlusion (ICCV 13)

Monocular Image 3D Human Pose Estimationunder Self-Occlusion (ICCV 13) 在自遮挡下的单目图像3D姿态估计 摘要:文中提出在单张图片中3D姿态自动重建的方法.人体关节.易产生幻觉的身体部位的存在,杂乱的背景,都将导致人体姿态判断的歧义性,这都说明这不是一个简单的问题.研究者研究了许多基于运动和阴影的方法,为了减小歧义性,并对3D姿态进行重建.我们算法的关键思想就是增加运动和方向限制.前一个是在3D模型映射到输入图像时增加的限制,