2014年科研方面回顾之二

通过杨老师的细心点拨,我获得了以前没有的看问题的视角,重新审视了以前看的文章。通过这些新的视角,我从这些内容中看到了以前没有注意到的东西,看到了更本质的东西。希望多多交流!

$\textrm{JSE in my view:}$

$\textrm{EM in my view:}$

$\textrm{Relevance Vector Machine:}$

RVM是从线性回归模型派生出来的,所以首次从线性回归模型的角度来看RVM。RVM的线性回归模型是:$$t_n = \sum_{k} \phi_k(x_n)w_n + \epsilon_n$$,其中$\{x_n,t_n\}$是input-target pairs,它们是已知的; $\phi_k(\cdot)$是basis function; $\epsilon_n \sim N(0,\sigma^2)$; 而$\boldsymbol{w}$和$\sigma^2$就是需要被求出的参数。现在可以将$\boldsymbol{w}$和$\sigma^2$看作fixed number,然后通过MLE直接求出;也可以将他们看作random variable通过概率的方法求出它们的最优估计值。RVM是选择的后一种方式。

通过给每个$w_k$加上高斯分布:$w_k \sim N(0,\alpha_i^{-1})$,使得$\boldsymbol{w}$成为random ariable。但是成为random variable之后,自然引入了uncertainty了,这时候不能像处理fixed number一样处理$\boldsymbol{w}$了。这时候为了消除这个uncertainty,通常有几种手段,RVM的方法是对$\boldsymbol{w}$做积分将其消除掉:$$p(\boldsymbol{t};\boldsymbol{\alpha},\sigma^2) = \int_{\boldsymbol{w}} p(\boldsymbol{t}|\boldsymbol{w};\sigma^2) p(\boldsymbol{w};\boldsymbol{\alpha}) d\boldsymbol{w}.$$到了这里,$\boldsymbol{w}$暂时消失了,只剩下参数$\boldsymbol{\alpha}$和$\sigma^2$有待求解了。求解这些参数的时候,可以像JSE那样用估计量的方法,也可以直接像MLE那样求最大似然值,方法多种多样了。

我们在JSE里面看到了对take home message的使用,其实在RVM中,也可以把其他样本的信息拿来大家分享,使得得到的结果更加精确一些。在RVM模型中,其实$\alpha_k$也是有一个先验的,并且$\alpha_k,~(k=1,\cdots,K)$的先验拥有共同的参数$a,b$:$$\alpha_k \sim \Gamma(\alpha_k;a,b)$$,其中$\Gamma(\alpha;a,b) = \Gamma(a)^{-1} b^a \alpha^{a-1} e^{-b\alpha}$。可惜的是,RVM中将$a,b$的值设定成了固定值,如果$a,b$的值也能像JSE里面的$\sigma^2$一样可以从数据中学习的话,那么这样是不是$\alpha_k$的值会更好一点呢?进而使得算法在性能上提高一些?

$\textrm{Bayesian Compressive Sensing:}$

下面在回味“Bayesian Compressive Sensing”一下这篇文章,发现文章所描绘的模型一下子在我眼前清晰了许多。这篇文章是将RVM运用到CS上面,求解CS的问题。不是一般性,CS的模型可以写成$$t = Aw + e$$其中$x$是待恢复的数据,$A$包括观测矩阵和稀疏矩阵,$t$是观测到的值,$e$是误差或者理解成噪声。Compressive Sensing说:$$\arg\min_w \left\{ \|t-Aw\|_2^2 + \rho\|w\|_0 \right\} \approx \arg\min_w \left\{ \|t-Aw\|_2^2 + \rho\|w\|_1 \right\}$$而$$\arg\min_w \left\{ \|t-Aw\|_2^2 + \rho\|w\|_1 \right\} \Leftrightarrow \arg\max_w N(t|Aw,\sigma^2) \cdot e^{- \rho\|w\|_1}$$于是这篇文章后面就开始了使用RVM模型来求解问题。但是Laplace先验$e^{- \rho\|w\|_1}$又不是很好处理,于是这个Laplace先验就被作者换成了高斯先验+Gamma先验,这就和RVM完全一样的。到这里,这篇文章基本上就清楚了。剩下的RVM的内容就不重复赘述了。

$\textrm{Bayesian Compressive Sensing using Laplace Priors:}$

时间: 2024-10-12 15:24:00

2014年科研方面回顾之二的相关文章

不到3000元 2014年MWC手机回顾

有几天时间,一年一度的MWC展会就要开幕了,本届MWC展会将会有众多新机问世,其中不乏GALAXY S6.HTC M9这些旗舰产品,另外其他厂商也会推出一些定位中端或入门的产品.这些新机在发布后也会于近期上市,不过最早也应该在3月底或4月份了,如果着急购买手机的话,这些新机还需等一等.与其等这些新机上市,还不如考虑下以前的产品,比如说在2014年MWC上问世的手机,这些机型经过较长时间降价,现在的性价比都比较高,最重要的是都有现货购买. 2014年MWC手机回顾 在去年的MWC展会上,有几款在当

2014年MWC手机回顾

还有几天时间,一年一度的MWC展会就要开幕了,本届MWC展会将会有众多新机问世,其中不乏GALAXY S6.HTC M9这些旗舰产品,另外其他厂商也会推出一些定位中端或入门的产品.这些新机在发布后也会于近期上市,不过最早也应该在3月底或4月份了,如果着急购买手机的话,这些新机还需等一等.与其等这些新机上市,还不如考虑下以前的产品,比如说在2014年MWC上问世的手机,这些机型经过较长时间降价,现在的性价比都比较高,最重要的是都有现货购买. 2014年MWC手机回顾 在去年的MWC展会上,有几款在

.NET基础回顾(二)

一.结构 结构是一个值类型. 使用struct关键字来定义一个结构,级别与类保持一致,写在命名空间下面. 结构中可以定义字段,属性,方法,构造函数,也可以通过new关键字来创建对象. 结构中的字段不能赋初始值. 无参数的构造函数无论如何C#编译器都会生成,所以我们不能为结构体定义一个无参构造函数. 再构造函数中必须为结构体的所有字段进行赋值. 再构造函数中为属性赋值,不认为是对字段赋值,因为属性不一定是去操作字段. 不能定义自动属性,因为自动属性会生成一个字段,而这个字段必须要求在构造函数中,但

C#基础回顾(二)—页面值传递、重载与重写、类与结构体、装箱与拆箱

一.前言 -孤独的路上有梦想作伴,乘风破浪- 二.页面值传递 (1)C#各页面之间可以进行数据的交换和传递,页面之间可根据获取的数据,进行各自的操作(跳转.计算等操作).为了实现多种方式的数据传递,C#提供一下几种方式: 1.Query.String方式 2.Server.Transfer方式 3.Cookie方式 4.Session方式 5.Application方式 (2)实现方式 新建TestTransfer项目,添加TransferOne.aspx页面和TransferTwo.aspx页

Scala学习回顾(二)---- scala函数定义、流程控制及异常处理

注:本文学习源自:DT大数据梦工厂(微信公众号:DT_Spark) 1.上一节中我们了解到scala hello world,具体定义一个函数如下: 2.定义一个没有参数的函数,如下: 运行结果: 3.定义一个有参数的函数,如下: 4.流程控制 如果运行的时候,输入了参数,则情况如下: 方式二: 也可以将函数直接放入输出语句中: 如下: println(if (!args.isEmpty) args(0) else "scala.txt") 5.for循环 方式1: 方式2:(列出当前

python回顾(十二)——文件

文件操作 文件概念 文件是计算机中数据持久化存储的表现形式 文件操作基本语法 格式一(手工关闭格式): 1.打开文件: file = open("文件名","读写模式") 2.操作文件: * 3.关闭文件: file.close() 格式二(免关闭格式): 1.打开文件: with open("文件名","读写模式") as file: 2.操作文件: * 3.关闭文件(自动关闭文件) 注意:文件操作完毕后必须关闭,否则内存将

javase基础回顾(二)LinkedList需要注意的知识点 阅读源码收获

我们在学习这一块内容时需要注意的一个问题是 集合中存放的依然是对象的引用而不是对象本身. List接口扩展了Collection并声明存储一系列元素的类集的特性.使用一个基于零的下标,元素可以通过它们在列表中的位置被插入和访问.一个列表可以包含重复元素.List在集合中是一个比较重要的知识点也是在开发中最常用的. LinkedList 的底层实现是用双链表实现的 当执行插入或者删除操作时用LinkedList比较好,这和底层实现有关,因为他是用双链表实现的当执行插入或是删除或是增加操作时链表其余

RN讲解 知识回顾(二)

View:承载布局,样式,和事件交互逻辑Controller:承载逻辑和视图,简单的布局主轴方向和排列Model:XXXManager,封装数据操作,为上层容器组件提供数据,和功能 Nodejs环境,后台通过API(application public interface)接口暴露服务Web框架:express,处理API请求ORM:Sequelize,操作数据库的封装,以对象形式操作数据库数据库:MySql,数据基础支撑,所有系统中的数据 数据从数据库到页面展示给用户用户将数据从页面提交到数据

构建之法学习回顾(二)

学习完构建之法五到八章之后,发现这本书更加贴近于当代,一般的软工教材为了追求更广更久的接受度,在内容上会趋于保守,而这本书不同,许多生硬的知识都得到了新的活力. 在第五章的学习中,主要讲了典型的软件团队模式和开发流程.以及我们也将讨论团队模式和开发效率之间的一些关系. 团队有一致的集体目标,团队要一起完成这个目标.一个团队的成员不一定要同时工作.团队成员有各自的分工,互相依赖合作,共同完成任务.只有我们当做一个团队一样进行工作和学习才能取得更大的成就. 第六章的学习中讲了敏捷流程及其原则,Bac