动态场景运动分割

一、依据不同属性分类运动分割算法

Camera motion first vs. Object motion first

Feature based vs. Dense motion based

2D vs. 3D

Rigid vs. Nonrigid

Single vs. Multiple

Occlusions or not

Depth dependency or not

Complex background or not

Dynamic texture or not

Shallow vs. Deep

Joint estimation and segmentation or not

Spatio-temporal or not

Camera model: affine, perspectivee, quadratic, or parabolic

Robust or not

Prior Knowledge or not

Training or not

二、运动分割算法通常包含三个主要部分:

(1)原始数据类型:

  独立的pixel,线,角,块或区域。

(2)运动模型:

  二维:平面运动/光流,三维:运动参数,旋转矩阵、平移向量等。

(3)分割标准:

  霍夫变换、贝叶斯分割、MAP、EM等。

三、相机运动补偿

  分为两种:相机运动估计(GME global motion estimation) 相机运动补偿(GMC global motion compensation)。

  参数法,特征轨迹聚类方法,运动结构法,联合GME和离群点检测方法,相机运动分解法以及机器学习方法。

(1)参数法

  六参数仿射模型,八参数透视模型,八参数二次模型和十二参数抛物线模型。

  仿射模型以及透视模型是应用最广泛的。参数法又可以细分为::基于特征的方法和基于密集运动场的方法。

 基于特征的方法:

  首先需要提取和选择良好的特征点,所以需要鲁棒的特征提取以及追踪算法,在复杂的自然环境中很难实现。

 基于密集运动场的方法:

  光流法,与预测模型一致的像素移动是由相机运动引起的,其他的则由物体运动引起。

(2)特征轨迹聚类方法

  包括代数法,因式分解法,谱聚类法,迭代法,子空间分解法。

  因为算法基于特征点,所以也需要鲁棒的特征提取以及追踪算法。特征轨迹聚类方法只输出稀疏关键特征点的分割,后续的处理需要得到密集分割。

  基于特征的方法可以处理一部分相机运动的情况,但是对相机本身的焦距等有要求,现实很难满足要求。

(3)运动结构法

  SFM:因为从2D恢复3D运动,条件也是比较严格的,要求视野中的物体运动是刚性的,或者只有相机在运动。

(4)联合GME和离群点检测方法

  由于全局运动总是会受到视野中物体运动的影响,提出了一些联合全局运动估计与运动物体移除的算法。(不同的算法一般是在异常值检测策略上有所不同。)

(5)相机运动分解法

  利用计算流体动力学算法Helmholtz-Hodge decomposition (HHD)将任意的光流场分解为旋度分量与散度分量。相机的径向运动(包括扩张与收缩)是非旋转性的,只存在于散度分量;而相机的旋转运动只存在于旋度分量,HHD将二维密度运动流场转换到三维势能面,并提出了基于四叉树的目标运动分割框架。

原文地址:https://www.cnblogs.com/zhuzhudong/p/9930381.html

时间: 2024-11-05 16:35:44

动态场景运动分割的相关文章

[精翻]DynamicFusion:非刚性场景的实时重建与追踪

DynamicFusion:非刚性场景的实时重建与追踪 网上很少看到有人对DynamicFusion进行详细解读,因此打算翻译全文,初学SLAM,错漏之处还望指出. 摘要 通过融合消费级深度摄像机扫描的RGBD图像,我们首次实现了支持非刚性形变场景的实时稠密SLAM系统.DynamicFusion能重建场景几何,同时不断估计一个密集的6维运动场,其将估计的几何结构映射到实时帧中.像KinectFusion一样,利用多种手段,我们的系统能生成不断降噪.精细化,最后完整的重建结果,同时能实时展示更新

Semantic Monocular SLAM for Highly Dynamic Environments面向高动态环境的语义单目SLAM

一.摘要 当前单目SLAM系统能够实时稳定地在静态环境中运行,但是由于缺乏明显的动态异常处理能力,在动态场景变化与运动中往往会失败.作者为解决高度动态环境中的问题,提出一种语义单目SLAM架构,结合基于特征和直接方法实现具有挑战的条件下系统的鲁棒性.作者所提出的方法利用专业概率模型从场景中提取的语义信息,使跟踪和建图的概率最大化依赖于那些相对于相机没有呈现相对运动的场景部分.在KITTI和Synia数据集上,作者展示了在动态环境中更稳定的姿态估计效果以及相比当前最好静态场景下不错的表现. 二.贡

连续动作分割综述

动作分割是视频动 作识别 的前奏工作,需要 判别视频流当中一个动作的开始和 结束帧,同时还需要拒 识非典型动作 运动分割方法分类 序列分析方法分类 有关动作分割,可 以是序列分析的一种,有关序列分析的解决方法主 要有: l ) 离散分析法 这 种方法只 考虑序列中的一项,但是 在某些 应用 中还 是可以得到整个序列的含义.这类方法 假设 观测物体的特征变化在时间上没 有规律,或 者忽 略规律. 2 ) 点集分析法 这 种方法只看到了每个序列的向量值,但是忽略 了它们之间的时序联系,相当于 把序列

运动物体检测论文(2)

在第之前的章节中,已经提出RIMF来检测移动像素. 为了计算RIMF,应首先估算GIMF. 此外,RIMF的不确定性也可以根据自我运动和视差图不确定性来计算. Global Image Motion Flow (GIMF)怎么计算呢? GIMF用于表示由相机运动引起的图像运动流. 给定前一图像帧中的像素位置pt-1 =(ut-1; vt-1; 1)^T,我们可以根据Eq (1) 预测其当前帧中的图像位置pt =(ut; vt; 1)^T.. 理论上,当前帧中3D静态点的图像位置对应关系可以通过前

关于图像语义分割的总结和感悟

转自:http://www.2cto.com/kf/201609/545237.html 前言 (呕血制作啊!)前几天刚好做了个图像语义分割的汇报,把最近看的论文和一些想法讲了一下.所以今天就把它总结成文章啦,方便大家一起讨论讨论.本文只是展示了一些比较经典和自己觉得比较不错的结构,毕竟这方面还是有挺多的结构方法了. 介绍 图像语义分割,简单而言就是给定一张图片,对图片上的每一个像素点分类 从图像上来看,就是我们需要将实际的场景图分割成下面的分割图: 不同颜色代表不同类别. 经过我阅读“大量”论

窗口分割

我们在使用OutLook或者NetAnt等工具的时候,一般都会被其复杂的界面所吸引,在这些界面中窗口被分割为若干的区域,真正做到了窗口的任意分割. 那么我们自己如何创建类似的界面,也实现窗口的任意的分割呢?要解决这个问题,在Visual C++6.0编程中就需要使用到MFC提供的CSplitterWnd类.CSplitterWnd看上去像是一种特殊的框架窗口,每个窗口都被相同的或者不同的视图所填充.当窗口被切分后用户可以使用鼠标移动切分条来调整窗口的相对尺寸.虽然VC6.0支持从AppWizar

关于IPB帧与恒定比特率、动态比特率的详解

之所以写这篇文章是因为有朋友对IPB帧的设置比较感兴趣,回复中说得比较简单,因此在这里详细的写一下,虽然说一般情况下我们很少去设置这个IPB帧,不过,如果真的学好了,并且清楚的了解了这个IPB帧的概念和设置后,我们能够在渲染成品的时候更加好的掌控视频的质量与体积. 在说怎么设置之前,我们先了解一下IPB帧的概念,网络上其实蛮多的,我这里稍微做一点自己的改变和理解,这样更加方便我们理解. 首先说到IPB帧,就不得不说一下帧内压缩和帧间压缩:关于压缩,我想不需要做更多的解释,简单点,就是为了在保证我

Unity加载火炬之光的场景

因为一些基础的数学问题,前前后后一共研究了四五天,今天终于有些眉目了,记录下来备忘. 一.火炬之光场景配置文件分析 火炬之光的场景涉及到几个部分:1.资源文件,包含基础的模型.粒子.怪物等等.我们暂时只看模型,就是一个一个的mesh文件,同时几乎每个模型都有对应的缩略图文件(xxxthumb.jpg)和碰撞体文件(xxxcollision.mesh).    2.Tileset配置,这个是一个dat文件,例如catacomb.dat,里面包含了几千个PIECE,而piece则对应实际的资源文件以

图像语义分割之FCN和CRF

http://blog.csdn.net/u012759136/article/details/52434826 前言 (呕血制作啊!)前几天刚好做了个图像语义分割的汇报,把最近看的论文和一些想法讲了一下.所以今天就把它总结成文章啦,方便大家一起讨论讨论.本文只是展示了一些比较经典和自己觉得比较不错的结构,毕竟这方面还是有挺多的结构方法了. 介绍 图像语义分割,简单而言就是给定一张图片,对图片上的每一个像素点分类 从图像上来看,就是我们需要将实际的场景图分割成下面的分割图:  不同颜色代表不同类