论文阅读:EGNet: Edge Guidance Network for Salient Object Detection

论文地址:http://openaccess.thecvf.com/content_ICCV_2019/papers/Zhao_EGNet_Edge_Guidance_Network_for_Salient_Object_Detection_ICCV_2019_paper.pdf

当前方法的问题

  全卷积网络解决了像素标记问题,出现了几种用于显着物体检测的端到端深度架构。 输出显着性图的基本单位从图像区域开始变成每个像素。 一方面,由于每个像素都有其显着性值,结果突出显示了细节。 但是,它忽略了对SOD重要的结构信息。随着网络感受野的增加,显著性物体的位置越来越准确,但是空间连贯性仍然被忽略了。显著边缘信息和显著物体信息的互补性也没有被注意到。

怎么解决这个问题

  利用显著边缘特征帮助显著物体特征更准确的定位物体(尤其是边界)。

  动机:良好的显着边缘检测结果可以在分割和定位方面帮助显着对象检测任务,反之亦然

网络结构

 

  使用VGG16的去全连接层的部分,由于第一个卷积块离输入近且感受野小,扔掉不用,在第五个卷积块后增加第六个卷积块。

1.渐进显著性物体特征提取:

  PSFEM模块。为了获取鲁棒性更好的显著物体特征,在每条支路后面增加三个卷积层,每个卷积层后有一个RELU层,再通过一个卷积层将将特征图转换成单通道的预测图。具体参数见表1。

  

2.非局部显著边缘特征提取

  通过conv2-2提取局部边缘信息。自顶向下将顶层的位置信息传播到第二层。融合的第二层特征如下

  

  表示为了改变特征通道数的卷积层,表示ReLU激活函数,是将输入上采样到C(2)大小的双线性插值操作。为了简便,用来表示表示第六层经过增强之后的特征,第六层的增强操作可以表示为,第三、四、五层的增强特征可以这样计算,

  

  表示卷积中的参数,表示一系列的卷积操作。在得到后,同样进行一系列卷积处理得到最终显著边缘特征,可以这样表示记做

3.一对一引导模块

  利用显著边缘特征引导显著物体特征在分割和定位上表现的更好。直接融合显著边缘特征和多分辨率显著物体特征时,边缘特征会被淡化,于是采用一对一引导。在每一层将显著边缘特征融合到增强的显著物体特征中去,使高层特征的定位更加准确,对每层的增强后的显著物体特征上采样后与显著边缘特征相融合,得到显著边缘引导特征s-feature,具体操作如下。

   

  与PSFEM类似,对每一层的融合特征进行一系列的卷积操作,然后转换成单通道预测图,通过公式3,得到增强后的s-feature

损失函数

  显著边缘特征部分的损失函数,分别表示显著边缘像素集合和背景像素集合,看源码发现应该是对每个GT都提取了边缘,用来监督边缘图的生成。是手动计算一个权值之后,计算交叉熵损失(F.binary_cross_entropy_with_logits),后面计算损失也全是调用这个函数。

  

  显著物体检测的损失函数,分别表示显著区域像素集合和非显著区域像素集合,

  

  特征提取部分的总损失函数:

  

  对每层得到的输出预测图计算损失,

  

  然后融合多尺度的预测图得到一张融合图,这一步的损失为:

  

  其中表示预测图和GT的交叉熵损失,与公式5结构一样。最后一对一引导模块的损失和该方法的总损失函数如下。

  

实验

  评价指标:F-measure:

  

  MAE:

  

  S-measure:

  

  对比结果:

  

原文地址:https://www.cnblogs.com/wangconnor/p/12058489.html

时间: 2024-10-14 17:04:45

论文阅读:EGNet: Edge Guidance Network for Salient Object Detection的相关文章

论文阅读:DHSNet: Deep Hierarchical Saliency Network for Salient Object Detection

因写作需要,再精读一下这篇文章,只说这篇文章提出的方法. 1.摘要部分: 本文提出了一种基于卷积神经网络的深层次显著性网络(deep hierarchical saliency network,DHSNet).该网络以下统一称作"DHSNet".工作流程大体是这样的: 1)首先,DHSNet通过自动学习各种全局结构上的显著性线索(这些线索包括全局对比度.对象性.紧凑性以及它们的优化组合),对输入的图片生成一个粗略的全局上的预测结果: 2)接着, 本文提出了一种分层递归卷积神经网络(hi

论文阅读 | FPN:Feature Pyramid Networks for Object Detection

论文地址:https://arxiv.org/pdf/1612.03144v2.pdf 代码地址:https://github.com/unsky/FPN 概述 FPN是FAIR发表在CVPR 2017上的一篇文章,采用特征金字塔的方法进行目标检测.文中利用深层卷积网络固有的多尺度金字塔层次结构,高效地构造特征金字塔.文章提出了FPN--一种具有横向连接的自顶向下的结构,来构建所有尺度上的高级语义特征映射. 网络结构 下图展示了几种不同的利用特征的方式:(a)为图像金字塔,就是对图像resize

(不断更新)关于显著性检测的调研-Salient Object Detection: A Survey

<Salient Object Detection: A Survey>作者:Ali Borji.Ming-Ming Cheng.Huaizu Jiang and Jia Li 基本按照文章中文献出现的顺序. 一.L. Itti, C. Koch, and E. Niebur, "A model of saliency-based visual attention for rapid scene analysis," IEEE TPAMI, 1998. 一个用于快速场景分析

【论文阅读】Second-order Attention Network for Single Image Super-Resolution

概要 近年来,深度卷积神经网络(CNNs)在单一图像超分辨率(SISR)中进行了广泛的探索,并获得了卓越的性能.但是,大多数现有的基于CNN的SISR方法主要聚焦于更宽或更深的体系结构设计上,而忽略了挖掘层间特征的内在相关性,从而阻碍了CNN的表示能力.为了解决这一问题,在本文中提出了一个二阶注意力网络(SAN),用于更强大的特征表达和特征相关性学习.特别地,开发了一种新颖的可训练的二阶通道注意力(SOCA)模块,以通过使用二阶特征统计量进行更具区分度的表示来自适应地重缩放通道级别的特征.此外,

论文阅读(BaiXiang——【CVPR2016】Multi-Oriented Text Detection with Fully Convolutional Networks)

BaiXiang--[CVPR2016]Multi-Oriented Text Detection with Fully Convolutional Networks 目录 作者和相关链接 方法概括 方法细节 创新点和贡献 实验结果 问题讨论 总结与收获点 作者和相关链接 作者: paper下载 方法概括 Step 1--文本块检测: 先利用text-block FCN得到salient map,再对salient map进行连通分量分析得到text block: Step 2--文本线形成:

Patchwork: A Patch-wise Attention Network for Efficient Object Detection and Segmentation in Video Streams

简介 受人类视觉注意力系统的启发,文章提出了一个叫Patchwork的模型,利用了记忆和注意力之间的微妙的相互作用来进行高效的视频处理. 图1:a) 视频流中的每个时间步,我们的方法仅仅处理当前帧的一个小的局部窗,但由于一系列有状态的Patchwork cells,仍然能解释整张输入帧. b) 状态patchwork cell的放大视图,通过之前状态的时间上下文特征来对当前特征进行调整. 图1a列出了Patchwork的概览.在每一个时间步,patchwork从输入帧上裁剪一个小窗送入一个特殊的

论文解读1——Rich feature hierarchies for accurate object detection and semantic segmentation

背景 在2012 Imagenet LSVRC比赛中,Alexnet以15.3%的top-5 错误率轻松拔得头筹(第二名top-5错误率为26.2%).由此,ConvNet的潜力受到广泛认可,一炮而红.既然convNet在图像分类任务上能取得好成绩,是不是也能放到目标检测任务上呢.本文就是用convNet解决目标检测任务的首次探索.在PASCAL VOC 2010上的mAP达到了53.7%. 方法 模型一共分为三个模块. (1)region proposals(区域推荐)).在一张整图上面产生很

2018年4月24日论文阅读

国内精读!title(26):Salient Object Detection: A Discriminative Regional Feature Integration Approach(显著性检测:一种判别区域特征融合方法)---2013 本文提出一种监督学习框架下的显著性检测方法.采用multi-level segmentation的方法进行分割.其主要思想为: 将原图进行m级分割, S = {S1, S2, ···, SM}.S2是由S1融合所得,阈值是算法生成的. 为了融合计算,作者

Global Contrast based Salient Region Detection (Ming ming Cheng)

abstract: Automatic estimation of salient object regions across images, without any prior assumption or knowledge of the contents of the corresponding scenes, enhances many computer vision and computer graphics applications. We introduce a regional c