Semi-supervised Segmentation of Optic Cup in Retinal Fundus Images Using Variational Autoencoder 论文笔记

MICCAI 2017年论文

Overview:

视杯视盘精确分割后,就可以计算杯盘比了,杯盘比是青光眼疾病的主要manifestation。以往的方法往往采用监督学习的方法,这样需要大量的精确像素级别的标定。而这些标定非常费时间。所以本文为了解决这个问题,提出了一个半监督学习的方法,从一堆没有标签的数据中继承一些相似的特征,然后根据少量的有标签的图像训练一个分割模型。具体地,首先采用variational autoencoder从没有标签的图像中学习生成模型的参数,这样,这个训练好的生成模型提供了一个很好的feature embedding,在这个latent feature space中,观测图像就会聚成一簇一簇的。然后,将feature embedding与segmentation autoencoder相结合。这个segmentation autoencoder是在少量的标签数据集上训练得到的,可以获得视杯的分割。

创新点:将生成学习用于半监督的分割方法中。

基本流程:

(image auto-encoder, Generative Variational Autoencoder, GVAE)生成模型学习:用variational autoencoder学习生成模型的参数,autoencoder包含两个部分,一个是将图像映射到因变量空间,用隐变量z表示图像,叫做encoder network。一个是用隐空间变量对图像进行重构,叫做decoder network。

(image segmentation) segmentation variational autoencoder (SVAE)也包含两个部分:一个是segmentation encoder,学习分割模型的因变量表示V,一个是segmentation decoder,将分割模型的因变量表示x作为输入,学习分割的参数,输出segmentation mask。为了利用image auto-encoder从未标记数据中获得的信息,SVAE不仅需要对segmentation mask进行重构,还需要对从GVAE中学到的latent representation x进行重构。所以,loss function为:

实验:

数据:EyePACS, 12000张眼底图像。从中选600张进行了标记。600张中400张用来做训练,200张用来做测试。实验结果如下:

第一列:训练集中使用的图像的数量,相比于Unet有一个百分点的提升。而本身所使用的segmentation autoencoder相比于Unet,使用更少的数据进行训练的时候,分割精度也比Unet高,说明本身所使用的SVAE的泛化能力要优于Unet的。

最后,看论文Auto-Encoding Variational Bayescode

时间: 2024-10-09 03:58:02

Semi-supervised Segmentation of Optic Cup in Retinal Fundus Images Using Variational Autoencoder 论文笔记的相关文章

论文笔记 Deep Patch Learning for Weakly Supervised Object Classi cation and Discovery

Background 1) "Patch-level image representation"的优势 "Patch-level image representation is very important for object classification and detection, since it is robust to spatial transformation, scale variation, and cluttered background" &

论文笔记《Feedforward semantic segmentation with zoom-out features》

<Feedforward semantic segmentation with zoom-out features>,CVPR 2015 这篇文章的方法是superpixel-level的,主要是基于CNN实现,是fully supervised. 首先对输入图像以superpixel为单位提取CNN特征(使用VGG16),然后把这些特征作为CNN classifier(使用imageNet)的输入,imageNet输出是每个superpixel的class. 这篇文章的亮点应该是:1,它把C

论文笔记《Fully Convolutional Networks for Semantic Segmentation》

<Fully Convolutional Networks for Semantic Segmentation>,CVPR 2015 best paper,pixel level, fully supervised. 主要思路是把CNN改为FCN,输入一幅图像后直接在输出端得到dense prediction,也就是每个像素所属的class,从而得到一个end-to-end的方法来实现image  semantic segmentation. 我们已经有一个CNN模型,首先要把CNN的全连接层

论文笔记之:A CNN Cascade for Landmark Guided Semantic Part Segmentation

A CNN Cascade for Landmark Guided Semantic Part Segmentation  ECCV 2016 摘要:本文提出了一种 CNN cascade (CNN 级联)结构,根据一系列的定位(landmarks or keypoints),得到特定的 pose 信息,进行 语义 part 分割.前人有许多单独的工作,但是,貌似没有将这两个工作结合到一起,相互作用的 multi-task 的工作.本文就弥补这个缺口,提出一种 CNN cascade 的 tas

论文笔记之:Instance-aware Semantic Segmentation via Multi-task Network Cascades

Instance-aware Semantic Segmentation via Multi-task Network Cascades Jifeng Dai Kaiming He Jian Sun 本文的出发点是做Instance-aware Semantic Segmentation,但是为了做好这个,作者将其分为三个子任务来做: 1) Differentiating instances. 实例区分 2) Estimating masks. 掩膜估计 3) Categorizing obje

论文笔记之:Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation

Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation xx

【论文笔记】A Review on Deep Learning Techniques Applied to Semantic Segmentation

A Review on Deep Learning Techniques Applied to Semantic Segmentation 2018-02-22  10:38:12   1. Introduction: 语义分割是计算机视觉当中非常重要的一个课题,其广泛的应用于各种类型的数据,如:2D image,video,and even 3D or volumetric data. 最近基于 deep learning 的方法,取得了非常巨大的进展,在语义分割上也是遥遥领先于传统算法. 本

cvpr 2016 论文学习 Video object segmentation

Abstract— Video object segmentation, a binary labelling problem is vital in various applications including object tracking, action recognition, video summarization, video editing, object based encoding and video retrieval(检索). This paper presents an

语义分割(semantic segmentation) 常用神经网络介绍对比-FCN SegNet U-net DeconvNet,语义分割,简单来说就是给定一张图片,对图片中的每一个像素点进行分类;目标检测只有两类,目标和非目标,就是在一张图片中找到并用box标注出所有的目标.

from:https://blog.csdn.net/u012931582/article/details/70314859 2017年04月21日 14:54:10 阅读数:4369 前言 在这里,先介绍几个概念,也是图像处理当中的最常见任务. 语义分割(semantic segmentation) 目标检测(object detection) 目标识别(object recognition) 实例分割(instance segmentation) 语义分割 首先需要了解一下什么是语义分割(s