Deep Learning 论文笔记 (3): Deep Learning Face Attributes in the Wild

这是Xiaogang Wang和Xiaoou Tang组的一篇technical report,作者是优秀的学弟Ziwei Liu。

通常人脸识别里面先要对人脸图像进行检测和对齐,然后在相应的地方提取特征,但是在自然场景中,由于背景混乱,人脸检测和对齐会受到影响,进而影响特征提取和最后的识别效果。

这篇论文的主要思想是通过学习两个deep network来构建face attributes recognition的系统,其中第一个用来localization,第二个用来提取feature。

主要流程:

(a)(b)是corse to fine去localize人脸的位置,经过(a)的CNN得到脸和肩膀部分的图片,经过(b)的CNN进一步得到人脸部分的图片。

(c)的CNN是用来学习人脸部分图片的特征,最后将fully connected layer的特征拼在一起,用(d)的SVM去得到分类结果。

 Learning algorithm:

1. 用ImageNet里面的object categories去pre-train (a)和(b)中的两个CNN。使用判断图片里面是否含有object的task去pre-train一个希望能够自动定位人脸位置的CNN,有一定道理的,知道object,基本上也知道人脸在哪一块了。

2. 用CelebFaces数据集的face identity的信息去pre-train (c)中用来提取人脸特征的CNN。从(c)中可以看出来,它和一般的CNN有一点不一样,在中间两层是局部的卷积,前后两层是全局卷积,局部卷积的效果在于能够保持图片的位置信息,具体细节参考原论文

3. 最后再用attribute的label分别对(a)(b)(c)三个CNN进行fine-tune。

实验结果:

作者给出的实验结果平均来说比FaceTracker,PANDA-w, PANDA-l好8%,10%,3%。但是文章在pre-train (a)(b)中的CNN时用到了额外的ImageNet里面的dataset,在pre-train (c)中的CNN时用到了额外的CelebFaces dataset。作者提到PANDA-l有用到ground truth bounding box和landmark positions,但是由于本人不清楚FaceTracker,PANDA-w, PANDA-l这三种比较的方法是否有用到其他额外的dataset或者其他information,因此对于实验结果的比较是否公平不好给出意见。

 结果分析:

文章里面有一些分析比较有意思。第一个是分析在(c)中的CNN最后的fully connected layer的每一个neuron的作用。如果把face images对每一个neuron的响应分成强,中,弱三类,对每一类算出一个平均脸,最后发现其实每一个neuron都有一个semantic concept。如下图所示:

第二个分析是(c)的CNN的最后fully connected layer的weight matrix,每一个列向量(我觉得好像是行向量)都相当于对应着分开一个attribute的正负样本的hyperplane,那么所有的列向量就是分开所有attributes的hyperplanes。将这些向量用K-means聚类,最后得到下图,相似的attributes聚类在一起,表明相似的attributes的hyperplane也相似。

时间: 2024-12-31 05:42:33

Deep Learning 论文笔记 (3): Deep Learning Face Attributes in the Wild的相关文章

【转】Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现

原作者:zouxy09 原文链接:http://blog.csdn.net/zouxy09/article/details/9993371 Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 [email protected] http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己

Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现(转)

Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 [email protected] http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不

Deep Learning论文笔记之(二)Sparse Filtering稀疏滤波

Deep Learning论文笔记之(二)Sparse Filtering稀疏滤波          自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正交流,谢谢. 本文的论文来自: Sparse filtering, J. N

Deep Learning论文笔记之(一)K-means特征学习

Deep Learning论文笔记之(一)K-means特征学习 [email protected] http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正

Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现

https://blog.csdn.net/zouxy09/article/details/9993371 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正交流,谢谢. 本文的论文来自: Notes on Convolutio

【论文笔记】Deep Structured Output Learning for Unconstrained Text Recognition

写在前面:        我看的paper大多为Computer Vision.Deep Learning相关的paper,现在基本也处于入门阶段,一些理解可能不太正确.说到底,小女子才疏学浅,如果有错误及理解不透彻的地方,欢迎各位大神批评指正!E-mail:[email protected] 论文结构: Abstract 1.Introduction 2.Related Work 3.CNN Text Recognition Model 3.1 Character Sequence Model

PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning --- 论文笔记

PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning   ICLR 2017  2017.03.12  Code and video examples can be found at: https://coxlab.github.io/prednet/ 摘要:基于监督训练的深度学习技术取得了非常大的成功,但是无监督问题仍然是一个未能解决的一大难题(从未标注的数据中学习到

论文笔记-Wide & Deep Learning for Recommender Systems

本文提出的W&D是针对rank环节的模型. 网络结构: 本文提出的W&D是针对rank环节的模型. 网络结构: wide是简单的线性模型,但是可以预先对特征做各种变换.交叉等来增加wide模型的非线性性. deep是一个FNN,对高维稀疏类别特征采取embedding降维,embedding的结果是在训练时候学出来的. wide与deep结合的方式,是将两者的输出通过加权最后喂给一个logistic损失函数.值得注意的是,这里是join train并不是ensemble,ensemble是

Deep Learning 论文笔记 (2): Neural network regularization via robust weight factorization

under review as a conference paper at ICLR 2015. Motivation: 本文提出来一种regularization的方法,叫做FaMe (Factored Mean training). The proposed FaMe model aims to apply a similar strategy, yet learns a factorization of each weight matrix such that the factors ar