Realsense 人脸识别

一.代码声明

下面的代码是博主参考了Intel realsense官方SDK和官方例程后写的一段较为简单的代码，实现了简单的多人脸实时检测及跟踪功能。官方的人脸检测例程功能较多，但代码量很大，阅读起来也较困难，所以博主写了一段较为精简的人脸检测代码。

二.具体代码

[cpp] view plain copy print?

  1. #include <pxcsensemanager.h>
  2. #include <pxcsession.h>
  3. #include "util_render.h"
  4. #include <iostream>
  5. #include <string>
  6. #include <stdio.h>
  7. #include <opencv2\opencv.hpp>
  8. #include <windows.h>
  9. #define WIDTH 640
  10. #define HEIGHT 480
  11. using namespace cv;
  12. using namespace std;
  13. void DrawRectangle(Mat &img, Rect box)
  14. {
  15. rectangle(img, box, Scalar(255, 255, 0),2);
  16. }
  17. int main(int argc, char** argv)
  18. {
  19. PXCSenseManager *psm = 0;
  20. psm = PXCSenseManager::CreateInstance();
  21. if (!psm)
  22. {
  23. wprintf_s(L"Unabel to create the PXCSenseManager\n");
  24. return 1;
  25. }
  26. //使能人脸跟踪
  27. psm->EnableFace();
  28. // 初始化管道
  29. psm->Init();
  30. //得到一个人脸模块的实例
  31. PXCFaceModule *faceModule = psm->QueryFace();
  32. if (faceModule == NULL)
  33. {
  34. wprintf_s(L"Unabel to query FaceModule\n");
  35. return 3;
  36. }
  37. //创建一个人脸追踪模块动态配置的实例
  38. PXCFaceConfiguration *cfg = faceModule->CreateActiveConfiguration();
  39. if (cfg == NULL)
  40. {
  41. wprintf_s(L"Unabel to create FaceConfiguration\n");
  42. return 4;
  43. }
  44. cfg->detection.isEnabled = TRUE; //这句也可注释掉，不影响检测结果
  45. //使能所有警告
  46. cfg->EnableAllAlerts();
  47. //将任何参数的改变反馈给faceModule
  48. cfg->ApplyChanges();
  49. //创建人脸数据的实例
  50. PXCFaceData *facedata = faceModule->CreateOutput();
  51. PXCImage *colorIm;
  52. PXCImage::ImageData color_data;
  53. PXCImage::ImageInfo color_info;
  54. while (psm->AcquireFrame(true) >= PXC_STATUS_NO_ERROR)
  55. {
  56. if (psm->AcquireFrame(true) < PXC_STATUS_NO_ERROR) break;
  57. //获取最新的人脸追踪配置参数
  58. facedata->Update();
  59. PXCCapture::Sample *sample = psm->QuerySample();
  60. colorIm = sample->color;
  61. if (colorIm->AcquireAccess(PXCImage::ACCESS_READ, PXCImage::PIXEL_FORMAT_RGB24, &color_data) < PXC_STATUS_NO_ERROR)
  62. wprintf_s(L"未正常获取彩色图\n");
  63. color_info = sample->color->QueryInfo();
  64. Mat color(Size(color_info.width, color_info.height), CV_8UC3, (void*)color_data.planes[0], color_data.pitches[0] / sizeof(uchar));
  65. //取出检测到的人脸数目
  66. pxcI32 nfaces = facedata->QueryNumberOfDetectedFaces();
  67. //对视野内每一张人脸追踪处理
  68. for (pxcI32 i = 0; i < nfaces; i++) {
  69. //按序号获取一个人脸的数据实例
  70. PXCFaceData::Face *trackedface = facedata->QueryFaceByIndex(i);
  71. PXCFaceData::DetectionData *detectiondata = trackedface->QueryDetection();
  72. if (detectiondata == NULL)
  73. {
  74. wprintf_s(L"Unabel to get detection data\n");
  75. return 5;
  76. }
  77. //将当前人脸的位置数据存在rect中
  78. PXCRectI32 rect;
  79. detectiondata->QueryBoundingRect(&rect);
  80. //PXCRectI32到opencv中Rect类的转化
  81. Rect cvrect = Rect(rect.x, rect.y, rect.w, rect.h);
  82. DrawRectangle(color, cvrect);
  83. //给当前人脸加上识别序号的文字
  84. stringstream ss;
  85. ss << i;
  86. string id = ss.str();
  87. id = "ID:" + id;
  88. putText(color,id, Point(rect.x+rect.w/2, rect.y-rect.h/20), CV_FONT_HERSHEY_COMPLEX, 0.4, Scalar(255, 255, 0));
  89. }
  90. colorIm->ReleaseAccess(&color_data);
  91. stringstream ss;
  92. ss << nfaces;
  93. string  num_faces= ss.str();
  94. num_faces =num_faces + " faces in the field of view.";
  95. putText(color, num_faces, Point(color.rows/20,color.cols/40), CV_FONT_HERSHEY_COMPLEX, 0.5, Scalar(153, 51, 250));
  96. psm->ReleaseFrame();
  97. imshow("face_detection", color);
  98. waitKey(1);
  99. }
  100. facedata->Release();
  101. cfg->Release();
  102. psm->Close();
  103. psm->Release();
  104. }

#include <pxcsensemanager.h>
#include <pxcsession.h>
#include "util_render.h"
#include <iostream>
#include <string>
#include <stdio.h>
#include <opencv2\opencv.hpp>
#include <windows.h>

#define WIDTH 640
#define HEIGHT 480  

using namespace cv;
using namespace std;

void DrawRectangle(Mat &img, Rect box)
{
	rectangle(img, box, Scalar(255, 255, 0),2);
}

int main(int argc, char** argv)
{
	PXCSenseManager *psm = 0;
	psm = PXCSenseManager::CreateInstance();
	if (!psm)
	{
		wprintf_s(L"Unabel to create the PXCSenseManager\n");
		return 1;
	}

	//使能人脸跟踪
	psm->EnableFace();

	// 初始化管道
	psm->Init();

	//得到一个人脸模块的实例
	PXCFaceModule *faceModule = psm->QueryFace();

	if (faceModule == NULL)
	{
		wprintf_s(L"Unabel to query FaceModule\n");
		return 3;
	}

	//创建一个人脸追踪模块动态配置的实例
	PXCFaceConfiguration *cfg = faceModule->CreateActiveConfiguration();

	if (cfg == NULL)
	{
		wprintf_s(L"Unabel to create FaceConfiguration\n");
		return 4;
	}

	cfg->detection.isEnabled = TRUE; //这句也可注释掉，不影响检测结果

	//使能所有警告
	cfg->EnableAllAlerts();

	//将任何参数的改变反馈给faceModule
	cfg->ApplyChanges();

	//创建人脸数据的实例
	PXCFaceData *facedata = faceModule->CreateOutput();

	PXCImage *colorIm;
	PXCImage::ImageData color_data;
	PXCImage::ImageInfo color_info;

	while (psm->AcquireFrame(true) >= PXC_STATUS_NO_ERROR)

	{
		if (psm->AcquireFrame(true) < PXC_STATUS_NO_ERROR) break;

		//获取最新的人脸追踪配置参数
		facedata->Update();

		PXCCapture::Sample *sample = psm->QuerySample();
		colorIm = sample->color;

		if (colorIm->AcquireAccess(PXCImage::ACCESS_READ, PXCImage::PIXEL_FORMAT_RGB24, &color_data) < PXC_STATUS_NO_ERROR)
			wprintf_s(L"未正常获取彩色图\n");

		color_info = sample->color->QueryInfo();

		Mat color(Size(color_info.width, color_info.height), CV_8UC3, (void*)color_data.planes[0], color_data.pitches[0] / sizeof(uchar));

		//取出检测到的人脸数目
		pxcI32 nfaces = facedata->QueryNumberOfDetectedFaces();

		//对视野内每一张人脸追踪处理
		for (pxcI32 i = 0; i < nfaces; i++) {
			//按序号获取一个人脸的数据实例
			PXCFaceData::Face *trackedface = facedata->QueryFaceByIndex(i);
			PXCFaceData::DetectionData *detectiondata = trackedface->QueryDetection();

			if (detectiondata == NULL)
			{
				wprintf_s(L"Unabel to get detection data\n");
				return 5;
			}

			//将当前人脸的位置数据存在rect中
			PXCRectI32 rect;
			detectiondata->QueryBoundingRect(&rect);

			//PXCRectI32到opencv中Rect类的转化
			Rect cvrect = Rect(rect.x, rect.y, rect.w, rect.h);
			DrawRectangle(color, cvrect);

            //给当前人脸加上识别序号的文字
			stringstream ss;
            ss << i;
            string id = ss.str();
			id = "ID:" + id;
			putText(color,id, Point(rect.x+rect.w/2, rect.y-rect.h/20), CV_FONT_HERSHEY_COMPLEX, 0.4, Scalar(255, 255, 0));
		}

		colorIm->ReleaseAccess(&color_data);

		stringstream ss;
		ss << nfaces;
		string  num_faces= ss.str();
		num_faces =num_faces + " faces in the field of view.";
		putText(color, num_faces, Point(color.rows/20,color.cols/40), CV_FONT_HERSHEY_COMPLEX, 0.5, Scalar(153, 51, 250));

		psm->ReleaseFrame();
		imshow("face_detection", color);
		waitKey(1);
	}
	facedata->Release();
	cfg->Release();
	psm->Close();
	psm->Release();
}

运行结果和丑照：

三.心得体会

说实话，研究realsense的sdk是略痛苦的，因为可参考的资料实在有限，除了官方sdk就只有一个开发者论坛了。当你上网搜索kinect的相关资料时，可以发现大批大神的研究例程和心得。反过来看realsense，新闻很多，都是说它怎么怎么厉害，但是并没有多少对开发者有参考价值的资料。realsense毫无疑问比kinect强悍，体积又小，但因为发布时间较短，所以大部分人都还在研究这玩意怎么用。

就像上面这个程序，博主在看完sdk关于人脸检测的介绍之后，按照它的框架去码代码，码的时候自己都有点迷糊每一步的意思。最后程序闪退，得不到任何结果，人脸都没有，还检测什么。无奈之下只有看example了，天哪噜，代码量实在大，还有一堆写窗口和按钮的，只能慢慢从里面探索出对自己有用的东西。

看久了也就能看出一些门道了，比如ApplyChanges到底有什么用， 原来FaceConfiguration这个接口一旦创建了，就和FaceModule独立了，使用ApplyChanges是为了在模块配置参数发生变化时能通过update来将最新的配置参数传递给FaceModule。然而一开始，我并有理解这些，所以代码里连update都没有，结果只能是gg。

甚至在刚开始的时候，我的enableface还有配置实例的创建代码都是写在while获取每一帧里面的，后面才理解了人脸模块的使能以及人脸追踪的配置应该在获取图片帧之前完成，然后获取一帧图片之后，更新人脸配置参数，对该帧图片检测人脸，对每一个检测到的人脸进行处理。

总之，路漫漫，博主继续研究去了。

时间： 2024-08-01 10:43:55

Realsense 人脸识别的相关文章

多维活体检测，让人脸识别更安全

今年的315晚会提到人脸识别领域的安全风险,主持人用现场合成的视频通过了活体检测和人脸验证,因此人脸识别的安全性引起大众关注.对于活体检测的安全隐患,腾讯优图团队一直保持高度关注,并依托多年积累的技术能力和业务运营经验,已经对人脸识别技术手段进行过多次安全升级,让人脸识别更安全. 一.目前人脸识别常见攻击手段有什么? 1 .纸片翻拍,通过打印用户的照片进行攻击: 2. 屏幕翻拍,一些3D建模技术可以驱动用户的单张照片或视频做出系统要求的摇头.张嘴.眨眼等动作: 3. 用户戴面具: 二.如何应对人

【下载】推荐一款免费的人脸识别SDK

现已进入刷脸的时代,例如,人脸支付.人脸识别的门禁.人流监控等等.如何在Firefly开源板上快速搭建DEMO,并快速产品化?为了让更多产品可以用上人脸识别技术,Firefly推出了一款高性能人脸识别SDK.此SDK的人脸识别的算法,运行效率高,识别精确度高,性能优异,可以直接应用于商业产品. 下文主要讲述如何在Firefly RK3399平台部署并测试OpenFace SDK,Let's GO!      一.Firefly RK3399开源板安装Ubuntu 16.04系统固件      系

趣拍云：助力APP一周上线人脸识别+动态贴纸

年初,某美图软件上线的"一秒变福娃"引发了全民COS狂潮.配合新年的欢乐气氛,人们纷纷拿起手机,将自己的照片P成福娃的模样,并发到朋友圈送出新年祝福.娱乐化的玩法,不仅收到了年轻粉丝群体的追捧,更带来了巨大的话题量和高流量.而就在近日,国内领先的移动视频云服务商趣拍云也将这一人脸贴图功能开放,可供开发者快速集成如同FaceU的短视频拍摄SDK,实现产品娱乐化与个性化. 开发"神器",助你轻松客服技术难题 立体化和高覆盖的话题营销,自然与产品独特的切入点密不可分.越来

【从零学习openCV】IOS7人脸识别实战

前言 接着上篇<IOS7下的人脸检測>,我们顺藤摸瓜的学习怎样在IOS7下用openCV的进行人脸识别,实际上非常easy,因为人脸检測部分已经完毕,剩下的无非调用openCV的方法对採集到的人脸样本进行训练,终于得到一个能够预測人脸的模型.可是当中的原理可谓是博大精深,因为快临最近末考试了,没时间去琢磨当中详细的细节,这次就先写个大概的demo,下次更新文章就得到6月20号之后了. 原理: 从OpenCV2.4之后,openCV增加了新的类FaceRecognizer,我们能够使用它便捷地进

FaceNet--Google的人脸识别

引入 随着深度学习的出现,CV领域突破很多,甚至掀起了一股CV界的创业浪潮,当次风口浪尖之时,Google岂能缺席.特贡献出FaceNet再次刷新LFW上人脸验证的效果记录. 本文是阅读FaceNet论文的笔记,所有配图均来自于论文. 转载请注明:http://blog.csdn.net/stdcoutzyx/article/details/46687471 FaceNet 与其他的深度学习方法在人脸上的应用不同,FaceNet并没有用传统的softmax的方式去进行分类学习,然后抽取其中某一层

支持向量机 人脸识别（SVM）SKLearn

#!/usr/bin/env python # -*- coding: utf-8 -*- import numpy as np import pylab as pl from sklearn import svm # we create 40 separable points np.random.seed(0)#每次运行结果不变 X = np.r_[np.random.randn(20, 2) - [2, 2], np.random.randn(20, 2) + [2, 2]] #randn2

opencv+python3.4的人脸识别----2017-7-19

opencv3.1  +  python3.4 第一回合(抄代码,可实现):人脸识别涉及一个级联表,目前能力还无法理解. 流程:1.读取图像---2.转换为灰度图---3.创建级联表---4.对灰度图使用级联表方法过滤---5.迭代得到的结果依次标记出来---6.保存图像 完整代码: import cv2 #读取图片 img = cv2.imread('5.jpg') #转化为灰度图 gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) #特征级联表 face_

Dlib+OpenCV深度学习人脸识别

目录(?)[+] DlibOpenCV深度学习人脸识别 前言 人脸数据库导入 人脸检测 人脸识别 异常处理 Dlib+OpenCV深度学习人脸识别 前言 人脸识别在LWF(Labeled Faces in the Wild)数据集上人脸识别率现在已经99.7%以上,这个识别率确实非常高了,但是真实的环境中的准确率有多少呢?我没有这方面的数据,但是可以确信的是真实环境中的识别率并没有那么乐观.现在虽然有一些商业应用如员工人脸识别管理系统.海关身份验证系统.甚至是银行人脸识别功能,但是我们可以仔细想

opencv人脸识别

#include "opencv2/core/core.hpp" #include "opencv2/objdetect/objdetect.hpp" #include "opencv2/highgui/highgui.hpp" #include "opencv2/imgproc/imgproc.hpp" #include <iostream> #include <stdio.h> using name