用DirectShow实现视频采集-流程构建

DirectShow作为DirectX的一个子集,它为用户提供了强大、方便的多媒体开接口,并且它拥有直接操作硬件的能力,这使得它的效率远胜于用GDI等图形方式编写的多媒体程序。前面一篇文章已经对DirectShow作了粗略的介绍,阐述了它的原理及一些编程方法。这里结合实践中运用DirectShow实现视频采集(WIN32)来加深对DirectShow的理解和操作能力。

1.系统环境及开发环境

l       系统支持DirectX(Win 2K以上系统)

l       VC++  6.0安装有DirectX  SDK(最好与系统支持的DirectX版本相同)

l       视频采集设备(如USB摄像头,本文以USB PC Camera 310P为例)

2.基本思想

DirectShow的基本原理是多媒体数据在过滤器图表(Filter Graph)中流动,通过过滤器图表中各过滤器(Filter)实现在功能,最终实现多媒体数据在渲染过滤器(Vendering Filters)中的显示和回放。

前面我们已经知道,一般过滤器可分为三类:源过滤器(Source Filters)、转换过滤器(Transform Filters)、渲染过滤器(Vendering Filters)。它们分别完成数据提供、数据格式转换(压缩编码等)和数据渲染和回放功能。所以,为了实现在WIN32系统下的视频采集,我们首先要构造出一个适当的过滤器图表,然后通过应用程序对过滤器图表的管理来完成视频采集的功能。

这里我们一般需要2至3个过滤器。为什么这个数字会不准确呢?那是因为一方面系统采集设备的驱动模型是不确定的(一般有WDM和VFW两种);另一方面同一采集设备它们的Filter会由于驱动程序的差异造成Filter中引脚(Pin)的不一致;还有就是不同总线的采集设备(PCI、USB、AGP)它们的Filter也是不一致的。比如:同为USB摄像头,有些Filter有两个输出引脚(Capture和Preview);而有些Filter则只有一个输出引脚(Capture)。这里Preview引脚用来将做视频预览,Capture引脚用来将输入数据以供编码、保存等用处。

这几个过滤器分别是:

l       Video Capture Filter 采集设备Filter

l       Smart Tee Filter 将没有Preview引脚Filter的Capture引脚分为两支数据流(可选)

l       Video Venderer  视频渲染及回放Filter

通过上面3个过滤器,我们可以构造出一个完整的视频采集过滤器图表(如图1)

图1

我们也可以对上面的过滤器图表稍做修改,将它变为一个既可以预览视频,又可以将视频保存为媒体文件的图表(如图2)。

图2

图表构造出来后,接下来就午剩下具体的实现了,我们只需依次构造每个Filter,然后将各信Filter的Pin按序相连即可完成图表的构造。最后,我们通过应用程序向图表发送命令(通过图表管理器完成)来控制整个视频采集的流程。

3.具体实现

首先我们需要创建几个接口全局变量。

IGraphBuilder *pGraph;   //过滤器图表管理器

ICaptureGraphBuilder2 *pBuild;  //视频采集过滤器图表

IBaseFilter *pCap;   //Video Capture Filter

IBaseFilter *pSmartTee;   //Smart Tee Filter

IBaseFilter *pRender;  //Video Renderer Filter

IMediaControl *pControl;  //用户命令接口,用来控制过滤器图表

IMediaEvent *pEvent;     //过滤器图表事件接口

1)  采集设备枚举

在构造Video Capture Filter前,我们必须列举出系统的所有采集设备,然后才能根据列举的设备名称创建Video Capture Filter。列举设备的函数实现如下

bool ListCaptureDevices()

{

ICreateDevEnum *pDevEnum = NULL;  //设备枚举器Interface

IEnumMoniker *pEnum = NULL;       //名称枚举Interface

// Create the System Device Enumerator.

HRESULT hr = CoCreateInstance(CLSID_SystemDeviceEnum, NULL,

CLSCTX_INPROC_SERVER, IID_ICreateDevEnum,

reinterpret_cast<void**>(&pDevEnum));  //创建设备枚举COM对象

if (SUCCEEDED(hr))

{

// Create an enumerator for the video capture category.

hr = pDevEnum->CreateClassEnumerator(

CLSID_VideoInputDeviceCategory,

&pEnum, 0);       //创建视频采集设备枚举COM对象

}

////////////////////////////////////////////////////////////

IMoniker *pMoniker = NULL;

if(pEnum == NULL)

{

return false;  //如果没有设备,返回

}

while (pEnum->Next(1, &pMoniker, NULL) == S_OK)  //依次枚举,直至为空

{

IPropertyBag *pPropBag;

hr = pMoniker->BindToStorage(0, 0, IID_IPropertyBag,

(void**)(&pPropBag));

if (FAILED(hr))

{

pMoniker->Release();

continue;  // Skip this one, maybe the next one will work.

}

// Find the description or friendly name.

VARIANT varName;

VariantInit(&varName);

hr = pPropBag->Read(L"Description", &varName, 0);

if (FAILED(hr))

{

hr = pPropBag->Read(L"FriendlyName", &varName, 0);  //设备友好名称

}

if (SUCCEEDED(hr))

{

// Add it to the application‘s list box.

char displayName[1024];

WideCharToMultiByte(CP_ACP,0,varName.bstrVal,-1,displayName,1024,"",NULL);

m_nList.AddString(displayName);  //字符转换,枚举名称均为UNICODE码

VariantClear(&varName);

}

pPropBag->Release();

pMoniker->Release();

}

return true;

}

2)创建Video Capture Filter

根据枚举出来的设备友好名称(FriendlyName)创建Video Capture Filter。

bool CTest_capDlg::CreateHardwareFilter(const char * friendlyName)

{   //将friendlyName与所有的设备名称依次对比,如果相同,则创建Filter

ICreateDevEnum * enumHardware = NULL;

HRESULT hr = CoCreateInstance(CLSID_SystemDeviceEnum,NULL,CLSCTX_ALL

,IID_ICreateDevEnum,(void **)&enumHardware);

if( FAILED(hr) )

{

return false;

}

IEnumMoniker * enumMoniker = NULL;

hr = enumHardware->CreateClassEnumerator(CLSID_VideoInputDeviceCategory,&enumMoniker,0);

if(enumMoniker)

{

enumMoniker->Reset();

ULONG fetched = 0;

IMoniker * moniker = NULL;

char friendlyName[256];

while(!pCap && SUCCEEDED(enumMoniker->Next(1,&moniker,&fetched)) && fetched)

{

if(moniker)

{

IPropertyBag * propertyBag = NULL;

VARIANT name;

friendlyName[0]=0;

hr=moniker->BindToStorage(0,0,IID_IPropertyBag,(void **)&propertyBag);

if(SUCCEEDED(hr))

{

name.vt=VT_BSTR;

hr = propertyBag->Read(L"FriendlyName",&name,NULL);

}

else

return false;

if(SUCCEEDED(hr))

{

WideCharToMultiByte(CP_ACP,0,name.bstrVal,-1,friendlyName,256,NULL,NULL);

moniker->BindToObject(0,0,IID_IBaseFilter,(void **)&pCap);

}

else

return false;

if(propertyBag)

{

propertyBag->Release();

propertyBag=NULL;

}

moniker->Release();

}

}

enumMoniker->Release();

}

enumHardware->Release();

return true;

}

3)创建视频采集过滤器图表

DirectX较高版本中一般都为开发者提供了一个ICaptureGraphBuilder2接口,开发者可以通过它方便地创建视频采集过滤器图表,然后再将它添加到IGraphBuilder图表管理器中(如图3)。

图3

bool InitCaptureGraphBuilder()

{

HRESULT hr = CoCreateInstance(CLSID_CaptureGraphBuilder2, NULL,

CLSCTX_INPROC_SERVER, IID_ICaptureGraphBuilder2, (void**)&pBuild);

if(FAILED(hr))

return false;

hr = CoCreateInstance(CLSID_FilterGraph, 0, CLSCTX_INPROC_SERVER,

IID_IGraphBuilder, (void**)&pGraph);

if(FAILED(hr))

{

pBuild->Release();

return false;

}

pBuild->SetFiltergraph(pGraph);   ///////////////////// 过滤器图表添加到管理器中

pGraph->QueryInterface(IID_IMediaControl,(void **)&pControl);

pGraph->QueryInterface(IID_IMediaEvent,(void **)&pEvent);

return true;

}

4)创建剩余的Smart Tee和Video Renderer Filter并连接成完整的图表

在创建完Video Capture Filter后,我们需要将Filter添加到过滤器图表中。

pGraph->AddFilter(pCap,L"Capture Filter");

然后,我们创建剩余的Filter并相连即可,值得注意的是:ICaptureGraphBuilder2为用户提供了一个RenderStream函数,它可以自动构建Smart Tee和Video Renderer Filter并将它们连接成一个完整的图表,从而完成视频采集的功能。

pBuild->RenderStream(&PIN_CATEGORY_PREVIEW, &MEDIATYPE_Video,

pCap, NULL, NULL);

为了说明整个过程,这里我们按部就搬,依次创建各个Filter。

Smart Tee

CoCreateInstance(CLSID_SmartTee,NULL,CLSCTX_INPROC_SERVER,IID_IBaseFilter,(void **)&pSmartTee);

Video Renderer Filter

CoCreateInstance(CLSID_VideoRenderer,NULL,CLSCTX_INPROC_SERVER,IID_IBaseFilter,(void **)&pRender);

创建好各个Filter后,我们依次取得它们的引脚(Pin),将它们按序相连即可。

IPin * GetSmartTeeInputPin()  //取得Smart Tee 输入引脚

{

if(pSmartTee)

{

IPin * pPin;

HRESULT hr = pSmartTee->FindPin(L"Input",&pPin);

if(SUCCEEDED(hr))

{

pPin->Release();

return pPin;

}

}

return NULL;

}

IPin * GetSmartTeeCapturePin()  //取得Smart Tee Capture引脚

{

if(pSmartTee)

{

IPin * pPin;

HRESULT hr = pSmartTee->FindPin(L"Capture",&pPin);

if(SUCCEEDED(hr))

{

pPin->Release();

return pPin;

}

}

return NULL;

}

IPin * GetSmartTeePreviewPin()  //取得Smart Tee Preview引脚

{

if(pSmartTee)

{

IPin * pPin;

HRESULT hr = pSmartTee->FindPin(L"Preview",&pPin);

if(SUCCEEDED(hr))

{

pPin->Release();

return pPin;

}

}

return NULL;

}

IPin * GetRendererPin()  //取得Video Renderer Filter的输入Pin

{

if(pBuild)

{

IPin * pPin;

HRESULT hr = pBuild->FindPin(pRender,PINDIR_INPUT,NULL,NULL,FALSE,0,&pPin);

if(SUCCEEDED(hr))

{

pPin->Release();

return pPin;

}

}

return NULL;

}

将各个引脚按序连接:

IPin * pOut = FindVideoPin(&PIN_CATEGORY_CAPTURE);

IPin * pIn = GetSmartTeeInputPin();

pGraph->Connect(pOut,pIn);  //Video Capture Filter’ Capture Pin à Smart Tee’Input Pin

IPin * mOut = GetSmartTeePreviewPin();

IPin * mIn = GetRendererPin();

pGraph->Connect(mOut,mIn); //Smart Tee’s Preview Pin à Video Renderer Filter’s Input Pin

这样,一个完整的视频采集图表管理器就构造完成了。

5)开始视频采集

通过用户命令接口,我们可以方便的完成开始,暂停,停止视频采集。

pControl->Run();

pControl->Stop();

4.小结

通过上述视频采集过程的实现,不难发现DirectShow是一个流程清晰,开发容易的多媒体开发工具。我们在使用DirectX为我们提供的Filter构建多媒体功能的同时,也可以自己着手创建具备特定功能的Filter。总之,Direct系统还是一个巨大的宝藏,等待着我们去发掘和开采。

时间: 2024-10-29 11:07:56

用DirectShow实现视频采集-流程构建的相关文章

提取DirectShow中视频采集的数据

DirectShow中,数据流(Data Flow)都是依次流过各个Filter的.它对数据的管理也有自己的方法,而且并没有向用户提供一个统一的接口,供用户操作数据流.这里以提取视频采集在的每帧为位图数据为例,说说如何在Directshow中提取数据. 这里我们用到了DirectShow提供给我们的接口ISampleGrabber,并定义了一个供它回调的CSampleGrabberCB对象(继承ISampleGrabberCB接口). 我们知道,DirectShow中的数据存储是通过Sample

EasyRTMP实现内网摄像头RTSP拉流转码RTMP推流到RTMP服务器EasyRTMP-Android视频采集流程是什么?

背景分析 RTMP是Real Time Messaging Protocol(实时消息传输协议)的首字母缩写,该协议基于TCP,是一个协议族,包括RTMP基本协议及RTMP/RTMPS/RTMPE等多种变种.RTMP是一种设计用来进行实时数据通信的网络下ieyi,主要用来在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信.RTMP推流,就是将直播内容推送到服务器的过程. 关于RTMP推流组件 EasyRTMP是一套调用简单.功能完善.运行高效稳定的RTMP推流

WebRTC手记之本地视频采集

转载请注明出处:http://www.cnblogs.com/fangkm/p/4374610.html 前面两篇文章介绍WebRTC的运行流程和使用框架接口,接下来就开始分析本地音视频的采集流程.由于篇幅较大,视频采集和音频采集分成两篇博文,这里先分析视频采集流程.分析的时候先分析WebRTC原生的视频采集流程,再捎带提一下Chromium对WebRTC视频采集的适配,这样能更好地理解WebRTC的接口设计. 1. WebRTC原生视频采集 在介绍视频设备的采集之前,首先要分析一下WebRTC

嵌入式Linux的web视频服务器的构建

http://blog.sina.com.cn/s/blog_53d02d550102v8bu.html随着嵌入式处理器和开源Linux 的广泛应用,各种视频服务在嵌入式系统中逐渐发展起来. 1.引言 随着多媒体技术.视频压缩编码技术.网络通讯技术的发展,数字视频服务器逐渐发展起来.近年来随着嵌入式处理器和开源Linux 的广泛应用,视频服务已逐渐与嵌入式相结合.本文提出了一种嵌入式 web 视频服务器的构建方法,该系统以嵌入式 Linux 和 S3C2440 为核心平台:在这个平台上构建web

嵌入式视频采集编程思路(Video 4 Linux)-转

转自:http://zyg0227.blog.51cto.com/1043164/271954 1.  linux 内核有video for linux简称V4L.V4L是Linux影像系统与嵌入式影像的基础,是Linux kernel里支持影像设备的一组APIs,配合适当的视频采集卡与视频采集卡驱动程序,V4L可以实现影像采集.AM/FM无线广播.影像CODEC.频道切换等功能.目前,V4L主要应用在影像串流系统与嵌入式影像系统里,其应用范围相当广泛,例如:远程教学.远程医疗.视频会议.视频监

Windows Media Foundation 音视频采集 小记

写在前面 我是个讲文明的人…… 不过有的时候实在忍不住了也要吐槽几句: 1. 我真是跟不上时代,到现在了还在研究 Windows 应用开发…… 咳: 2. DirectShow 是傻X!我只是想要获取 Camera 裸数据,尼玛却要让我学习神马各种 .ax, filter, graph... 相关资料少.又晦涩: 3. 在此祝愿 Windows XP 及其之前的版本早点退出历史舞台,这样 DirectShow 就不是必须的了! 音视频采集 Windows 7 以后, Media Foundati

手机Android音视频采集与直播推送,实现单兵、移动监控类应用

恰逢2014 Google I/O大会,不难看出安卓在Google的推进以及本身的开放性作用下,已经快延生到生活的各个方面了,从安卓智能手机.平板,到可穿戴的Android Ware.眼镜.手表.再到Android汽车.智能家居.电视,甚至最近看新闻,日本出的几款机器人都是Android系统的,再把目光放回监控行业,传统监控中的移动终端设备,例如:单兵设备.手持设备.车载终端设备,包括家庭监控中用到的智能设备,都可以用Android系统替代了,不仅开发容易,而且易扩展,设备也更加智能了. 图 -

DM365视频处理流程/DM368 NAND Flash启动揭秘

DM365的视频处理涉及到三个相关处理器,分别是视频采集芯片.ARM处理器和视频图像协处理器(VICP),整个处理流程由ARM核协调.视频处理主要涉及三个处理流程,分别是视频采集.视频编码和对编码后的视频的处理,为了提高性能,通常为每个处理流程提供一个处理线程.视频采集  TVP5146将采集到的视频数据转化为数字信号,并将这些数据送入DM365的BT656接口,然后通过Resize得到所需要的分辨率,然后将这些数据写入到指定的内存中,这些内存空间由cmem模块分配.cmem模块用于分配连续的存

手机直播系统偶尔会需要到的:Windows 下视频采集技术

Windows下视频采集的方法 在 Windows 下主要有两种方法来采集视频: 一种是通过 Media Foundation,另一种是通过 DirectShow. Meida Foundation 是 Windows 从 vista 之后推出的一套全新的 多媒体SDK,简单方便,从 Win7 开始成熟起来. 另一种是 DirectShow,它主要用于 win7 之前的采集视频.使用 DirectShow 编写代码比较麻烦,主要是因为 Windows 工程师按照逻辑电路的思维方式设计了 Dire