转：android中多媒体解码openmax的实现

转自：http://blog.csdn.net/hellofeiya/article/details/8601168

每个AwesomePlayer 只有一个OMX服务的入口，但是AwesomePlayer不一定就只需要1种解码器。有可能音视频都有，或者有很多种。这个时候这些解码器都需要OMX的服务，也就是OMX那头需要建立不同的解码器的组件来对应着AwesomePlayer中不同的code。OMX中非常重要的2个成员就是 OMXMaster 和 OMXNodeInstance。OMX通过这俩个成员来创建和维护不同的openmax 解码器组件，为AwesomePlayer中不同解码提供服务。让我们看看他们是怎么实现这些工作的。

1. OMX中 OMXNodeInstance 负责创建并维护不同的实例，这些实例是根据上面需求创建的，以node作为唯一标识。这样播放器中每个OMXCodec在OMX服务端都对应有了自己的OMXNodeInstance实例。

2.OMXMaster 维护底层软硬件解码库，根据OMXNodeInstance中想要的解码器来创建解码实体组件。

接下来我们假设视频解码器需要的是AVC，来看看解码器创建的流程。

(默认走软解码)

1.准备工作初始化OMXMaster

OMX构造函数中会进行初始化。

[cpp] view plaincopyprint?

  1. OMXMaster *mMaster;

[cpp] view plain copy

print?

  1. OMXMaster *mMaster;

[cpp] view plaincopyprint?

  1. OMX::OMX()
  2. : mMaster(new OMXMaster),
  3. mNodeCounter(0) {
  4. }

[cpp] view plain copy

print?

  1. OMX::OMX()
  2. : mMaster(new OMXMaster),
  3. mNodeCounter(0) {
  4. }

[cpp] view plaincopyprint?

  1. OMXMaster::OMXMaster()
  2. : mVendorLibHandle(NULL) {
  3. addVendorPlugin();
  4. addPlugin(new SoftOMXPlugin);
  5. }

[cpp] view plain copy

print?

  1. OMXMaster::OMXMaster()
  2. : mVendorLibHandle(NULL) {
  3. addVendorPlugin();
  4. addPlugin(new SoftOMXPlugin);
  5. }

OMXMaster 负责OMX中编解码器插件管理，软件解码和硬件解码都是使用OMX标准，挂载plugins的方式来进行管理。

软解通过 addPlugin(new SoftOMXPlugin);会把这些编解码器的名字都放在mPluginByComponentName中。

android 默认会提供一系列的软件解码器。目前支持这些格式的软编解码。

[cpp] view plaincopyprint?

  1. kComponents[] = {
  2. { "OMX.google.aac.decoder", "aacdec", "audio_decoder.aac" },
  3. { "OMX.google.aac.encoder", "aacenc", "audio_encoder.aac" },
  4. { "OMX.google.amrnb.decoder", "amrdec", "audio_decoder.amrnb" },
  5. { "OMX.google.amrnb.encoder", "amrnbenc", "audio_encoder.amrnb" },
  6. { "OMX.google.amrwb.decoder", "amrdec", "audio_decoder.amrwb" },
  7. { "OMX.google.amrwb.encoder", "amrwbenc", "audio_encoder.amrwb" },
  8. { "OMX.google.h264.decoder", "h264dec", "video_decoder.avc" },
  9. { "OMX.google.h264.encoder", "h264enc", "video_encoder.avc" },
  10. { "OMX.google.g711.alaw.decoder", "g711dec", "audio_decoder.g711alaw" },
  11. { "OMX.google.g711.mlaw.decoder", "g711dec", "audio_decoder.g711mlaw" },
  12. { "OMX.google.h263.decoder", "mpeg4dec", "video_decoder.h263" },
  13. { "OMX.google.h263.encoder", "mpeg4enc", "video_encoder.h263" },
  14. { "OMX.google.mpeg4.decoder", "mpeg4dec", "video_decoder.mpeg4" },
  15. { "OMX.google.mpeg4.encoder", "mpeg4enc", "video_encoder.mpeg4" },
  16. { "OMX.google.mp3.decoder", "mp3dec", "audio_decoder.mp3" },
  17. { "OMX.google.vorbis.decoder", "vorbisdec", "audio_decoder.vorbis" },
  18. { "OMX.google.vpx.decoder", "vpxdec", "video_decoder.vpx" },
  19. { "OMX.google.raw.decoder", "rawdec", "audio_decoder.raw" },
  20. { "OMX.google.flac.encoder", "flacenc", "audio_encoder.flac" },
  21. };

[cpp] view plain copy

print?

  1. kComponents[] = {
  2. { "OMX.google.aac.decoder", "aacdec", "audio_decoder.aac" },
  3. { "OMX.google.aac.encoder", "aacenc", "audio_encoder.aac" },
  4. { "OMX.google.amrnb.decoder", "amrdec", "audio_decoder.amrnb" },
  5. { "OMX.google.amrnb.encoder", "amrnbenc", "audio_encoder.amrnb" },
  6. { "OMX.google.amrwb.decoder", "amrdec", "audio_decoder.amrwb" },
  7. { "OMX.google.amrwb.encoder", "amrwbenc", "audio_encoder.amrwb" },
  8. { "OMX.google.h264.decoder", "h264dec", "video_decoder.avc" },
  9. { "OMX.google.h264.encoder", "h264enc", "video_encoder.avc" },
  10. { "OMX.google.g711.alaw.decoder", "g711dec", "audio_decoder.g711alaw" },
  11. { "OMX.google.g711.mlaw.decoder", "g711dec", "audio_decoder.g711mlaw" },
  12. { "OMX.google.h263.decoder", "mpeg4dec", "video_decoder.h263" },
  13. { "OMX.google.h263.encoder", "mpeg4enc", "video_encoder.h263" },
  14. { "OMX.google.mpeg4.decoder", "mpeg4dec", "video_decoder.mpeg4" },
  15. { "OMX.google.mpeg4.encoder", "mpeg4enc", "video_encoder.mpeg4" },
  16. { "OMX.google.mp3.decoder", "mp3dec", "audio_decoder.mp3" },
  17. { "OMX.google.vorbis.decoder", "vorbisdec", "audio_decoder.vorbis" },
  18. { "OMX.google.vpx.decoder", "vpxdec", "video_decoder.vpx" },
  19. { "OMX.google.raw.decoder", "rawdec", "audio_decoder.raw" },
  20. { "OMX.google.flac.encoder", "flacenc", "audio_encoder.flac" },
  21. };

硬件编解码是通过 addVendorPlugin();加载libstagefrighthw.so.各个芯片平台可以遵循openmax 标准,生成libstagefrighthw.so的库来提供android应用。

[cpp] view plaincopyprint?

  1. void OMXMaster::addVendorPlugin() {
  2. addPlugin("libstagefrighthw.so");
  3. }

[cpp] view plain copy

print?

  1. void OMXMaster::addVendorPlugin() {
  2. addPlugin("libstagefrighthw.so");
  3. }

然后通过dlopen、dlsym来调用库中的函数。

这部分准备工作是在AwesomePlayer的构造函数中

CHECK_EQ(mClient.connect(), (status_t)OK); 已经完成了。

2.创建mVideoSource

有了上面的OMX，接下来会在AwesomePlayer::initVideoDecoder中创建mVideoSource 实例，下面代码只保留的主要部分：

[cpp] view plaincopyprint?

  1. status_t AwesomePlayer::initVideoDecoder(uint32_t flags) {
  2. ATRACE_CALL();
  3. mVideoSource = OMXCodec::Create(
  4. mClient.interface(), mVideoTrack->getFormat(),
  5. false, // createEncoder
  6. mVideoTrack,
  7. NULL, flags, USE_SURFACE_ALLOC ? mNativeWindow : NULL);
  8. status_t err = mVideoSource->start();
  9. return mVideoSource != NULL ? OK : UNKNOWN_ERROR;
  10. }

[cpp] view plain copy

print?

  1. status_t AwesomePlayer::initVideoDecoder(uint32_t flags) {
  2. ATRACE_CALL();
  3. mVideoSource = OMXCodec::Create(
  4. mClient.interface(), mVideoTrack->getFormat(),
  5. false, // createEncoder
  6. mVideoTrack,
  7. NULL, flags, USE_SURFACE_ALLOC ? mNativeWindow : NULL);
  8. status_t err = mVideoSource->start();
  9. return mVideoSource != NULL ? OK : UNKNOWN_ERROR;
  10. }

保留主要部分，去除编码相关

[cpp] view plaincopyprint?

  1. sp<MediaSource> OMXCodec::Create(
  2. const sp<IOMX> &omx,
  3. const sp<MetaData> &meta, bool createEncoder,
  4. const sp<MediaSource> &source,
  5. const char *matchComponentName,
  6. uint32_t flags,
  7. const sp<ANativeWindow> &nativeWindow) {
  8. int32_t requiresSecureBuffers;
  9. const char *mime;
  10. bool success = meta->findCString(kKeyMIMEType, &mime);
  11. CHECK(success);
  12. Vector<String8> matchingCodecs;
  13. Vector<uint32_t> matchingCodecQuirks;
  14. findMatchingCodecs(
  15. mime, createEncoder, matchComponentName, flags,
  16. &matchingCodecs, &matchingCodecQuirks);
  17. sp<OMXCodecObserver> observer = new OMXCodecObserver;
  18. IOMX::node_id node = 0;
  19. for (size_t i = 0; i < matchingCodecs.size(); ++i) {
  20. const char *componentNameBase = matchingCodecs[i].string();
  21. uint32_t quirks = matchingCodecQuirks[i];
  22. const char *componentName = componentNameBase;
  23. AString tmp;
  24. status_t err = omx->allocateNode(componentName, observer, &node);
  25. if (err == OK) {
  26. ALOGV("Successfully allocated OMX node ‘%s‘", componentName);
  27. sp<OMXCodec> codec = new OMXCodec(
  28. omx, node, quirks, flags,
  29. createEncoder, mime, componentName,
  30. source, nativeWindow);
  31. observer->setCodec(codec);
  32. err = codec->configureCodec(meta);
  33. if (err == OK) {
  34. if (!strcmp("OMX.Nvidia.mpeg2v.decode", componentName)) {
  35. codec->mFlags |= kOnlySubmitOneInputBufferAtOneTime;
  36. }
  37. return codec;
  38. }
  39. ALOGV("Failed to configure codec ‘%s‘", componentName);
  40. }
  41. }
  42. return NULL;
  43. }

[cpp] view plain copy

print?

  1. sp<MediaSource> OMXCodec::Create(
  2. const sp<IOMX> &omx,
  3. const sp<MetaData> &meta, bool createEncoder,
  4. const sp<MediaSource> &source,
  5. const char *matchComponentName,
  6. uint32_t flags,
  7. const sp<ANativeWindow> &nativeWindow) {
  8. int32_t requiresSecureBuffers;
  9. const char *mime;
  10. bool success = meta->findCString(kKeyMIMEType, &mime);
  11. CHECK(success);
  12. Vector<String8> matchingCodecs;
  13. Vector<uint32_t> matchingCodecQuirks;
  14. findMatchingCodecs(
  15. mime, createEncoder, matchComponentName, flags,
  16. &matchingCodecs, &matchingCodecQuirks);
  17. sp<OMXCodecObserver> observer = new OMXCodecObserver;
  18. IOMX::node_id node = 0;
  19. for (size_t i = 0; i < matchingCodecs.size(); ++i) {
  20. const char *componentNameBase = matchingCodecs[i].string();
  21. uint32_t quirks = matchingCodecQuirks[i];
  22. const char *componentName = componentNameBase;
  23. AString tmp;
  24. status_t err = omx->allocateNode(componentName, observer, &node);
  25. if (err == OK) {
  26. ALOGV("Successfully allocated OMX node ‘%s‘", componentName);
  27. sp<OMXCodec> codec = new OMXCodec(
  28. omx, node, quirks, flags,
  29. createEncoder, mime, componentName,
  30. source, nativeWindow);
  31. observer->setCodec(codec);
  32. err = codec->configureCodec(meta);
  33. if (err == OK) {
  34. if (!strcmp("OMX.Nvidia.mpeg2v.decode", componentName)) {
  35. codec->mFlags |= kOnlySubmitOneInputBufferAtOneTime;
  36. }
  37. return codec;
  38. }
  39. ALOGV("Failed to configure codec ‘%s‘", componentName);
  40. }
  41. }
  42. return NULL;
  43. }

1.根据mVideoTrack传进来的视频信息，查找相匹配的解码器。

[cpp] view plaincopyprint?

  1. bool success = meta->findCString(kKeyMIMEType, &mime);
  2. findMatchingCodecs(
  3. mime, createEncoder, matchComponentName, flags,
  4. &matchingCodecs, &matchingCodecQuirks);

[cpp] view plain copy

print?

  1. bool success = meta->findCString(kKeyMIMEType, &mime);
  2. findMatchingCodecs(
  3. mime, createEncoder, matchComponentName, flags,
  4. &matchingCodecs, &matchingCodecQuirks);

2. 创建OMXCodecObserver 实例，OMXCodecObserver功能后续会详细介绍。创建一个node 并初始化为0.

[cpp] view plaincopyprint?

  1. sp<OMXCodecObserver> observer = new OMXCodecObserver;
  2. IOMX::node_id node = 0;

[cpp] view plain copy

print?

  1. sp<OMXCodecObserver> observer = new OMXCodecObserver;
  2. IOMX::node_id node = 0;

3. 通过omx入口 依靠binder 机制调用OMX服务中的allocateNode()，这一步把匹配得到的解码器组件名、OMXCodecObserver实例和初始化为0的node一并传入。

[cpp] view plaincopyprint?

  1. status_t err = omx->allocateNode(componentName, observer, &node);

[cpp] view plain copy

print?

  1. status_t err = omx->allocateNode(componentName, observer, &node);

这个allocateNode 就是文章最开始讲的，在OMX那头创建一个和mVideoSource相匹配的解码实例。用node值作为唯一标识。
让我们来看看真正的omx中allocateNode做了啥？

[cpp] view plaincopyprint?

  1. status_t OMX::allocateNode(
  2. const char *name, const sp<IOMXObserver> &observer, node_id *node) {
  3. Mutex::Autolock autoLock(mLock);
  4. *node = 0;
  5. OMXNodeInstance *instance = new OMXNodeInstance(this, observer);
  6. OMX_COMPONENTTYPE *handle;
  7. OMX_ERRORTYPE err = mMaster->makeComponentInstance(
  8. name, &OMXNodeInstance::kCallbacks,
  9. instance, &handle);
  10. if (err != OMX_ErrorNone) {
  11. ALOGV("FAILED to allocate omx component ‘%s‘", name);
  12. instance->onGetHandleFailed();
  13. return UNKNOWN_ERROR;
  14. }
  15. *node = makeNodeID(instance);
  16. mDispatchers.add(*node, new CallbackDispatcher(instance));
  17. instance->setHandle(*node, handle);
  18. mLiveNodes.add(observer->asBinder(), instance);
  19. observer->asBinder()->linkToDeath(this);
  20. return OK;
  21. }

[cpp] view plain copy

print?

  1. status_t OMX::allocateNode(
  2. const char *name, const sp<IOMXObserver> &observer, node_id *node) {
  3. Mutex::Autolock autoLock(mLock);
  4. *node = 0;
  5. OMXNodeInstance *instance = new OMXNodeInstance(this, observer);
  6. OMX_COMPONENTTYPE *handle;
  7. OMX_ERRORTYPE err = mMaster->makeComponentInstance(
  8. name, &OMXNodeInstance::kCallbacks,
  9. instance, &handle);
  10. if (err != OMX_ErrorNone) {
  11. ALOGV("FAILED to allocate omx component ‘%s‘", name);
  12. instance->onGetHandleFailed();
  13. return UNKNOWN_ERROR;
  14. }
  15. *node = makeNodeID(instance);
  16. mDispatchers.add(*node, new CallbackDispatcher(instance));
  17. instance->setHandle(*node, handle);
  18. mLiveNodes.add(observer->asBinder(), instance);
  19. observer->asBinder()->linkToDeath(this);
  20. return OK;
  21. }

创建一个OMXNodeInstance实例。

通过mMaster->makeComponentInstance创建真正解码器的组件，并通过handle与OMXNodeInstance关联。

所以说mMaster->makeComponentInstance这里是建立解码器组件的核心。会把mVideoSource需要的解码器name一直传递下去。

[cpp] view plaincopyprint?

  1. OMX_ERRORTYPE OMXMaster::makeComponentInstance(
  2. const char *name,
  3. const OMX_CALLBACKTYPE *callbacks,
  4. OMX_PTR appData,
  5. OMX_COMPONENTTYPE **component) {
  6. Mutex::Autolock autoLock(mLock);
  7. *component = NULL;
  8. ssize_t index = mPluginByComponentName.indexOfKey(String8(name));
  9. if (index < 0) {
  10. return OMX_ErrorInvalidComponentName;
  11. }
  12. OMXPluginBase *plugin = mPluginByComponentName.valueAt(index);
  13. OMX_ERRORTYPE err =
  14. plugin->makeComponentInstance(name, callbacks, appData, component);
  15. if (err != OMX_ErrorNone) {
  16. return err;
  17. }
  18. mPluginByInstance.add(*component, plugin);
  19. return err;
  20. }

[cpp] view plain copy

print?

  1. OMX_ERRORTYPE OMXMaster::makeComponentInstance(
  2. const char *name,
  3. const OMX_CALLBACKTYPE *callbacks,
  4. OMX_PTR appData,
  5. OMX_COMPONENTTYPE **component) {
  6. Mutex::Autolock autoLock(mLock);
  7. *component = NULL;
  8. ssize_t index = mPluginByComponentName.indexOfKey(String8(name));
  9. if (index < 0) {
  10. return OMX_ErrorInvalidComponentName;
  11. }
  12. OMXPluginBase *plugin = mPluginByComponentName.valueAt(index);
  13. OMX_ERRORTYPE err =
  14. plugin->makeComponentInstance(name, callbacks, appData, component);
  15. if (err != OMX_ErrorNone) {
  16. return err;
  17. }
  18. mPluginByInstance.add(*component, plugin);
  19. return err;
  20. }

最开始OMXMaster通过 addPlugin(new SoftOMXPlugin);把支持的软解码放在mPluginByComponentName中，在makeComponentInstance中通过上面传下来的解码器的name值从mPluginByComponentName找到相对应的plugin，然后调用  plugin->makeComponentInstance(name,
callbacks, appData, component);

这里的plugin 值得就是软解SoftOMXPlugin 也就是调用了

[cpp] view plaincopyprint?

  1. OMX_ERRORTYPE SoftOMXPlugin::makeComponentInstance(
  2. const char *name,
  3. const OMX_CALLBACKTYPE *callbacks,
  4. OMX_PTR appData,
  5. OMX_COMPONENTTYPE **component) {
  6. ALOGV("makeComponentInstance ‘%s‘", name);
  7. for (size_t i = 0; i < kNumComponents; ++i) {
  8. if (strcmp(name, kComponents[i].mName)) {
  9. continue;
  10. }
  11. AString libName = "libstagefright_soft_";
  12. libName.append(kComponents[i].mLibNameSuffix);
  13. libName.append(".so");
  14. void *libHandle = dlopen(libName.c_str(), RTLD_NOW);
  15. if (libHandle == NULL) {
  16. ALOGE("unable to dlopen %s", libName.c_str());
  17. return OMX_ErrorComponentNotFound;
  18. }
  19. typedef SoftOMXComponent *(*CreateSoftOMXComponentFunc)(
  20. const char *, const OMX_CALLBACKTYPE *,
  21. OMX_PTR, OMX_COMPONENTTYPE **);
  22. CreateSoftOMXComponentFunc createSoftOMXComponent =
  23. (CreateSoftOMXComponentFunc)dlsym(
  24. libHandle,
  25. "_Z22createSoftOMXComponentPKcPK16OMX_CALLBACKTYPE"
  26. "PvPP17OMX_COMPONENTTYPE");
  27. if (createSoftOMXComponent == NULL) {
  28. dlclose(libHandle);
  29. libHandle = NULL;
  30. return OMX_ErrorComponentNotFound;
  31. }
  32. sp<SoftOMXComponent> codec =
  33. (*createSoftOMXComponent)(name, callbacks, appData, component);
  34. if (codec == NULL) {
  35. dlclose(libHandle);
  36. libHandle = NULL;
  37. return OMX_ErrorInsufficientResources;
  38. }
  39. OMX_ERRORTYPE err = codec->initCheck();
  40. if (err != OMX_ErrorNone) {
  41. dlclose(libHandle);
  42. libHandle = NULL;
  43. return err;
  44. }
  45. codec->incStrong(this);
  46. codec->setLibHandle(libHandle);
  47. return OMX_ErrorNone;
  48. }
  49. return OMX_ErrorInvalidComponentName;
  50. }

[cpp] view plain copy

print?

  1. OMX_ERRORTYPE SoftOMXPlugin::makeComponentInstance(
  2. const char *name,
  3. const OMX_CALLBACKTYPE *callbacks,
  4. OMX_PTR appData,
  5. OMX_COMPONENTTYPE **component) {
  6. ALOGV("makeComponentInstance ‘%s‘", name);
  7. for (size_t i = 0; i < kNumComponents; ++i) {
  8. if (strcmp(name, kComponents[i].mName)) {
  9. continue;
  10. }
  11. AString libName = "libstagefright_soft_";
  12. libName.append(kComponents[i].mLibNameSuffix);
  13. libName.append(".so");
  14. void *libHandle = dlopen(libName.c_str(), RTLD_NOW);
  15. if (libHandle == NULL) {
  16. ALOGE("unable to dlopen %s", libName.c_str());
  17. return OMX_ErrorComponentNotFound;
  18. }
  19. typedef SoftOMXComponent *(*CreateSoftOMXComponentFunc)(
  20. const char *, const OMX_CALLBACKTYPE *,
  21. OMX_PTR, OMX_COMPONENTTYPE **);
  22. CreateSoftOMXComponentFunc createSoftOMXComponent =
  23. (CreateSoftOMXComponentFunc)dlsym(
  24. libHandle,
  25. "_Z22createSoftOMXComponentPKcPK16OMX_CALLBACKTYPE"
  26. "PvPP17OMX_COMPONENTTYPE");
  27. if (createSoftOMXComponent == NULL) {
  28. dlclose(libHandle);
  29. libHandle = NULL;
  30. return OMX_ErrorComponentNotFound;
  31. }
  32. sp<SoftOMXComponent> codec =
  33. (*createSoftOMXComponent)(name, callbacks, appData, component);
  34. if (codec == NULL) {
  35. dlclose(libHandle);
  36. libHandle = NULL;
  37. return OMX_ErrorInsufficientResources;
  38. }
  39. OMX_ERRORTYPE err = codec->initCheck();
  40. if (err != OMX_ErrorNone) {
  41. dlclose(libHandle);
  42. libHandle = NULL;
  43. return err;
  44. }
  45. codec->incStrong(this);
  46. codec->setLibHandle(libHandle);
  47. return OMX_ErrorNone;
  48. }
  49. return OMX_ErrorInvalidComponentName;
  50. }

通过上面传下来的解码器的name，找到对应库的名字。假如是264的话，要加载的库就是 libstagefright_soft_h264dec.so,也就是对应上层264解码的话，omx解码组件会加载对应的libstagefright_soft_h264dec.so库。相对应的软解代码在
Android4.1.1\frameworks\av\media\libstagefright\codecs\on2\h264dec 中。

加载完264解码库后
通过dlopen、dlsym来调用库中函数。

通过调用 SoftAVC 中的 createSoftOMXComponent 来创建真正264解码器实例SoftOMXComponent。以后真正视频解码的工作都是通过avc 这个SoftAVC实例完成的

[cpp] view plaincopyprint?

  1. android::SoftOMXComponent *createSoftOMXComponent(
  2. const char *name, const OMX_CALLBACKTYPE *callbacks,
  3. OMX_PTR appData, OMX_COMPONENTTYPE **component) {
  4. return new android::SoftAVC(name, callbacks, appData, component);
  5. }

[cpp] view plain copy

print?

  1. android::SoftOMXComponent *createSoftOMXComponent(
  2. const char *name, const OMX_CALLBACKTYPE *callbacks,
  3. OMX_PTR appData, OMX_COMPONENTTYPE **component) {
  4. return new android::SoftAVC(name, callbacks, appData, component);
  5. }

经过这一路下来，终于完成了解码器的创建工作。简单总结一下。

1.AwesomePlayer中通过initVideoDecoder 来创建video解码器mVideoSource

2.mVideoSource 中通过上部分demux后的视频流 mVideoTrack来获得解码器的类型，通过类型调用omx->allocateNode 创建omx node实例与自己对应。以后都是通过node实例来操作解码器。

3.在 omx->allocateNode中 通过mMaster->makeComponentInstance 来创建真正对应的解码器组件。这个解码器组件是完成之后解码实际工作的。

4.在创建mMaster->makeComponentInstance过程中，也是通过上面mVideoTrack
过来的解码器类型名，找到相对应的解码器的库，然后实例化。

时间： 2024-11-03 22:44:38

转：android中多媒体解码openmax的实现的相关文章

Android中软解码和硬解码的优先级

我们先来看一下Android系统中解码器的命名,软解码器通常是以OMX.google开头的.硬解码器通常是以OMX.[hardware_vendor]开头的,比如TI的解码器是以OMX.TI开头的.当然还有一些不遵守这个命名规范的,不以OMX.开头的,那也会被认为是软解码器. 判断规则见frameworks/av/media/libstagefright/OMXCodec.cpp: static bool IsSoftwareCodec(const char *componentName) {

Android多媒体开发-- android中OpenMax的实现整体框架

1.android中用openmax来干啥? android中的AwesomePlayer就 是用openmax来做(code)编解码,其实在openmax接口设计中,他不光能用来当编解码.通过他的组件可以组成一个完整的播放器,包括 sourc.demux.decode.output.但是为什么android只用他来做code呢?我认为有以下几方面: 1.在整个播放器中,解码器不得不说是最重要的一部分,而且也是最耗资源的一块. 如果全靠软解,直接通过cpu来运算,特别是高清视频.别的事你就可以啥

android中OpenMax的实现【3】OMX中主要成员

原文 http://blog.csdn.net/tx3344/article/details/8117908 通过上文知道了,每个AwesomePlayer 只有一个OMX服务的入口,但是AwesomePlayer不一定就只需要1种解码器.有可能音视频都有,或者有很多种.这个时候这些解码器都需要OMX的服务,也就是OMX那头需要建立不同的解码器的组件来对应着AwesomePlayer中不同的code.OMX中非常重要的2个成员就是 OMXMaster 和 OMXNodeInstance.OMX通

Android中利用OpenMax 编程的基本流程

最近由于公司在做数字电视,播放器和模块由供应商打包一起卖,驱动调通了,可是播放器要硬件解码,和平台差异,原厂又没有相关文档,就自己试着看了一个系统的播放器流程,顺便整理了一下,也方便以后查询,希望对播放器硬解码的开发能起到点作用.由于对视频也不了解,所以难免有不少错误,欢迎高手指导. 1: 由文件或者设备来创建一个dataSource(DataSource) (其中可以是文件描述符fd, uri ,http) 2:  通过dataSource来创建一个MediaExtractor(即视频的分流器

android中OpenMax的实现【2】AwesomePlayer中openmax的入口

AwesomePlayer 中有个变量 [cpp] view plaincopy OMXClient mClient; 让我们看看   OMXClient [cpp] view plaincopy class OMXClient { public: OMXClient(); status_t connect(); void disconnect(); sp<IOMX> interface() { return mOMX; } private: sp<IOMX> mOMX; OMXC

Android 中图片压缩分析（上）

作者: shawnzhao,QQ音乐技术团队一员 一.前言 在 Android 中进行图片压缩是非常常见的开发场景,主要的压缩方法有两种:其一是质量压缩,其二是下采样压缩. 前者是在不改变图片尺寸的情况下,改变图片的存储体积,而后者则是降低图像尺寸,达到相同目的. 由于本文的篇幅问题,分为上下两篇发布. 二.Android 质量压缩逻辑 在Android中,对图片进行质量压缩,通常我们的实现方式如下所示: ByteArrayOutputStream outputStream = new Byte

Android中关于JNI 的学习（五）在C文件中使用LogCat

事实上,本文是在Peter Jerde的How much information can be stored by ordering 52 playing cards文章基础上翻译.改编和扩展而来的.当然这是经过Jerde本人首肯的. 注意本文方法并非最优,也没有完全利用所有的信息空间,只是简单的尝试. 有数字的地方就有信息.所以扑克牌中保存信息不是什么新鲜事. PDF文档点这里:下载 原文(英文)点这里:访问 这里有两个DEMO. 编码DEMO,解码DEMO 首先是"DEEP IN SHALL

Android 中常见控件的介绍和使用

1 TextView文本框 1.1 TextView类的结构 TextView 是用于显示字符串的组件,对于用户来说就是屏幕中一块用于显示文本的区域.TextView类的层次关系如下: java.lang.Object   ? android.view.View   ? android.widget.TextView 直接子类: Button, CheckedTextView, Chronometer, DigitalClock, EditText 间接子类: AutoCompleteTextV

（转）关于android中bitmap过大导致的程序crash问题

第一种方法--及时回收bitmap内存: 一般而言,回收bitmap内存可以用到以下代码 if(bitmap != null && !bitmap.isRecycled()){ bitmap.recycle(); bitmap = null; } System.gc(); bitmap.recycle()方法用于回收该bitmap所占用的内存,接着将bitmap置空,最后,别忘了用System.gc()调用一下系统的垃圾回收器. 在这里要声明一下,bitmap可以有多个(以为着可以有多个i