视频 -> 帧 浅析

项目要求根据服务器返回的视频和秒数，生成该视频的预览图。

网上一搜关键词 “iOS 视频 帧” 结果都是：iOS如何获取视频的第一帧。

但是如果我不想要第一帧，要第s秒的第x帧怎么办？

先贴如何获取第一帧的代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

- (UIImage*) getVideoPreViewImage
{
    AVURLAsset *asset = [[AVURLAsset alloc] initWithURL:videoPath options:nil];
    AVAssetImageGenerator *gen = [[AVAssetImageGenerator alloc] initWithAsset:asset];
    [asset release];
    gen.appliesPreferredTrackTransform = YES;
    CMTime time = CMTimeMakeWithSeconds(0.0, 600);
    NSError *error = nil;
    CMTime actualTime;
    CGImageRef image = [gen copyCGImageAtTime:time actualTime:&actualTime error:&error];
    UIImage *img = [[[UIImage alloc] initWithCGImage:image] autorelease];
    CGImageRelease(image);
    [gen release];
    return img;
}

这是很不求甚解的做法，有好多问题都没有考虑到。

一般来说，如果我们打算求第x秒 看如上代码，想都不用想的就去把

1

CMTime time = CMTimeMakeWithSeconds(0.0, 600);

改成想要的时间了，但是，跑一下就会发现差强人意。

为什么呢？

我们先要说CMTime 是什么东西。

CMTime

CMTime 是一个用来描述视频时间的结构体。

他有两个构造函数： * CMTimeMake * CMTimeMakeWithSeconds

这两个的区别是 * CMTimeMake(a,b) a当前第几帧, b每秒钟多少帧.当前播放时间a/b * CMTimeMakeWithSeconds(a,b) a当前时间,b每秒钟多少帧.

我们引用例子来说明它：

  • CMTimeMakeWithSeconds
1
2
3
4

Float64 seconds = 5;
int32_t preferredTimeScale = 600;
CMTime inTime = CMTimeMakeWithSeconds(seconds, preferredTimeScale);
CMTimeShow(inTime);

OUTPUT: {3000/600 = 5.000}

代表当前时间为5s，视频一共有3000帧，一秒钟600帧

  • CMTimeMake
1
2
3
4

int64_t value = 10000;
int32_t preferredTimeScale = 600;
CMTime inTime = CMTimeMake(value, preferredTimeScale);
CMTimeShow(inTime);

OUTPUT: {10000/600 = 16.667}

代表时间为16.667s, 视频一共1000帧，每秒600帧

其实，在我们这里，我们关心的只有最后那个总时间。 换句话说，我们把那个(0, 600)换成(x, 600) 是没问题的… = =!

requestedTimeTolerance

那么为什么，效果差了这么多呢？ 我们可以把

1
2
3

CGImageRef image = [gen copyCGImageAtTime:time
                                   actualTime:&actualTime
                                        error:&error];

返回的 actualTime 输出一下

1

CMTimeShow(actualTime)

就会发现时间差的很远。 这是为什么呢。

首先他的 actualTime 使用的 fps * 1000 当每秒的帧率。 顺路普及下fps的获取方法

1

float fps = [[[asset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0] nominalFrameRate];

然后我们来思考为什么要有 requestTime 和 actualTime 呢？ 开始我对这个api 很困惑: 为什么我request的时间 不等于 actual

后来查了一下文档。

当你想要一个时间点的某一帧的时候，他会在一个范围内找，如果有缓存，或者有在索引内的关键帧，就直接返回，从而优化性能。

这个定义范围的API就是 requestedTimeToleranceAfter 和 requestedTimeToleranceBefore

如果我们要精确时间，那么只需要

1
2

 gen.requestedTimeToleranceAfter = kCMTimeZero;
 gen.requestedTimeToleranceBefore = kCMTimeZero;

参考链接：

1.http://blog.rpplusplus.me/blog/2013/09/04/ios-avassertimagegenerator/

时间： 2024-10-10 20:45:58

视频 -> 帧 浅析的相关文章

FFMPEG系列课程（二）读取视频帧

再来介绍下如何读取视频帧,打开视频参考前面的文章,首先需要创建一个帧的存放对象 AVPacket pkt; memset(&pkt, 0, sizeof(AVPacket)); 再通过 int err = av_read_frame(ic, &pkt); 读取帧数据,其中ic是之前打开的视频流句柄.读取视频帧后要注意一点av_read_frame会自动给视频帧分配空间,返回值0表示成功. 可以通过 av_packet_unref(&pkt);删除packet的控制,注意这里删除的不

利用ffmpeg获取视频帧

如果要对视频帧进行处理,可以先把视频帧读取出来. sh文件代码如下: #!/usr/bin/env sh VIDEO=/home/xxx/video/ FRAMES=/home/xxx/frame/ echo "Extract Frames..." for avi in $VIDEO/*.avi do FOLDER=$(basename $avi.avi) rm -rf $FOLDER mkdir $FRAMES/$FOLDER ffmpeg -i $avi -q:v 2 -f ima

ffmpeg-python 任意提取视频帧

? 环境准备 1.安装 FFmpeg 音/视频工具 FFmpeg 简易安装文档 2.安装 ffmpeg-python pip3 install ffmpeg-python 3.[可选]安装 opencv-python pip3 install opencv-python 4.[可选]安装 numpy pip3 install numpy ? 视频帧提取 准备视频素材 抖音视频素材下载:https://anoyi.com/dy/top 基于视频帧数提取任意一帧 import ffmpeg impo

RTSP播放器网页web无插件直播流媒体音视频播放器EasyPlayer-RTSP-Android解码获取视频帧的方法

应用场景 EasyPlayer-RTSP在多年与VLC的对标过程中,积累了广泛的应用场景,EasyPlayer-RTSP底层与上层全部自主开发,自主知识产权,可实战测试. EasyPlayer-RTSP播放器 EasyPlayer-RTSP播放器是一套RTSP专用的播放器,包括有:Windows(支持IE插件,npapi插件).Android.iOS三个平台,是由青犀TSINGSEE开放平台开发和维护的区别于市面上大部分的通用播放器,EasyPlayer-RTSP系列从2014年初发展至今得到了

视频帧类型及区别

I帧:帧内编码帧I帧特点:1.它是一个全帧压缩编码帧.它将全帧图像信息进行JPEG压缩编码及传输;2.解码时仅用I帧的数据就可重构完整图像;3.I帧描述了图像背景和运动主体的详情;4.I帧不需要参考其他画面而生成;5.I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);6.I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;7.I帧不需要考虑运动矢量;8.I帧所占数据的信息量比较大. P帧:前向预测编码帧.P帧的预测与重构:P帧是以I帧为参考帧,在I帧中找出P帧"某点&quo

关于MATLAB提取MP4视频帧时候，跨帧取速度会慢

项目需要将视频中每十帧抽取一帧,实际操作中发现,如果按照这样来写代码 vid = VideoReader(namestr);for ii = 1 : 10 : vid.NumberOfFrames frame = read(vid, ii); imwrite(frame, xxx, 'jpg'); end 设定循环变量为每10,然后直接从视频对象中read出图像帧,跑起来发现取一帧少则一秒 多则四五秒 这非常反直觉,因为大家逐帧抽取的时候都是一秒能抽好几百帧. 仔细想一想其实MP4作为一种压缩视

opencv之从视频帧中截取图片

最近在训练一个人脸识别的模型,而项目训练需要大量真实人脸图片样本. 刚好项目用到opencv识别人脸,可以把每一帧图片保存下来,用此方法可以方便的获取大量的脸部样本,大约20分钟可以获取到10000张. #-*- encoding:utf8 -*- import cv2 import os import sys import random # 获取分类器 classifier = cv2.CascadeClassifier('haarcascade_frontalface_default.xml

读取视频帧matlab

前言 视频处理分析的过程中,需要用到将视频一帧帧地读取,本文就涉及此问题. 系统环境 1.系统:win7_64 2.matlab版本:matlab2015a 测试代码 代码一: %To read video frames. clc clear close all fileName = 'E:\fatigue_detection\dataset\segVideosP1\1_5.avi'; obj = VideoReader(fileName); numFrames = obj.NumberOfFr

Windows下 ffmpeg + labelImg 提取视频帧 得到图片集 并 标注图片 来 构造数据集

构造数据集的流程 视频文件  >>  ffmpeg处理  >>  图片集  >>  labelImg进行标注  >>  标注好的数据集 准备ffmpeg 通过官方下载地址进行下载,根据自己的机器类型进行选择 将下载好的压缩包解压(为了方便,我将文件重命名了)         >>>>>>>>>>>>>         将ffmpeg下的bin目录添加到系统的Path中(配置环境变量