ffmpeg+sdl教程----编写一个简单的播放器5(同步视频到音频)

来源：http://blog.csdn.net/mu399/article/details/5816566

个人认为，这这部分教程的新增代码量虽然不是最多的，难度却是最大的，重复看了多次才明白，因为有两个问题的困扰，搞得还不清楚：

1.音频和视频既然都有各自的时间戳，各自按各自的时间戳来播放不就行了，为什么还需要同步呢？

2.如果要把视频同步到音频，怎么同步？或者说以什么标准来同步？

第一个问题的答案可能是，一是音频和视频的开始播放的时间是不一样，二是播放每帧音频或视频时可能必须把解码数据，视频格式转换消耗的时间考虑进来，解码 数据，视频格式转换等步骤又和不同的机器配置相关，设想一下这种极端的情况，有一帧图片应该在此时刻播放了（根据时间戳），而解码器还没来及解码完（程序 代码或者机器配置太烂），解码完后，可能需要丢弃该帧，不然视频赶不上音频。

第二个问题的答案也不是很清楚，但根据这个教程的代码来分析，特别是video_refresh_timer函数中关于时间戳部分的代码告诉了这个问题答 案，首先大结构体VideoState保存了两个用于同步的两个重要变量audio_clock和video_clock，分别保存了音频和视频的播放了 多长时间，也就是教程中说的音频和视频的内部时钟。把视频同步到音频的方法就是比较video_clock（当前视频播放到的时刻）和 audio_clock（当前音频播放到的时刻）差的绝对值如果大于同步阈值sync_threshold，就重新计算延迟delay，这时视频如果播放 得太快就直接让延迟delay = 2*delay，反之则立即播放。而video_clock和audio_clock之差在可接受范围内，delay的值直接取上一帧和当前帧的延 迟，delay将被用于下一帧的播放延迟。

时钟的同步，教程中分为三个部分。

第一部分讲如何保存视频帧的时间戳和video_clock，代码主要在video_thread函数中，该函数中的这行代码len1 = avcodec_decode_video(is->video_st->codec, pFrame, &frameFinished,packet->data, packet->size);解码packet中的数据到pFrame时，会调用我们自己些的帧内存分配函数our_get_buffer，把第一 个包的时间戳保存到帧pFrame中（一个帧可能由多个数据包组成），帧的时间戳优先取最后一个包的dts，没有才取第一个包的pts，都没有就取 video_clock。

video_thread函数在解码完一帧后，立马调用synchronize_video函数，synchronize_video函数的作用就是维护 video_clock的值，让video_clock变量始终保存视频播放了多长时间的信息，其中还考虑到了帧重复的问题。得到当前视频帧的时间戳相对 音频来说简单些。

第二部分讲，假设我们能得到当前音频的时间戳，如何让视频同步到音频，也就是上面第二个问题的答案。

第三部分讲如何获得当前音频帧的时间戳，代码主要在get_audio_clock函数中，这个并不是简单地返回is->audio_clock了 事，如果那样做就忽略了把数据包转移到输出缓冲的时间花费，我们声音时钟中记录的时间比实际的要早太多。所以我们必须要检查一下我们还有多少没有写入。 audio_clock的维护工作交给了audio_decode_frame函数来处理，首先在函数末尾初始化is->audio_clock = av_q2d(is->audio_st->time_base)*pkt->pts;然后解码完一帧音频后又有更新。

[cpp] view plaincopy

  1. // tutorial05.c
  2. // A pedagogical video player that really works!
  3. //
  4. // Code based on FFplay, Copyright (c) 2003 Fabrice Bellard,
  5. // and a tutorial by Martin Bohme ([email protected])
  6. // Tested on Gentoo, CVS version 5/01/07 compiled with GCC 4.1.1
  7. // Use
  8. //
  9. // gcc -o tutorial05 tutorial05.c -lavformat -lavcodec -lz -lm `sdl-config --cflags --libs`
  10. // to build (assuming libavformat and libavcodec are correctly installed,
  11. // and assuming you have sdl-config. Please refer to SDL docs for your installation.)
  12. //
  13. // Run using
  14. // tutorial05 myvideofile.mpg
  15. //
  16. // to play the video.
  17. #include "libavformat/avformat.h"
  18. #include "libswscale/swscale.h"
  19. #include <SDL/SDL.h>
  20. #include <SDL/SDL_thread.h>
  21. #ifdef main
  22. #undef main /* Prevents SDL from overriding main() */
  23. #endif
  24. #include <stdio.h>
  25. #include <math.h>
  26. #define SDL_AUDIO_BUFFER_SIZE 1024
  27. #define MAX_AUDIOQ_SIZE (5 * 16 * 1024)
  28. #define MAX_VIDEOQ_SIZE (5 * 256 * 1024)
  29. #define AV_SYNC_THRESHOLD 0.01
  30. #define AV_NOSYNC_THRESHOLD 10.0
  31. #define FF_ALLOC_EVENT   (SDL_USEREVENT)
  32. #define FF_REFRESH_EVENT (SDL_USEREVENT + 1)
  33. #define FF_QUIT_EVENT (SDL_USEREVENT + 2)
  34. #define VIDEO_PICTURE_QUEUE_SIZE 1
  35. typedef struct PacketQueue
  36. {
  37. AVPacketList *first_pkt, *last_pkt;
  38. int nb_packets;
  39. int size;
  40. SDL_mutex *mutex;
  41. SDL_cond *cond;
  42. } PacketQueue;
  43. typedef struct VideoPicture
  44. {
  45. SDL_Overlay *bmp;
  46. int width, height; /* source height & width */
  47. int allocated;
  48. double pts;
  49. } VideoPicture;
  50. typedef struct VideoState
  51. {
  52. AVFormatContext *pFormatCtx;
  53. int             videoStream, audioStream;
  54. double          audio_clock;
  55. AVStream        *audio_st;
  56. PacketQueue     audioq;
  57. uint8_t         audio_buf[(AVCODEC_MAX_AUDIO_FRAME_SIZE * 3) / 2];
  58. unsigned int    audio_buf_size;
  59. unsigned int    audio_buf_index;
  60. AVPacket        audio_pkt;
  61. uint8_t         *audio_pkt_data;
  62. int             audio_pkt_size;
  63. int             audio_hw_buf_size;
  64. double          frame_timer;
  65. double          frame_last_pts;
  66. double          frame_last_delay;
  67. double          video_clock; ///<pts of last decoded frame / predicted pts of next decoded frame
  68. AVStream        *video_st;
  69. PacketQueue     videoq;
  70. VideoPicture    pictq[VIDEO_PICTURE_QUEUE_SIZE];
  71. int             pictq_size, pictq_rindex, pictq_windex;
  72. SDL_mutex       *pictq_mutex;
  73. SDL_cond        *pictq_cond;
  74. SDL_Thread      *parse_tid;
  75. SDL_Thread      *video_tid;
  76. char            filename[1024];
  77. int             quit;
  78. } VideoState;
  79. SDL_Surface     *screen;
  80. /* Since we only have one decoding thread, the Big Struct
  81. can be global in case we need it. */
  82. VideoState *global_video_state;
  83. void packet_queue_init(PacketQueue *q)
  84. {
  85. memset(q, 0, sizeof(PacketQueue));
  86. q->mutex = SDL_CreateMutex();
  87. q->cond = SDL_CreateCond();
  88. }
  89. int packet_queue_put(PacketQueue *q, AVPacket *pkt)
  90. {
  91. AVPacketList *pkt1;
  92. if(av_dup_packet(pkt) < 0)
  93. {
  94. return -1;
  95. }
  96. pkt1 = (AVPacketList *)av_malloc(sizeof(AVPacketList));
  97. if (!pkt1)
  98. return -1;
  99. pkt1->pkt = *pkt;
  100. pkt1->next = NULL;
  101. SDL_LockMutex(q->mutex);
  102. if (!q->last_pkt)
  103. q->first_pkt = pkt1;
  104. else
  105. q->last_pkt->next = pkt1;
  106. q->last_pkt = pkt1;
  107. q->nb_packets++;
  108. q->size += pkt1->pkt.size;
  109. SDL_CondSignal(q->cond);
  110. SDL_UnlockMutex(q->mutex);
  111. return 0;
  112. }
  113. static int packet_queue_get(PacketQueue *q, AVPacket *pkt, int block)
  114. {
  115. AVPacketList *pkt1;
  116. int ret;
  117. SDL_LockMutex(q->mutex);
  118. for(;;)
  119. {
  120. if(global_video_state->quit)
  121. {
  122. ret = -1;
  123. break;
  124. }
  125. pkt1 = q->first_pkt;
  126. if (pkt1)
  127. {
  128. q->first_pkt = pkt1->next;
  129. if (!q->first_pkt)
  130. q->last_pkt = NULL;
  131. q->nb_packets--;
  132. q->size -= pkt1->pkt.size;
  133. *pkt = pkt1->pkt;
  134. av_free(pkt1);
  135. ret = 1;
  136. break;
  137. }
  138. else if (!block)
  139. {
  140. ret = 0;
  141. break;
  142. }
  143. else
  144. {
  145. SDL_CondWait(q->cond, q->mutex);
  146. }
  147. }
  148. SDL_UnlockMutex(q->mutex);
  149. return ret;
  150. }
  151. double get_audio_clock(VideoState *is)
  152. {
  153. double pts;
  154. int hw_buf_size, bytes_per_sec, n;
  155. pts = is->audio_clock; /* maintained in the audio thread */
  156. hw_buf_size = is->audio_buf_size - is->audio_buf_index;
  157. bytes_per_sec = 0;
  158. n = is->audio_st->codec->channels * 2;
  159. if(is->audio_st)
  160. {
  161. bytes_per_sec = is->audio_st->codec->sample_rate * n;
  162. }
  163. if(bytes_per_sec)
  164. {
  165. pts -= (double)hw_buf_size / bytes_per_sec;
  166. }
  167. return pts;
  168. }
  169. int audio_decode_frame(VideoState *is, uint8_t *audio_buf, int buf_size, double *pts_ptr)
  170. {
  171. int len1, data_size, n;
  172. AVPacket *pkt = &is->audio_pkt;
  173. double pts;
  174. for(;;)
  175. {
  176. while(is->audio_pkt_size > 0)
  177. {
  178. data_size = buf_size;
  179. len1 = avcodec_decode_audio2(is->audio_st->codec,
  180. (int16_t *)audio_buf, &data_size,
  181. is->audio_pkt_data, is->audio_pkt_size);
  182. if(len1 < 0)
  183. {
  184. /* if error, skip frame */
  185. is->audio_pkt_size = 0;
  186. break;
  187. }
  188. is->audio_pkt_data += len1;
  189. is->audio_pkt_size -= len1;
  190. if(data_size <= 0)
  191. {
  192. /* No data yet, get more frames */
  193. continue;
  194. }
  195. pts = is->audio_clock;
  196. *pts_ptr = pts;
  197. n = 2 * is->audio_st->codec->channels;
  198. is->audio_clock += (double)data_size /
  199. (double)(n * is->audio_st->codec->sample_rate);
  200. /* We have data, return it and come back for more later */
  201. return data_size;
  202. }
  203. if(pkt->data)
  204. av_free_packet(pkt);
  205. if(is->quit)
  206. {
  207. return -1;
  208. }
  209. /* next packet */
  210. if(packet_queue_get(&is->audioq, pkt, 1) < 0)
  211. {
  212. return -1;
  213. }
  214. is->audio_pkt_data = pkt->data;
  215. is->audio_pkt_size = pkt->size;
  216. /* if update, update the audio clock w/pts */
  217. if(pkt->pts != AV_NOPTS_VALUE)
  218. {
  219. is->audio_clock = av_q2d(is->audio_st->time_base)*pkt->pts;
  220. }
  221. }
  222. }
  223. void audio_callback(void *userdata, Uint8 *stream, int len)
  224. {
  225. VideoState *is = (VideoState *)userdata;
  226. int len1, audio_size;
  227. double pts;
  228. while(len > 0)
  229. {
  230. if(is->audio_buf_index >= is->audio_buf_size)
  231. {
  232. /* We have already sent all our data; get more */
  233. audio_size = audio_decode_frame(is, is->audio_buf, sizeof(is->audio_buf), &pts);
  234. if(audio_size < 0)
  235. {
  236. /* If error, output silence */
  237. is->audio_buf_size = 1024;
  238. memset(is->audio_buf, 0, is->audio_buf_size);
  239. }
  240. else
  241. {
  242. is->audio_buf_size = audio_size;
  243. }
  244. is->audio_buf_index = 0;
  245. }
  246. len1 = is->audio_buf_size - is->audio_buf_index;
  247. if(len1 > len)
  248. len1 = len;
  249. memcpy(stream, (uint8_t *)is->audio_buf + is->audio_buf_index, len1);
  250. len -= len1;
  251. stream += len1;
  252. is->audio_buf_index += len1;
  253. }
  254. }
  255. static Uint32 sdl_refresh_timer_cb(Uint32 interval, void *opaque)
  256. {
  257. SDL_Event event;
  258. event.type = FF_REFRESH_EVENT;
  259. event.user.data1 = opaque;
  260. SDL_PushEvent(&event);
  261. return 0; /* 0 means stop timer */
  262. }
  263. /* schedule a video refresh in ‘delay‘ ms */
  264. static void schedule_refresh(VideoState *is, int delay)
  265. {
  266. SDL_AddTimer(delay, sdl_refresh_timer_cb, is);
  267. }
  268. void video_display(VideoState *is)
  269. {
  270. SDL_Rect rect;
  271. VideoPicture *vp;
  272. AVPicture pict;
  273. float aspect_ratio;
  274. int w, h, x, y;
  275. int i;
  276. vp = &is->pictq[is->pictq_rindex];
  277. if(vp->bmp)
  278. {
  279. if(is->video_st->codec->sample_aspect_ratio.num == 0)
  280. {
  281. aspect_ratio = 0;
  282. }
  283. else
  284. {
  285. aspect_ratio = av_q2d(is->video_st->codec->sample_aspect_ratio) *
  286. is->video_st->codec->width / is->video_st->codec->height;
  287. }
  288. if(aspect_ratio <= 0.0)
  289. {
  290. aspect_ratio = (float)is->video_st->codec->width /
  291. (float)is->video_st->codec->height;
  292. }
  293. h = screen->h;
  294. w = ((int)(h * aspect_ratio)) & -3;
  295. if(w > screen->w)
  296. {
  297. w = screen->w;
  298. h = ((int)(w / aspect_ratio)) & -3;
  299. }
  300. x = (screen->w - w) / 2;
  301. y = (screen->h - h) / 2;
  302. rect.x = x;
  303. rect.y = y;
  304. rect.w = w;
  305. rect.h = h;
  306. SDL_DisplayYUVOverlay(vp->bmp, &rect);
  307. }
  308. }
  309. void video_refresh_timer(void *userdata)
  310. {
  311. VideoState *is = (VideoState *)userdata;
  312. VideoPicture *vp;
  313. double actual_delay, delay, sync_threshold, ref_clock, diff;
  314. if(is->video_st)
  315. {
  316. if(is->pictq_size == 0)
  317. {
  318. schedule_refresh(is, 1);
  319. }
  320. else
  321. {
  322. vp = &is->pictq[is->pictq_rindex];
  323. delay = vp->pts - is->frame_last_pts; /* the pts from last time */
  324. if(delay <= 0 || delay >= 1.0)
  325. {
  326. /* if incorrect delay, use previous one */
  327. delay = is->frame_last_delay;
  328. }
  329. /* save for next time */
  330. is->frame_last_delay = delay;
  331. is->frame_last_pts = vp->pts;
  332. /* update delay to sync to audio */
  333. ref_clock = get_audio_clock(is);
  334. diff = vp->pts - ref_clock;
  335. /* Skip or repeat the frame. Take delay into account
  336. FFPlay still doesn‘t "know if this is the best guess." */
  337. sync_threshold = (delay > AV_SYNC_THRESHOLD) ? delay : AV_SYNC_THRESHOLD;
  338. if(fabs(diff) < AV_NOSYNC_THRESHOLD)
  339. {
  340. if(diff <= -sync_threshold)
  341. {
  342. delay = 0;
  343. }
  344. else if(diff >= sync_threshold)
  345. {
  346. delay = 2 * delay;
  347. }
  348. }
  349. is->frame_timer += delay;
  350. /* computer the REAL delay */
  351. actual_delay = is->frame_timer - (av_gettime() / 1000000.0);
  352. if(actual_delay < 0.010)
  353. {
  354. /* Really it should skip the picture instead */
  355. actual_delay = 0.010;
  356. }
  357. schedule_refresh(is, (int)(actual_delay * 1000 + 0.5));
  358. /* show the picture! */
  359. video_display(is);
  360. /* update queue for next picture! */
  361. if(++is->pictq_rindex == VIDEO_PICTURE_QUEUE_SIZE)
  362. {
  363. is->pictq_rindex = 0;
  364. }
  365. SDL_LockMutex(is->pictq_mutex);
  366. is->pictq_size--;
  367. SDL_CondSignal(is->pictq_cond);
  368. SDL_UnlockMutex(is->pictq_mutex);
  369. }
  370. }
  371. else
  372. {
  373. schedule_refresh(is, 100);
  374. }
  375. }
  376. void alloc_picture(void *userdata)
  377. {
  378. VideoState *is = (VideoState *)userdata;
  379. VideoPicture *vp;
  380. vp = &is->pictq[is->pictq_windex];
  381. if(vp->bmp)
  382. {
  383. // we already have one make another, bigger/smaller
  384. SDL_FreeYUVOverlay(vp->bmp);
  385. }
  386. // Allocate a place to put our YUV image on that screen
  387. vp->bmp = SDL_CreateYUVOverlay(is->video_st->codec->width,
  388. is->video_st->codec->height,
  389. SDL_YV12_OVERLAY,
  390. screen);
  391. vp->width = is->video_st->codec->width;
  392. vp->height = is->video_st->codec->height;
  393. SDL_LockMutex(is->pictq_mutex);
  394. vp->allocated = 1;
  395. SDL_CondSignal(is->pictq_cond);
  396. SDL_UnlockMutex(is->pictq_mutex);
  397. }
  398. int queue_picture(VideoState *is, AVFrame *pFrame, double pts)
  399. {
  400. VideoPicture *vp;
  401. //int dst_pix_fmt;
  402. AVPicture pict;
  403. /* wait until we have space for a new pic */
  404. SDL_LockMutex(is->pictq_mutex);
  405. while(is->pictq_size >= VIDEO_PICTURE_QUEUE_SIZE &&
  406. !is->quit)
  407. {
  408. SDL_CondWait(is->pictq_cond, is->pictq_mutex);
  409. }
  410. SDL_UnlockMutex(is->pictq_mutex);
  411. if(is->quit)
  412. return -1;
  413. // windex is set to 0 initially
  414. vp = &is->pictq[is->pictq_windex];
  415. /* allocate or resize the buffer! */
  416. if(!vp->bmp ||
  417. vp->width != is->video_st->codec->width ||
  418. vp->height != is->video_st->codec->height)
  419. {
  420. SDL_Event event;
  421. vp->allocated = 0;
  422. /* we have to do it in the main thread */
  423. event.type = FF_ALLOC_EVENT;
  424. event.user.data1 = is;
  425. SDL_PushEvent(&event);
  426. /* wait until we have a picture allocated */
  427. SDL_LockMutex(is->pictq_mutex);
  428. while(!vp->allocated && !is->quit)
  429. {
  430. SDL_CondWait(is->pictq_cond, is->pictq_mutex);
  431. }
  432. SDL_UnlockMutex(is->pictq_mutex);
  433. if(is->quit)
  434. {
  435. return -1;
  436. }
  437. }
  438. /* We have a place to put our picture on the queue */
  439. /* If we are skipping a frame, do we set this to null
  440. but still return vp->allocated = 1? */
  441. static struct SwsContext *img_convert_ctx;
  442. if (img_convert_ctx == NULL)
  443. {
  444. img_convert_ctx = sws_getContext(is->video_st->codec->width, is->video_st->codec->height,
  445. is->video_st->codec->pix_fmt,
  446. is->video_st->codec->width, is->video_st->codec->height,
  447. PIX_FMT_YUV420P,
  448. SWS_BICUBIC, NULL, NULL, NULL);
  449. if (img_convert_ctx == NULL)
  450. {
  451. fprintf(stderr, "Cannot initialize the conversion context/n");
  452. exit(1);
  453. }
  454. }
  455. if(vp->bmp)
  456. {
  457. SDL_LockYUVOverlay(vp->bmp);
  458. //dst_pix_fmt = PIX_FMT_YUV420P;
  459. /* point pict at the queue */
  460. pict.data[0] = vp->bmp->pixels[0];
  461. pict.data[1] = vp->bmp->pixels[2];
  462. pict.data[2] = vp->bmp->pixels[1];
  463. pict.linesize[0] = vp->bmp->pitches[0];
  464. pict.linesize[1] = vp->bmp->pitches[2];
  465. pict.linesize[2] = vp->bmp->pitches[1];
  466. // Convert the image into YUV format that SDL uses
  467. /*img_convert(&pict, dst_pix_fmt,
  468. (AVPicture *)pFrame, is->video_st->codec->pix_fmt,
  469. is->video_st->codec->width, is->video_st->codec->height);*/
  470. sws_scale(img_convert_ctx, pFrame->data, pFrame->linesize,
  471. 0, is->video_st->codec->height, pict.data, pict.linesize);
  472. SDL_UnlockYUVOverlay(vp->bmp);
  473. vp->pts = pts;
  474. /* now we inform our display thread that we have a pic ready */
  475. if(++is->pictq_windex == VIDEO_PICTURE_QUEUE_SIZE)
  476. {
  477. is->pictq_windex = 0;
  478. }
  479. SDL_LockMutex(is->pictq_mutex);
  480. is->pictq_size++;
  481. SDL_UnlockMutex(is->pictq_mutex);
  482. }
  483. return 0;
  484. }
  485. double synchronize_video(VideoState *is, AVFrame *src_frame, double pts)
  486. {
  487. double frame_delay;
  488. if(pts != 0)
  489. {
  490. /* if we have pts, set video clock to it */
  491. is->video_clock = pts;
  492. }
  493. else
  494. {
  495. /* if we aren‘t given a pts, set it to the clock */
  496. pts = is->video_clock;
  497. }
  498. /* update the video clock */
  499. frame_delay = av_q2d(is->video_st->codec->time_base);
  500. /* if we are repeating a frame, adjust clock accordingly */
  501. frame_delay += src_frame->repeat_pict * (frame_delay * 0.5);
  502. is->video_clock += frame_delay;
  503. return pts;
  504. }
  505. uint64_t global_video_pkt_pts = AV_NOPTS_VALUE;
  506. /* These are called whenever we allocate a frame
  507. * buffer. We use this to store the global_pts in
  508. * a frame at the time it is allocated.
  509. */
  510. int our_get_buffer(struct AVCodecContext *c, AVFrame *pic)
  511. {
  512. int ret = avcodec_default_get_buffer(c, pic);
  513. uint64_t *pts = (uint64_t *)av_malloc(sizeof(uint64_t));
  514. *pts = global_video_pkt_pts;
  515. pic->opaque = pts;
  516. return ret;
  517. }
  518. void our_release_buffer(struct AVCodecContext *c, AVFrame *pic)
  519. {
  520. if(pic) av_freep(&pic->opaque);
  521. avcodec_default_release_buffer(c, pic);
  522. }
  523. int video_thread(void *arg)
  524. {
  525. VideoState *is = (VideoState *)arg;
  526. AVPacket pkt1, *packet = &pkt1;
  527. int len1, frameFinished;
  528. AVFrame *pFrame;
  529. double pts;
  530. pFrame = avcodec_alloc_frame();
  531. for(;;)
  532. {
  533. if(packet_queue_get(&is->videoq, packet, 1) < 0)
  534. {
  535. // means we quit getting packets
  536. break;
  537. }
  538. pts = 0;
  539. // Save global pts to be stored in pFrame in first call
  540. global_video_pkt_pts = packet->pts;
  541. // Decode video frame
  542. len1 = avcodec_decode_video(is->video_st->codec, pFrame, &frameFinished,
  543. packet->data, packet->size);
  544. if(packet->dts == AV_NOPTS_VALUE
  545. && pFrame->opaque && *(uint64_t*)pFrame->opaque != AV_NOPTS_VALUE)
  546. {
  547. pts = *(uint64_t *)pFrame->opaque;
  548. }
  549. else if(packet->dts != AV_NOPTS_VALUE)
  550. {
  551. pts = packet->dts;
  552. }
  553. else
  554. {
  555. pts = 0;
  556. }
  557. pts *= av_q2d(is->video_st->time_base);
  558. // Did we get a video frame?
  559. if(frameFinished)
  560. {
  561. pts = synchronize_video(is, pFrame, pts);
  562. if(queue_picture(is, pFrame, pts) < 0)
  563. {
  564. break;
  565. }
  566. }
  567. av_free_packet(packet);
  568. }
  569. av_free(pFrame);
  570. return 0;
  571. }
  572. int stream_component_open(VideoState *is, int stream_index)
  573. {
  574. AVFormatContext *pFormatCtx = is->pFormatCtx;
  575. AVCodecContext *codecCtx;
  576. AVCodec *codec;
  577. SDL_AudioSpec wanted_spec, spec;
  578. if(stream_index < 0 || stream_index >= pFormatCtx->nb_streams)
  579. {
  580. return -1;
  581. }
  582. // Get a pointer to the codec context for the video stream
  583. codecCtx = pFormatCtx->streams[stream_index]->codec;
  584. if(codecCtx->codec_type == CODEC_TYPE_AUDIO)
  585. {
  586. // Set audio settings from codec info
  587. wanted_spec.freq = codecCtx->sample_rate;
  588. wanted_spec.format = AUDIO_S16SYS;
  589. wanted_spec.channels = codecCtx->channels;
  590. wanted_spec.silence = 0;
  591. wanted_spec.samples = SDL_AUDIO_BUFFER_SIZE;
  592. wanted_spec.callback = audio_callback;
  593. wanted_spec.userdata = is;
  594. if(SDL_OpenAudio(&wanted_spec, &spec) < 0)
  595. {
  596. fprintf(stderr, "SDL_OpenAudio: %s/n", SDL_GetError());
  597. return -1;
  598. }
  599. is->audio_hw_buf_size = spec.size;
  600. }
  601. codec = avcodec_find_decoder(codecCtx->codec_id);
  602. if(!codec || (avcodec_open(codecCtx, codec) < 0))
  603. {
  604. fprintf(stderr, "Unsupported codec!/n");
  605. return -1;
  606. }
  607. switch(codecCtx->codec_type)
  608. {
  609. case CODEC_TYPE_AUDIO:
  610. is->audioStream = stream_index;
  611. is->audio_st = pFormatCtx->streams[stream_index];
  612. is->audio_buf_size = 0;
  613. is->audio_buf_index = 0;
  614. memset(&is->audio_pkt, 0, sizeof(is->audio_pkt));
  615. packet_queue_init(&is->audioq);
  616. SDL_PauseAudio(0);
  617. break;
  618. case CODEC_TYPE_VIDEO:
  619. is->videoStream = stream_index;
  620. is->video_st = pFormatCtx->streams[stream_index];
  621. is->frame_timer = (double)av_gettime() / 1000000.0;
  622. is->frame_last_delay = 40e-3;
  623. packet_queue_init(&is->videoq);
  624. is->video_tid = SDL_CreateThread(video_thread, is);
  625. codecCtx->get_buffer = our_get_buffer;
  626. codecCtx->release_buffer = our_release_buffer;
  627. break;
  628. default:
  629. break;
  630. }
  631. return 0;
  632. }
  633. int decode_interrupt_cb(void)
  634. {
  635. return (global_video_state && global_video_state->quit);
  636. }
  637. int decode_thread(void *arg)
  638. {
  639. VideoState *is = (VideoState *)arg;
  640. AVFormatContext *pFormatCtx;
  641. AVPacket pkt1, *packet = &pkt1;
  642. int video_index = -1;
  643. int audio_index = -1;
  644. int i;
  645. is->videoStream=-1;
  646. is->audioStream=-1;
  647. global_video_state = is;
  648. // will interrupt blocking functions if we quit!
  649. url_set_interrupt_cb(decode_interrupt_cb);
  650. // Open video file
  651. if(av_open_input_file(&pFormatCtx, is->filename, NULL, 0, NULL)!=0)
  652. return -1; // Couldn‘t open file
  653. is->pFormatCtx = pFormatCtx;
  654. // Retrieve stream information
  655. if(av_find_stream_info(pFormatCtx)<0)
  656. return -1; // Couldn‘t find stream information
  657. // Dump information about file onto standard error
  658. dump_format(pFormatCtx, 0, is->filename, 0);
  659. // Find the first video stream
  660. for(i=0; i<pFormatCtx->nb_streams; i++)
  661. {
  662. if(pFormatCtx->streams[i]->codec->codec_type==CODEC_TYPE_VIDEO &&
  663. video_index < 0)
  664. {
  665. video_index=i;
  666. }
  667. if(pFormatCtx->streams[i]->codec->codec_type==CODEC_TYPE_AUDIO &&
  668. audio_index < 0)
  669. {
  670. audio_index=i;
  671. }
  672. }
  673. if(audio_index >= 0)
  674. {
  675. stream_component_open(is, audio_index);
  676. }
  677. if(video_index >= 0)
  678. {
  679. stream_component_open(is, video_index);
  680. }
  681. if(is->videoStream < 0 || is->audioStream < 0)
  682. {
  683. fprintf(stderr, "%s: could not open codecs/n", is->filename);
  684. goto fail;
  685. }
  686. // main decode loop
  687. for(;;)
  688. {
  689. if(is->quit)
  690. {
  691. break;
  692. }
  693. // seek stuff goes here
  694. if(is->audioq.size > MAX_AUDIOQ_SIZE ||
  695. is->videoq.size > MAX_VIDEOQ_SIZE)
  696. {
  697. SDL_Delay(10);
  698. continue;
  699. }
  700. if(av_read_frame(is->pFormatCtx, packet) < 0)
  701. {
  702. if(url_ferror(pFormatCtx->pb) == 0)
  703. {
  704. SDL_Delay(100); /* no error; wait for user input */
  705. continue;
  706. }
  707. else
  708. {
  709. break;
  710. }
  711. }
  712. // Is this a packet from the video stream?
  713. if(packet->stream_index == is->videoStream)
  714. {
  715. packet_queue_put(&is->videoq, packet);
  716. }
  717. else if(packet->stream_index == is->audioStream)
  718. {
  719. packet_queue_put(&is->audioq, packet);
  720. }
  721. else
  722. {
  723. av_free_packet(packet);
  724. }
  725. }
  726. /* all done - wait for it */
  727. while(!is->quit)
  728. {
  729. SDL_Delay(100);
  730. }
  731. fail:
  732. {
  733. SDL_Event event;
  734. event.type = FF_QUIT_EVENT;
  735. event.user.data1 = is;
  736. SDL_PushEvent(&event);
  737. }
  738. return 0;
  739. }
  740. int main(int argc, char *argv[])
  741. {
  742. SDL_Event       event;
  743. VideoState      *is;
  744. is = (VideoState *)av_mallocz(sizeof(VideoState));
  745. if(argc < 2)
  746. {
  747. fprintf(stderr, "Usage: test <file>/n");
  748. exit(1);
  749. }
  750. // Register all formats and codecs
  751. av_register_all();
  752. if(SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER))
  753. {
  754. fprintf(stderr, "Could not initialize SDL - %s/n", SDL_GetError());
  755. exit(1);
  756. }
  757. // Make a screen to put our video
  758. #ifndef __DARWIN__
  759. screen = SDL_SetVideoMode(640, 480, 0, 0);
  760. #else
  761. screen = SDL_SetVideoMode(640, 480, 24, 0);
  762. #endif
  763. if(!screen)
  764. {
  765. fprintf(stderr, "SDL: could not set video mode - exiting/n");
  766. exit(1);
  767. }
  768. //pstrcpy(is->filename, sizeof(is->filename), argv[1]);
  769. strcpy(is->filename,argv[1]);
  770. is->pictq_mutex = SDL_CreateMutex();
  771. is->pictq_cond = SDL_CreateCond();
  772. schedule_refresh(is, 40);
  773. is->parse_tid = SDL_CreateThread(decode_thread, is);
  774. if(!is->parse_tid)
  775. {
  776. av_free(is);
  777. return -1;
  778. }
  779. for(;;)
  780. {
  781. SDL_WaitEvent(&event);
  782. switch(event.type)
  783. {
  784. case FF_QUIT_EVENT:
  785. case SDL_QUIT:
  786. is->quit = 1;
  787. SDL_Quit();
  788. exit(0);
  789. break;
  790. case FF_ALLOC_EVENT:
  791. alloc_picture(event.user.data1);
  792. break;
  793. case FF_REFRESH_EVENT:
  794. video_refresh_timer(event.user.data1);
  795. break;
  796. default:
  797. break;
  798. }
  799. }
  800. return 0;
  801. }
时间： 2024-11-10 04:33:09

ffmpeg+sdl教程----编写一个简单的播放器5(同步视频到音频)的相关文章

ffmpeg+sdl教程----编写一个简单的播放器3(为视频加入音频)

来源:http://blog.csdn.net/mu399/article/details/5814901 上个教程实现了视频的简单播放,但那是个哑巴电影,完全没有声音. 这个教程第一次用到了SDL的线程,涉及到了两个线程间的同步协调,有几个地方需要特别留意,SDL_OpenAudio库函数会打开音频设备(0是恢 复,其他的是暂停),SDL_PauseAudio库函数可以暂停或者恢复audio_callback函数的执行,程序中的这行代码 “SDL_PauseAudio(0);”执行后,让aud

ffmpeg+sdl教程----编写一个简单的播放器2(输出视频到屏幕)

来源:http://blog.csdn.net/mu399/article/details/5814859 下面完整代码,在vc2005下编译通过.可以看到,程序运行后视频播放出来了,但是由于没有加入播放延迟,视频简直跑疯了,为视频加入延迟将在教程五中实现,目前可以简单地让程序在播放完一帧后,sleep若干秒,改善一下运行状况. [cpp] view plaincopy // ffmpegExe.cpp: 主项目文件. #include "stdafx.h" #include &quo

ffmpeg+sdl教程----编写一个简单的播放器4(让程序更模块化)

来源:http://blog.csdn.net/mu399/article/details/5815444 音频和视频之间的同步,再那之前需要先做一些准备工作. 为了让程序更模块化,便于扩展,需要把原来main函数中的各个功能模块代码分离出来放在相应的函数中.该教程和上个教程相比代码量和难度都增加很多,比上个教程使用了更多的线程,一定要理解清楚各个函数和数据结构之间的关联以及线程之间如何协同工作. [c-sharp] view plaincopy // ffmpegExe.cpp: 主项目文件.

ffmpeg+sdl教程----编写一个简单的播放器6(其他的时钟同步方式)

来源:http://blog.csdn.net/mu399/article/details/5818384 在理解上一个教程的基础上,这篇教程就稍微容易理解些了,不外乎多加了两种同步方式,同步音频到视频,同步音频视频到外部时钟. 这篇教程主要是新增了不少新变量,is->video_current_pts用于保存当前视频帧的时间戳(以秒为单位),只在 video_refresh_timer函数中播放一帧视频前改变,is->video_current_pts_time单位为毫秒,在 stream_

ffmpeg+sdl教程----编写一个简单的播放器7(处理快进快退命令)

来源:http://blog.csdn.net/mu399/article/details/5818970 这篇教程例子中的程序,让右方向按键为快进10秒,上方向按键为快进60秒,左方向按键为快退10秒,上方向按键为快退60秒,程序中的 av_seek_frame函数可能是用错了,或者函数本身的问题导致按上和右都没反应;按左和下让画面暂停,声音在很短区间内不停播放,这时再按右和下 才正常. [cpp] view plaincopy #include "libavformat/avformat.h

可视化程序设计基础（三）——一个简单的播放器（并不）

本次的作业是制作一个简单的播放器,功能仅限于播放视频和音频,虽说是简单的播放器,但其中还是有很多细节需要注意的. 问题一:布局 本来这个问题不应该是一个问题了,之前老师讲过的Stackpanel和Grid等对于布局一个播放器来说绰绰有余,但上次上课老师提到的NavigationView令我十分感兴趣,这是一个uwp应用程序中随处可见的一种布局,节省了开发者很多的时间. 所以我就着手于建立这个NavigationView了,首先我看了一下XAML Controls Gallery,然而其中关于Na

[SimplePlayer] 实现一个简单的播放器

简单的播放器需要实现一个最基本的功能:播放视频文件. 实现这个功能需要包含以下几个步骤: 从视频文件中提取视频图像 在屏幕上显示视频图像 视频帧的同步,也就是保证视频图像在合适的时间在屏幕上显示 从视频文件中提取音频 向音频设备输出音频 音频同步,也就是保证合适的时间输出合适的音频 多线程处理 音视频同步 本实现是通过ffmpeg来实现音视频的提取,通过sdl2来实现音视频的输出,版本如下: libavutil 56. 19.100 / 56. 19.100 libavcodec 58. 23.

qt实现一个简单的播放器

ui界面设计如下: 2.代码结构 3.dialog.cpp #include "dialog.h" #include "ui_dialog.h" #include<QStringList> #include<QDebug> Dialog::Dialog(QWidget *parent) : QDialog(parent), ui(new Ui::Dialog) { ui->setupUi(this); ui->lb_dis->

Android开发6：Service的使用（简单音乐播放器的实现）

前言 啦啦啦~各位好久不见啦~博主最近比较忙,而且最近一次实验也是刚刚结束~ 好了不废话了,直接进入我们这次的内容~ 在这篇博文里我们将学习Service(服务)的相关知识,学会使用 Service 进行后台工作, 学会使用 Service 与 Activity 进行通信,并在此知识基础上学会使用 MediaPlayer和简单的多线程编程.使用 Handle 更新 UI,并设计成功一个简单的音乐播放器. 是不是很高大上呢~一起来学习~ 基础知识 Service作为Android四大组件之一,在每