5.2 应用程序和驱动程序中buffer的传输流程

摄像头采集的数据,是通过buffer的形式传到驱动程序中,然后驱动程序使能CSI设备来采集数据。之后将采集到的数据再次通过buffer的形式传递给应用程序中。这个过程中使用了VIDIOC_REQBUFS,VIDIOC_QUERYBUF,VIDIOC_QBUF,VIDIOC_STREAMON和VIDIOC_DQBUF这些ioctl调用。下面就来具体分析这个流程。

1.
内核中的数据结构

内核中有关V4L2的头文件是/include/uapi/linux/videodev2.h文件。

1.1 v4l2_requestbuffers结构体:

enum v4l2_memory {
	V4L2_MEMORY_MMAP             = 1,    //内核空间开辟缓冲区
	V4L2_MEMORY_USERPTR          = 2,    //用户空间的应用中开辟缓冲区
	V4L2_MEMORY_OVERLAY          = 3,
	V4L2_MEMORY_DMABUF           = 4,
};
enum v4l2_buf_type {
	V4L2_BUF_TYPE_VIDEO_CAPTURE        = 1,
	V4L2_BUF_TYPE_VIDEO_OUTPUT         = 2,
	V4L2_BUF_TYPE_VIDEO_OVERLAY        = 3,
	V4L2_BUF_TYPE_VBI_CAPTURE          = 4,
	V4L2_BUF_TYPE_VBI_OUTPUT           = 5,
	V4L2_BUF_TYPE_SLICED_VBI_CAPTURE   = 6,
	V4L2_BUF_TYPE_SLICED_VBI_OUTPUT    = 7,
	/* Experimental */
	V4L2_BUF_TYPE_VIDEO_OUTPUT_OVERLAY = 8,
	V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE = 9,
	V4L2_BUF_TYPE_VIDEO_OUTPUT_MPLANE  = 10,
	/* Deprecated, do not use */
	V4L2_BUF_TYPE_PRIVATE              = 0x80,
};
struct v4l2_requestbuffers {
	__u32			count;
	__u32			type;		/* enum v4l2_buf_type */
	__u32			memory;		/* enum v4l2_memory */
	__u32			reserved[2];
};

这个v4l2_requestbuffers结构体用在VIDIOC_REQBUFSioctl中,它代表想要申请内存的属性。

count:代表想要申请的buffers的个数;

type:代表buffer的类型,对于capture设备来说,一般都是V4L2_BUF_TYPE_VIDEO_CAPTURE;

memory:关于这个memory的类型,是传输视频帧的方法,主要有两种方法,read,write方法和流I/O的方法。常用的是流I/O的方法,应用程序通过mmap系统调用映射到用户地址空间,从而使得用户和内核只需要交换缓冲区指针即可,不需要拷贝帧。

比如在应用程序中:

	struct v4l2_requestbuffers req;
      memset(&req, 0, sizeof (req));
      req.count = TEST_BUFFER_NUM;
      req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
      req.memory = V4L2_MEMORY_MMAP;
	ioctl(fd_v4l, VIDIOC_REQBUFS, &req)

1.2 v4l2_buffer结构体:

首先介绍一下v4l2_plane结构体,它如下所示,包含在v4l2_buffer结构体中:

/**
 * struct v4l2_plane - plane info for multi-planar buffers
 * @bytesused:		number of bytes occupied by data in the plane (payload)
 * @length:		size of this plane (NOT the payload) in bytes
 * @mem_offset:		when memory in the associated struct v4l2_buffer is
 *			V4L2_MEMORY_MMAP, equals the offset from the start of
 *			the device memory for this plane (or is a "cookie" that
 *			should be passed to mmap() called on the video node)
 * @userptr:		when memory is V4L2_MEMORY_USERPTR, a userspace pointer
 *			pointing to this plane
 * @fd:			when memory is V4L2_MEMORY_DMABUF, a userspace file
 *			descriptor associated with this plane
 * @data_offset:	offset in the plane to the start of data; usually 0,
 *			unless there is a header in front of the data
 *
 * Multi-planar buffers consist of one or more planes, e.g. an YCbCr buffer
 * with two planes can have one plane for Y, and another for interleaved CbCr
 * components. Each plane can reside in a separate memory buffer, or even in
 * a completely separate memory node (e.g. in embedded devices).
 */
struct v4l2_plane {
	__u32			bytesused;
	__u32			length;
	union {
		__u32		mem_offset;
		unsigned long	userptr;
		__s32		fd;
	} m;
	__u32			data_offset;
	__u32			reserved[11];
}; 

这个plane我翻译成位面,这个结构体是用在多位面的情况下每个位面的一些信息。

bytesused:表示已经使用的字节数(载重的大小)。

length:表示这个位面所拥有的字节数(不是载重)。

m.offset:表示从设备内存基址开始到这个位面的偏移值。

m.userptr:表示用户空间的一个指针指向这个位面。

m.fd:表示用户空间与此位面相关连的一个文件描述符。

data_offset:表示这个位面中数据开始的偏移值,一般为0.

这个结构体中m那个联合中的参数与enumv4l2_memory结构体中的数据是息息相关的。这个v4l2_plane一般嵌入在v4l2_buffer结构体中,同时v4l2_buffer结构体中也有一个memory字段,即enumv4l2_memory。

当memory==
V4L2_MEMORY_MMAP的时候,则m.memoffset设置。

当memory==
V4L2_MEMORY_USERPTR的时候,则m.userptr设置。

当memory==
V4L2_MEMORY_DMABUF的时候,则m.fd设置。

/**
 * struct v4l2_buffer - video buffer info
 * @index:	id number of the buffer
 * @type:	enum v4l2_buf_type; buffer type (type == *_MPLANE for
 *		multiplanar buffers);
 * @bytesused:	number of bytes occupied by data in the buffer (payload);
 *		unused (set to 0) for multiplanar buffers
 * @flags:	buffer informational flags
 * @field:	enum v4l2_field; field order of the image in the buffer
 * @timestamp:	frame timestamp
 * @timecode:	frame timecode
 * @sequence:	sequence count of this frame
 * @memory:	enum v4l2_memory; the method, in which the actual video data is
 *		passed
 * @offset:	for non-multiplanar buffers with memory == V4L2_MEMORY_MMAP;
 *		offset from the start of the device memory for this plane,
 *		(or a "cookie" that should be passed to mmap() as offset)
 * @userptr:	for non-multiplanar buffers with memory == V4L2_MEMORY_USERPTR;
 *		a userspace pointer pointing to this buffer
 * @fd:		for non-multiplanar buffers with memory == V4L2_MEMORY_DMABUF;
 *		a userspace file descriptor associated with this buffer
 * @planes:	for multiplanar buffers; userspace pointer to the array of plane
 *		info structs for this buffer
 * @length:	size in bytes of the buffer (NOT its payload) for single-plane
 *		buffers (when type != *_MPLANE); number of elements in the
 *		planes array for multi-plane buffers
 * @input:	input number from which the video data has has been captured
 *
 * Contains data exchanged by application and driver using one of the Streaming
 * I/O methods.
 */
struct v4l2_buffer {
	__u32			index;
	__u32			type;
	__u32			bytesused;
	__u32			flags;
	__u32			field;
	struct timeval		timestamp;
	struct v4l2_timecode	timecode;
	__u32			sequence; 

	/* memory location */
	__u32			memory;
	union {
		__u32           offset;
		unsigned long   userptr;
		struct v4l2_plane *planes;
		__s32		fd;
	} m;
	__u32			length;
	__u32			reserved2;
	__u32			reserved;
};

index:鉴别缓冲区的序号。

type:缓冲区类型,就是enumv4l2_buf_type里面所包含的类型。

bytesused:缓冲区中数据的大小,单位是byte。

flags:表示当前缓冲区的状态,有以下几种:

#defineV4L2_BUF_FLAG_MAPPED 0x0001 /* Buffer is mapped (flag) */

#defineV4L2_BUF_FLAG_QUEUED 0x0002 /* Buffer is queued for processing
*/

#defineV4L2_BUF_FLAG_DONE 0x0004 /* Buffer is ready */

#defineV4L2_BUF_FLAG_KEYFRAME 0x0008 /* Image is a keyframe (I-frame)
*/

#defineV4L2_BUF_FLAG_PFRAME 0x0010 /* Image is a P-frame */

#defineV4L2_BUF_FLAG_BFRAME 0x0020 /* Image is a B-frame */

/*Buffer is ready, but the data contained within is corrupted. */

#defineV4L2_BUF_FLAG_ERROR 0x0040

#defineV4L2_BUF_FLAG_TIMECODE 0x0100 /* timecode field is valid */

#defineV4L2_BUF_FLAG_PREPARED 0x0400 /* Buffer is prepared for queuing
*/

/*Cache handling flags */

#defineV4L2_BUF_FLAG_NO_CACHE_INVALIDATE 0x0800

#defineV4L2_BUF_FLAG_NO_CACHE_CLEAN 0x1000

/*Timestamp type */

#defineV4L2_BUF_FLAG_TIMESTAMP_MASK 0xe000

#defineV4L2_BUF_FLAG_TIMESTAMP_UNKNOWN 0x0000

#defineV4L2_BUF_FLAG_TIMESTAMP_MONOTONIC 0x2000

#defineV4L2_BUF_FLAG_TIMESTAMP_COPY 0x4000

timestamp:时间戳。

timecode:时间编码,对于视频类应用有用。

memory:即是enumv4l2_memory中的哪一种。

m.offset:当memory==V4L2_MEMORY_MMAP时,表示从设备内存基址到当前缓冲区的偏移值。(同时这个值也是传给mmap函数的offset参数)

m.userptr:当memory==V4L2_MEMORY_USERPTR时,表示用户空间的一个指针指向这个缓冲区。

m.fd:当memory==V4L2_MEMORY_DMABUF时,表示用户空间与此缓冲区相关联的一个文件描述符。

m.plane:指向某一个structv4l2_plane结构体,在multiplanar情况下,用户指向位面数组的指针。

length:缓冲区的大小(non_multiplanar情况下);位面的个数(multiplanar情况下)。

2.VIDIOC_REQBUFS

应用程序中:

	  struct v4l2_requestbuffers req;
        memset(&req, 0, sizeof (req));
        req.count = TEST_BUFFER_NUM;
        req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
        req.memory = V4L2_MEMORY_MMAP; 

        if (ioctl(fd_v4l, VIDIOC_REQBUFS, &req) < 0)
        {
                printf("v4l_capture_setup: VIDIOC_REQBUFS failed\n");
                return 0;
        }

其中

#defineTEST_BUFFER_NUM 3

通过这个VIDIOC_REQBUFSioctl调用来申请内存空间,这里的关键结构体就是structv4l2_requestbuffers结构体,对应设置req中的几个参数,然后就会调用到内核驱动中。

驱动中:

mxc_allocate_frame_buf(cam, req->count);

static int mxc_allocate_frame_buf(cam_data *cam, int count)
for (i = 0; i < count; i++)
{
	cam->frame[i].vaddress = dma_alloc_coherent(0,
				       PAGE_ALIGN(cam->v2f.fmt.pix.sizeimage),
				       &cam->frame[i].paddress, GFP_DMA | GFP_KERNEL);

	cam->frame[i].buffer.index = i;
	cam->frame[i].buffer.flags = V4L2_BUF_FLAG_MAPPED;
	cam->frame[i].buffer.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
	cam->frame[i].buffer.length = PAGE_ALIGN(cam->v2f.fmt.pix.sizeimage);
	cam->frame[i].buffer.memory = V4L2_MEMORY_MMAP;
	cam->frame[i].buffer.m.offset = cam->frame[i].paddress;
	cam->frame[i].index = i;
}

首先在内核的cam_data结构体中有一个重要的成员:structmxc_v4l_frame
frame[FRAME_NUM];

这个成员structmxc_v4l_frame如下所示:

struct mxc_v4l_frame {
    u32 paddress;
    void *vaddress;
    int count;
    int width;
    int height; 

    struct v4l2_buffer buffer;
    struct list_head queue;
    int index;
    union {
            int ipu_buf_num;
            int csi_buf_num;
    };
};

它包含一个很重要的结构体:structv4l2_buffer
buffer,这个结构体正是我们前面所讲过的。它是本文要讨论的核心。

在这个函数中,通过dma_alloc_coherent函数申请req->count个缓冲区,之后设置cam->frame[i]中各个成员的值,其中最重要的是为structv4l2_buffer
buffer赋值。

cam->frame[i].vaddress= dma_alloc_coherent(0,

PAGE_ALIGN(cam->v2f.fmt.pix.sizeimage),

&cam->frame[i].paddress,GFP_DMA | GFP_KERNEL);

这个dma_alloc_coherent函数,会生成一个虚拟地址,保存在cam->frame[i].vaddress中,同时会生成对应的物理地址,保存在&cam->frame[i].paddress中。

然后将通过cam->frame[i].buffer.m.offset=
cam->frame[i].paddress;将这个物理地址同样保存在cam->frame[i].buffer.m.offset中。

那么在应用程序中,#defineTEST_BUFFER_NUM3,而在驱动程序中,通过一个for循环,所以会申请成功三个缓冲区,每个buffer的物理地址都保存在cam->frame[i].buffer.m.offset中,虚拟地址都保存在cam->frame[i].vaddress中。

3.VIDIOC_QUERYBUF:

在应用程序中:

	struct v4l2_buffer buf;

	for (i = 0; i < TEST_BUFFER_NUM; i++)
        {
                memset(&buf, 0, sizeof (buf));
                buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
                buf.memory = V4L2_MEMORY_MMAP;
	          buf.index = i;
                if (ioctl(fd_v4l, VIDIOC_QUERYBUF, &buf) < 0)
                {
                        printf("VIDIOC_QUERYBUF error\n");
                        return -1;
                } 

                buffers[i].length = buf.length;
                buffers[i].offset = (size_t) buf.m.offset;
                buffers[i].start = mmap (NULL, buffers[i].length,
                    PROT_READ | PROT_WRITE, MAP_SHARED,
                    fd_v4l, buffers[i].offset);
				memset(buffers[i].start, 0xFF, buffers[i].length);
        }

应用程序中首先声明了一个structv4l2_buffer buf;这个buf是个structv4l2_buffer类型的,其中在前面的分析中,可以看到,这个structv4l2_buffer类型包含在structmxc_v4l_frame中,即cam->frame[i]中。

驱动程序中:

mxc_v4l2_buffer_status(cam, buf);
static int mxc_v4l2_buffer_status(cam_data *cam, struct v4l2_buffer *buf)
	<span style="color:#FF0000;">memcpy(buf, &(cam->frame[buf->index].buffer), sizeof(*buf)</span>); 

最终会调用到mxc_v4l2_buffer_status函数中,这个函数的核心就是一个memcpy函数,他将

cam->frame[buf->index].buffer里面的内容拷贝到buf中。

其中这个cam->frame[buf->index].buffer是在上面2中已经申请配置的。

同时,在应用程序中,是一个for循环,会将cam->frame[buf->index].buffer中申请的每个buffer都拷贝到buf中。

看应用程序中的for循环,它在调用VIDIOC_QUERYBUF之后,同时就会将这个buf中的值拷贝到buffers[i]中,而这个buffers[i]是应用程序中的一个全局变量,如下所示:

struct testbuffer buffers[TEST_BUFFER_NUM]; 

struct testbuffer
{
        unsigned char *start;
        size_t offset;
        unsigned int length;
};

注意这个赋值语句:buffers[i].offset= (size_t)
buf.m.offset;这个buf.m.offset在VIDIOC_QUERYBUF里面,通过memcpy函数,将cam->frame[i]中的内容拷贝过来的,buf.m.offset保存的是申请内存的物理地址。参见上面标红的语句。

这时候,应用程序这个structtestbuffer
结构体中各个元素的含义就清楚了,

start:保存的是mmap函数映射内存后的首地址。

offset:保存的是VIDIOC_QUERYBUF后buf.m.offset的值,同样是cam->frame[i].buffer.m.offset,即申请内存的物理地址。

length:保存的是申请内存的大小。

到这以后,总结一下:

首先通过dma_alloc_coherent函数申请内存,将物理地址,虚拟地址都保存在cam->frame[i]中,同时为cam->frame[i].buffer赋值。

然后就会调用VIDIOC_QUERYBUF,来将cam->frame[i]里面的buffer都取出来,通过buf这个中间变量赋值给应用程序中的buffers[i]中。

这时候,申请的内存的物理地址,虚拟地址,大小等等信息保存在驱动程序中的cam->frame[i]中和应用程序中的buffers[i]中。

4.VIDIOC_QBUF:

应用程序中:

for (i = 0; i < TEST_BUFFER_NUM; i++)
        {
                memset(&buf, 0, sizeof (buf));
                buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
                buf.memory = V4L2_MEMORY_MMAP;
                buf.index = i;
		    buf.m.offset = buffers[i].offset; 

                if (ioctl (fd_v4l, VIDIOC_QBUF, &buf) < 0) {
                        printf("VIDIOC_QBUF error\n");
                        return -1;
                }
        }

应用程序中,通过这个for循环,依次从应用程序中的buffer[i]中取出buffer,保存在buf这个中间变量中,然后调用VIDIOC_QBUFioctl。

驱动中:

struct v4l2_buffer *buf = arg;
int index = buf->index;
if ((cam->frame[index].buffer.flags & 0x7) == V4L2_BUF_FLAG_MAPPED)
{
	cam->frame[index].buffer.flags |= V4L2_BUF_FLAG_QUEUED;
	list_add_tail(&cam->frame[index].queue, &cam->ready_q); 

	buf->flags = cam->frame[index].buffer.flags;
}

在驱动程序中会为cam->frame[index].buffer.flags添加上V4L2_BUF_FLAG_QUEUED属性,同时将这个cam->frame[index].buffer添加到cam->ready_q队列中,然后将cam->frame[index].buffer.flags复制给buf的flags属性。

由于应用程序中是个for循环,最终会把应用程序中buffers[i]数组中的所有成员都通过这个VIDIOC_QBUFioctl调用来添加flags属性以及添加到cam->ready_q队列中。同时,可以发现,在驱动程序中,也同时更新了cam->frame[index]。

5. VIDIOC_STREAMON

5.1
驱动程序中调用到mxc_streamon函数,在里面:

cam->enc_enable(cam);
cam->dummy_frame.vaddress = dma_alloc_coherent(0,
			       PAGE_ALIGN(cam->v2f.fmt.pix.sizeimage),
			       &cam->dummy_frame.paddress, GFP_DMA | GFP_KERNEL);
cam->dummy_frame.buffer.type = V4L2_BUF_TYPE_PRIVATE;
cam->dummy_frame.buffer.length = PAGE_ALIGN(cam->v2f.fmt.pix.sizeimage);
cam->dummy_frame.buffer.m.offset = cam->dummy_frame.paddress;

在cam_data结构体中,还有一个structmxc_v4l_frame
dummy_frame;开始一直不理解这个成员的意义(一会再讲)。看上面的操作,在VIDIOC_REQBUFSioctl函数中,相似的操作已经做过一遍了。

需要注意的是,cam->dummy_frame.vaddress保存的是所申请内存的虚拟地址,&cam->dummy_frame.paddress保存的是所申请内存的物理地址,同时将这个物理地址赋给了cam->dummy_frame.buffer.m.offset。

之后继续调用到:

prp_enc_setup(cam)

dma_addr_t dummy = cam->dummy_frame.buffer.m.offset;

ipu_init_channel_buffer(cam->ipu, CSI_PRP_ENC_MEM,
					    IPU_OUTPUT_BUFFER,
					    enc.csi_prp_enc_mem.out_pixel_fmt,
					    enc.csi_prp_enc_mem.out_width,
					    enc.csi_prp_enc_mem.out_height,
					    cam->v2f.fmt.pix.bytesperline /
					    bytes_per_pixel(enc.csi_prp_enc_mem.
							    out_pixel_fmt),
					    cam->rotation,
					    dummy, dummy, 0,
					    cam->offset.u_offset,
					    cam->offset.v_offset);

_ipu_ch_param_init(ipu, dma_chan, pixel_fmt, width, height, stride, u, v, 0,
			   phyaddr_0, phyaddr_1, phyaddr_2);

最终通过_ipu_ch_param_init函数,将这个dummy的物理地址放在CPMEM中word[1]的0~28和29~58位。

5.2ipu_request_irq函数

err = ipu_request_irq(cam->ipu, IPU_IRQ_PRP_ENC_OUT_EOF,
				      prp_enc_callback, 0, "Mxc Camera", cam);

之后会调用到ipu_request_irq函数申请中断,中断处理函数是prp_enc_callback,后面需要用到这个中断处理函数的时候再具体分析。

5.3

继续在mxc_streamon函数中执行

frame = list_entry(cam->ready_q.next, struct mxc_v4l_frame, queue);
list_del(cam->ready_q.next);
list_add_tail(&frame->queue, &cam->working_q);
frame->ipu_buf_num = cam->ping_pong_csi;
err = cam->enc_update_eba(cam, frame->buffer.m.offset);

从cam->ready_q队列中取出第一个mxc_v4l_frame实体(在QBUF的时候放进去的),将它放入cam->working_q队列中,然后调用cam->enc_update_eba函数来更新CPMEM中word[1]中的0~28和29~58位中所存的地址值。

至此,就明白了5.1中所申请的cam->dummy_frame的作用,它先使用这个虚假的buffer的地址来填充CPMEM中word[1]中的0~28和29~58位,然后调用cam->enc_update_eba函数来不断更新里面保存的buffer的物理地址。但是是怎么不断更新的呢?后面再仔细分析。

6. camera_callback中断处理函数

之后在mxc_streamon函数中就会打开摄像头设备,开始采集数据,很明显的一个问题就是:如果数据填充满一个buffer以后,系统怎么通知驱动程序?然后将这个buffer怎么做?

还记得在5.2中申请的中断不,它一直等待IPU_IRQ_PRP_ENC_OUT_EOF信号,如果超出buffer的范围的话,就会调用中断处理函数,这个中断处理函数是在init_camera_struct函数中通过cam->enc_callback=
camera_callback;为它指定的。

在这个camera_callback函数中:

static void camera_callback(u32 mask, void *dev)
{
	struct mxc_v4l_frame *done_frame;
	struct mxc_v4l_frame *ready_frame;
	struct timeval cur_time; 

	cam_data *cam = (cam_data *) dev;
	if (cam == NULL)
		return; 

	pr_debug("In MVC:camera_callback\n"); 

	spin_lock(&cam->queue_int_lock);
	spin_lock(&cam->dqueue_int_lock);
	if (!list_empty(&cam->working_q)) {
		do_gettimeofday(&cur_time);

	done_frame = list_entry(cam->working_q.next, struct mxc_v4l_frame, queue);

	if (done_frame->ipu_buf_num != cam->local_buf_num)
			goto next;  <span style="color:#FF0000;">//位置1</span>

	done_frame->buffer.timestamp = cur_time;

	if (done_frame->buffer.flags & V4L2_BUF_FLAG_QUEUED) {
		done_frame->buffer.flags |= V4L2_BUF_FLAG_DONE;
		done_frame->buffer.flags &= ~V4L2_BUF_FLAG_QUEUED; 

		/* Added to the done queue */
		list_del(cam->working_q.next);
		list_add_tail(&done_frame->queue, &cam->done_q); 

		/* Wake up the queue */
		cam->enc_counter++;
		wake_up_interruptible(&cam->enc_queue);
		}else
			pr_err("ERROR: v4l2 capture: camera_callback: "
				"buffer not queued\n");
	}  <span style="color:#FF0000;">//位置2</span>

next:
	if (!list_empty(&cam->ready_q)) {       //队列不空
		ready_frame = list_entry(cam->ready_q.next,
					 struct mxc_v4l_frame,
					 queue);
		if (cam->enc_update_eba)
			if (cam->enc_update_eba(
				cam,
				ready_frame->buffer.m.offset) == 0) {
				list_del(cam->ready_q.next);
				list_add_tail(&ready_frame->queue,
					      &cam->working_q);
				ready_frame->ipu_buf_num = cam->local_buf_num;
			}
	} else {               //队列为空
		if (cam->enc_update_eba)
			cam->enc_update_eba(
				cam, cam->dummy_frame.buffer.m.offset);
	}

从cam->working_q队列中取出structmxc_v4l_frame实体,为done_frame->buffer.flags添加V4L2_BUF_FLAG_DONE属性,同时去掉V4L2_BUF_FLAG_QUEUED属性,然后将这个done_frame从cam->working_q队列中移除,添加到cam->done_q队列中。

同时,在这个camera_callback函数中,同时会根据done_frame->ipu_buf_num来判断是否跳转到next去执行。

next中:如果队列不空的话,就调用cam->enc_update_eba函数来更新cpmem中word[1]中保存的buffer的地址,然后继续通过摄像头采集数据。如果这时候,队列为空了,说明申请的buffer用完了,就把原来申请的虚假的frame的物理地址填进去。

在这个函数中,注意我标红的//位置2处,在这里它没有return语句,也就是说,如果函数在//位置1处没有跳转到next处去执行的话,当程序继续执行到//位置2处时,后面的next语句同样会执行。所以,无论哪种情况下,next语句都会执行!!!

那么什么时候选择是否跳转到next处呢?它是通过:

if (done_frame->ipu_buf_num != cam->local_buf_num)
			goto next;

这条语句来选择执行的,所以是否跳转到next处,就是这两个值的比较问题了。

我们想知道done_frame中ipu_buf_num这个值是怎么设置的,同时这个done_frame是从cam->working_q队列中取出来操作的frame,那么它是在什么地方添加到cam->working_q队列中去的呢?答案是mxc_streamon函数中。

再次来反思上面的执行流程,在VIDIOC_QBUF中,会将frame添加到cam->ready_q队列中,在mxc_streamon函数中,会将buffer从cam->ready_q队列中取出来,然后放到cam->working_q队列中去,注意,这时候在驱动程序中有一个小细节,我将mxc_streamon函数中有关这个小细节的代码复制下来:

spin_lock_irqsave(&cam->queue_int_lock, lock_flags);
	cam->ping_pong_csi = 0;
	cam->local_buf_num = 0;
	if (cam->enc_update_eba) {
		frame =
		    list_entry(cam->ready_q.next, struct mxc_v4l_frame, queue);
		list_del(cam->ready_q.next);
		list_add_tail(&frame->queue, &cam->working_q);
		frame->ipu_buf_num = cam->ping_pong_csi;
		pr_debug("First time : frame->buffer.m.offset = %d. \n", frame->buffer.m.offset);
		err = cam->enc_update_eba(cam, frame->buffer.m.offset); 

		frame =
		    list_entry(cam->ready_q.next, struct mxc_v4l_frame, queue);
		list_del(cam->ready_q.next);
		list_add_tail(&frame->queue, &cam->working_q);
		frame->ipu_buf_num = cam->ping_pong_csi;
		pr_debug("Second time : frame->buffer.m.offset = %d. \n", frame->buffer.m.offset);
		err |= cam->enc_update_eba(cam, frame->buffer.m.offset); 

		spin_unlock_irqrestore(&cam->queue_int_lock, lock_flags);
	} else {
		spin_unlock_irqrestore(&cam->queue_int_lock, lock_flags);
		return -EINVAL;
	}

它首先设置了两个变量:cam->ping_pong_csi=
0;和cam->local_buf_num=
0;然后将frame从cam->ready_q队列中取出来,然后放到cam->working_q队列中去,之后,设置这个

frame->ipu_buf_num= cam->ping_pong_csi;

那么此时,frame->ipu_buf_num=
cam->ping_pong_csi == 0

然后调用cam->enc_update_eba函数来将frame中保存的buffer地址写到CPMEM的word[1]中的第一个buffer地址处,0~28位。同时,之前分析过,在这个cam->enc_update_eba函数中,每执行一次,都会去改变一次cam->ping_pong_csi的值,从0变成1,或者从1变成0,而这也就是ping_pong_csi名字的由来。由于之前设置了cam->ping_pong_csi=
0,所以这次cam->ping_pong_csi的值从0变成了1。

之后,将同样的代码再次执行一遍:将frame从cam->ready_q队列中取出来,然后放到cam->working_q队列中去,设置frame->ipu_buf_num=
cam->ping_pong_csi;

注意,这时候:frame->ipu_buf_num=
cam->ping_pong_csi ==
1

然后调用cam->enc_update_eba函数来将frame中保存的buffer地址写到CPMEM的word[1]中的第二个buffer地址处,29~58位。执行完这次cam->enc_update_eba函数后,cam->ping_pong_csi的值从1又变成了0。

在驱动代码中,就只有这个地方更新了两次CPMEM中的buffer地址,所以之后继续更新buffer地址的任务就在camera_callback这个中断处理函数中。

在camera_callback函数中,通过

done_frame = list_entry(cam->working_q.next, struct mxc_v4l_frame, queue);

来从cam->working_q队列中取出frame,然后就是比较:

if (done_frame->ipu_buf_num != cam->local_buf_num)
			goto next;

我们一路跟踪过来,没有地方修改过这个cam->local_buf_num的值,它仍为初始化的值0。而在mxc_streamon函数中,一共向cam->working_q队列中添加了两个frame,同时,这两个frame的ipu_buf_num依次为0和1(上面追踪分析了)。所以,从cam->working_q队列中取出第一个frame的ipu_buf_num为0。那么,在这里,这两个值相同,所以就不会直接跳转到next处去执行,就会顺序执行下面的代码。注意,在下面的代码中:

cam->enc_counter++;
wake_up_interruptible(&cam->enc_queue);

来唤醒等等队列,而这个cam->enc_queue队列是在VIDIOC_DQBUF这个ioctl调用中,通过:

wait_event_interruptible_timeout(cam->enc_queue, cam->enc_counter != 0, 10 * HZ)

来等待上面的唤醒条件。

所以,在camera_callback函数中来唤醒VIDIOC_DQBUF这个ioctl调用中这个等待队列。

之后就会执行到next标号处,因为,上面已经唤醒了cam->enc_queue这个队列,在应用程序中通过VIDIOC_DQBUF将第一个bufferDQ出去了,那么,在CPMEM中,只有一个buffer的地址了,在这时候,肯定需要更新buffer地址了。这个next标号后面的内容正是做了这些内容。

next:
	if (!list_empty(&cam->ready_q)) {
		ready_frame = list_entry(cam->ready_q.next,
					 struct mxc_v4l_frame,
					 queue);
		if (cam->enc_update_eba)
			if (cam->enc_update_eba(
				cam,
				ready_frame->buffer.m.offset) == 0) {
				list_del(cam->ready_q.next);
				list_add_tail(&ready_frame->queue,
					      &cam->working_q);
				ready_frame->ipu_buf_num = cam->local_buf_num;
			}
	} else {
		if (cam->enc_update_eba)
			cam->enc_update_eba(
				cam, cam->dummy_frame.buffer.m.offset);
	}

可以看出来,程序中会继续从cam->ready_q队列中去取frame,而这个cam->ready_q队列是在应用程序中一直通过VIDIOC_QBUF这个ioctl调用来不断将所需的buffer添加到队列中去的。然后将取出来的frame,添加到cam->working_q队列中,然后调用cam->enc_update_eba来更新CPMEM中word[1]中的地址,同时,在cam->enc_update_eba函数中会继续改变cam->ping_pong_csi的值。

执行完这个流程以后,注意下面一句话:

cam->local_buf_num = (cam->local_buf_num == 0) ? 1 : 0;

终于看到修改cam->local_buf_num值的地方了。那么这个值有什么用呢?肯定与上面那个判断是否跳转到next的语句有关。

比如说现在成功执行完这个camera_callback函数了,等第二个frame也填充满了,又会调用到这个camera_callback中断处理函数,记得在mxc_streamon函数中,设置第二个frame->ipu_buf_num=
1,然后继续执行到camera_callback函数的

if(done_frame->ipu_buf_num != cam->local_buf_num)

gotonext;

判断语句,由于在上一次的camera_callback函数中,已经修改了cam->local_buf_num的值为1,所以这两者依然是相等的关系,也就是说仍然不会直接跳转到next标号处去执行。如此循环下去,这两者会一直相等下去的。。。

于是,从新思考这个问题,为什么要直接跳转到next处呢?是为了跳过//位置1和//位置2之间的代码,那么中间这一段代码都做了什么?我们前面分析了,会唤醒VIDIO_DQBUF中的等待队列。如果跳过这一段代码,直接去执行next后面的程序的话,就是为了不去唤醒VIDIO_DQBUF中的等待队列,为什么要这么做呢?

因为在next:处那个判断语句,if(!list_empty(&cam->ready_q)),如果当时,由于某种原因,应用程序中通过VIDIOC_QBUF函数没有成功,或者暂时还没有成功,那么这个cam->ready_q队列中就会为空,然后就会执行到后面的else语句,通过

cam->enc_update_eba( cam, cam->dummy_frame.buffer.m.offset);

来将一个虚假的buffer地址填充到CPMEM的work[1]中,那么,这个虚假的buffer肯定不能被DQBUF出去,如果DQBUF出去的话,图像就会出现错误。所以,camera_callback函数中通过:

if (done_frame->ipu_buf_num != cam->local_buf_num)
	goto next;

来避免将填充进去的虚假bufferDQBUF出去。而cam->local_buf_num这个值就是为了表示这个而出现的。

cam->ping_pong_csi这个值在0和1之间变换,是为了分别向CPMEM中word[1]里面的0~28和29~29哪几位来填充地址。每次执行一次cam->enc_update_eba函数,这个值都会改变一次。

cam->local_buf_num这个值同样在0和1之间变换,是为了判断是否有虚假的buffer地址信息填充到CPMEM中,如果有的话,就跳过这个buffer,不让它DQBUF出去,这个值每次执行一次camera_callback函数都会改变一次。

通过上面的分析,就可以看出来,每当一个buffer填充满后,都会触发一次中断,在中断处理函数中,就会去更新CPMEM中的buffer地址,然后一直执行到应用程序停止填充buffer为止。

7. VIDIOC_DQBUF

应用程序中:

while (count-- > 0)
{
	memset(&buf, 0, sizeof (buf));
	buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
	buf.memory = V4L2_MEMORY_MMAP;
	if (ioctl (fd_v4l, VIDIOC_DQBUF, &buf) < 0)	{
          printf("VIDIOC_DQBUF failed.\n");
}
fwrite(buffers[buf.index].start, fmt.fmt.pix.sizeimage, 1, fd_y_file);

驱动程序中:

	frame = list_entry(cam->done_q.next, struct mxc_v4l_frame, queue);
	list_del(cam->done_q.next);
	cam->frame[frame->index].buffer.field = cam->device_type ?
				V4L2_FIELD_INTERLACED : V4L2_FIELD_NONE; 

	buf->bytesused = cam->v2f.fmt.pix.sizeimage;
	buf->index = frame->index;
	buf->flags = frame->buffer.flags;
	buf->m = cam->frame[frame->index].buffer.m;
	buf->timestamp = cam->frame[frame->index].buffer.timestamp;
	buf->field = cam->frame[frame->index].buffer.field;

驱动程序中将cam->done_q.next队列中已经填充好的数据buffer的地址指针从cam->frame[frame->index]中复制给buf这个中间变量,然后这个buf返回给应用程序中,应用程序就获得了这个buffer的地址,然后调用fwrite函数,就可以将数据写到fd_y_file中了。

时间: 2024-10-28 15:35:19

5.2 应用程序和驱动程序中buffer的传输流程的相关文章

OpenGL中Buffer的传输和更新

Graphics API的特点就是从名字上很难看出背后做了什么,所以会用和做到Best Pratice中间要经历很多曲折.昨天看了一下OpenGL中传输和更新Buffer的方法,发现了一些之前没有留意到的东西. 在创建了Buffer对象之后,可以通过glBufferData/glBufferSubData将数据从CPU Memory传输到GPU Memory,首先,数据会被memcpy到一块page-locked memory中,这一内存区域可以直接被GPU访问,至此,glBufferData将

CreateFile DeviceIoControl dwIoControlCode——应用程序与驱动程序通信

在"进程内存管理器中"的一个Ring0,Ring3层通信问题,之前也见过这样的代码,这次拆分出来详细总结一下. 先通过CreateFile函数得到设备句柄,CreateFile函数原型: HANDLE CreateFile( LPCTSTR lpFileName, // 文件名/设备路径 设备的名称 DWORD dwDesiredAccess, // 访问方式 DWORD dwShareMode, // 共享方式 LPSECURITY_ATTRIBUTES lpSecurityAttr

linux驱动程序中的poll机制编程

#include <linux/module.h> #include <linux/kernel.h> #include <linux/fs.h> #include <linux/init.h> #include <linux/delay.h> #include <asm/irq.h> #include <linux/interrupt.h> #include <asm/uaccess.h> #include

驱动开发之 用DeviceIoControl实现应用程序与驱动程序通信

Ring3测试程序:http://blog.csdn.net/zj510/article/details/8216321 1.readfile和writefile可以实现应用程序与驱动程序通信,另外一个Win32 API 是DeviceIoControl. 应用程序自定义一中IO控制码,然后调用DeviceIoControl函数,IO管理器会产生一个MajorFunction 为IRP_MJ_DEVICE_CONTROL,MinorFunction 为自己定义的控制码的IRP,系统就调用相应的处

linux驱动程序中的异步编程

A 前面介绍的等待队列和轮询编程提供了较好的解决设备访问的机制,但是这些机制都 是由应用程序发起的,都需要应用程序主动访问设备.更完美的方式是由驱动程序主 动通知应用程序,也就是说,当驱动程序满足某些条件后,会主动通知应用程序处理 ,这些处理方式有些像面向对象编程的事件,而在linux内核使用的事件是接下来要介 绍的信号. #include<sys/types.h> #include<sys/stat.h> #include<stdio.h> #include<f

linux设备驱动程序中的阻塞、IO多路复用与异步通知机制

一.阻塞与非阻塞 阻塞与非阻塞是设备访问的两种方式.在写阻塞与非阻塞的驱动程序时,经常用到等待队列. 阻塞调用是指调用结果返回之前,当前线程会被挂起,函数只有在得到结果之后才会返回. 非阻塞指不能立刻得到结果之前,该函数不会阻塞当前进程,而会立刻返回. 函数是否处于阻塞模式和驱动对应函数中的实现机制是直接相关的,但并不是一一对应的,例如我们在应用层设置为阻塞模式,如果驱动中没有实现阻塞,函数仍然没有阻塞功能. 二.等待队列 在linux设备驱动程序中,阻塞进程可以使用等待队列来实现. 在内核中,

linux free命令中buffer与cache的区别

linux free命令中buffer与cache的区别 ~$ free total             used           free     shared   buffers     cached Mem:       1025204     981636      43568          0      38244     387808 -/+ buffers/cache:       555584      469620 Swap:      1931256    162

C++第三十九篇 -- 研究一下Windows驱动开发(二)-- 驱动程序中重要的数据结构

数据结构是计算机程序的核心,I/O管理器定义了一些数据结构,这些数据结构是编写驱动程序时所必须掌握的.驱动程序经常要创建和维护这些数据结构的实例. 一.驱动对象(DRIVER_OBJECT) 每个驱动程序会有唯一的驱动对象与之对应,并且这个驱动对象是在驱动加载的时候,被内核中的对象管理程序所创建的. 驱动对象用DRIVER_OBJECT数据结构表示,它作为驱动的一个实例被内核加载,并且内核对一个驱动只加载一个实例.确切地说,是由内核中的I/O管理器负责加载的.驱动程序需要在DriverEntry

如何在程序开发项目中选择合适的 JavaScript 框架,节省时间和成本的9款极佳的JavaScript框架介绍

从技术上来看,iOS,Android 和 Windows Phone 上的移动应用是使用不同的程序语言开发的,iOS 应用使用 Objective-C,Android 应用使用 Java,而 Windows Phone 应用使用 .NET. .随着 JavaScript,CSS 和 HTML 知识技能的提升,相信你也可以构建一个超赞的移动应用.在这篇博客里,我们将会介绍一些极好的 JavaScript 移动应用程序开发框架. 说到网络开发,就不得不说 JavaScript,这是一款很有前途的程序