下载文档原格式
－1885－0引言USB 接口的普通摄像头由于价格低廉，性能较好，被应用在很多方面，比如可视电话、视频聊天和普通的视频监控。
Dihom (digital house monitor )就是摄像头在视频监控应用的一个例子。
摄像头由主控芯片和传感芯片组成。
主控芯片负责图像采集、压缩以及和主机的通信，通信协议一般采用USB1.1。
在我们的系统中，前端采用摄像头进行图像采集，摄像头连接到嵌入式模块，通过嵌入式模块上的无线网卡发送到远端。
嵌入式模块上采用linux 系统，因此我们需要在其上开发摄像头驱动。
我们使用的摄像头主控芯片型号为Sonix 公司的SN9C101，传感芯片是PAS106。
本文有重点地分析USB 协议驱动模块的分层结构，描述驱动程序的实现，介绍驱动的移植和测试工作。
1USB 协议USB 是一种分层总线结构，并且由一个主机来控制。
主机用主/从协议来和外部USB 设备通信。
USB 上的通信主要有两个方向，分别是主机到设备的下行方向和设备到主机的上行方向，不支持设备之间的直接通信。
每个USB 设备都会有一个或者多个逻辑连接点，称为端点。
每个端点有4种传输方式：控制传输、等时传输、成批传输和中断传输。
但是端点0缺省用来传送配置和控制信息。
同样性质的一组端点的组合叫做接口，而同种类型的接口组合称为配置。
不同配置用于改变整个设备的设置，比如电源消耗等。
每次只能有一个配置处于激活状态，一旦某个配置被激活，里面的接口和端点都可同时使用。
配置、接口和端点的信息存放在称为描述符的数据结构中。
2驱动模块层次结构USB 驱动程序由主控制器驱动、USB 核心驱动和USB 设备驱动程序组成。
通常操作系统本身带有前面两个驱动程序，而开发者只需完成USB 设备驱动的开发工作。
它们之间的层次关系如图1所示。
USB 核心子系统连接USB 设备驱动和主控制器驱动，它通过定义一些数据结构、宏和功能函数来抽象下层硬件设备。
USB 核心子系统为硬件处理供下层接口(lowerAPI )，同时通过上层接口(upperAPI )为USB 设备驱动提供服务。
移动设备上USB摄像头的功能实现方法研究摘要：针对android操作系统下无法使用usb摄像头进行预览和拍摄的问题，提出了在硬件抽象层编写代码进行实现的方法，实现了usb摄像头的正常取景预览和拍摄功能。
在深入研究v4l2规范的基础上，对图像采集驱动uvc进行配置，而后在android系统的硬件抽象层编写了基于v4l2规范的图像采集程序，实现了android操作系统下usb接口摄像头的预览和拍摄功能。
实验测试结果表明，该方法可以获得稳定流畅的拍摄预览效果，并拍摄得到优质清晰的图像。
关键词： usb摄像头；video for linux 2编程；硬件抽象层；色彩空间转换中途分类号：tu-024 文献标识码：a文章编号：0 前言基于android操作系统的嵌入式平台，凭借其开放性、友好的用户界面、优秀的多任务处理能力、强大的多媒体应用，已成为众多嵌入式系统应用平台和移动设备开发平台中的佼佼者。
android操作系统对usb总线接口热插拔的支持非常完善，但对usb摄像头缺乏必要的应用支持。
然而，usb接口具有数据传输速率快、可扩展性好和维护方便等优点[1]，usb摄像头可动态连接并延伸一定距离安装，使之非常适合于工业现场监控、图像采集和机器视觉等方面的应用。
为了解决基于android操作系统的嵌入式系统平台中usb摄像头的应用问题，本文在深入研究了android系统中camera的原理机制和视频设备驱动v4l2标准的基础上，对图像采集驱动uvc进行了配置，编写了基于v4l2的图像采集程序，在硬件抽象层下完成了图像预览及拍摄功能的设计，实现了android操作系统usb接口摄像头取景预览和拍摄功能。
为工业现场监控、图像采集和机器视觉等使用usb摄像头的应用，提供了一种实现取景预览和拍摄功能的方法。
1 开发环境简介嵌入式系统的开发环境称为交叉式开发环境，所有开发工作在宿主机上完成，产生的代码则运行在目标机上。
嵌入式Linux系统中图片解码和显示的图像识别应用在嵌入式Linux系统中，图片解码和显示是一个常见的需求，而图像识别应用则是将图片解码和显示与图像处理算法相结合的一种应用场景。
本文将深入探讨嵌入式Linux系统中图片解码和显示的图像识别应用。
一、嵌入式Linux系统中的图片解码和显示嵌入式Linux系统通常通过调用相关的库和驱动来实现图片解码和显示功能。
在Linux系统中，常用的图片格式包括JPEG、PNG、BMP等，而图片解码则是将图片从特定格式转换为原始的像素数据。
图片显示则是将解码后的像素数据渲染到屏幕上进行显示。
二、图像识别应用的基本原理图像识别应用是基于图像处理算法的一种应用场景，它通过对图像进行处理和分析，实现对图像中目标物体的识别和判断。
常见的图像识别应用包括人脸识别、车牌识别等。
图像识别应用的基本原理包括以下几个步骤：1. 图像读取：从图像源中读取图像数据；2. 图像预处理：对图像进行预处理，包括降噪、图像增强等操作，以提高后续处理的准确性；3. 特征提取：通过各种算法提取图像中的特征信息，常见的特征提取方法包括灰度共生矩阵、边缘检测等；4. 特征匹配：将提取到的特征与预先训练好的特征进行匹配，以确定图像中是否存在目标物体；5. 结果输出：将识别结果输出到显示设备或其他外部设备。
三、实现嵌入式Linux系统中的图像识别应用在嵌入式Linux系统中实现图像识别应用，需要考虑以下几个方面：1. 图像采集：选择适合的图像采集设备，如摄像头、传感器等，以获取需要处理的图像数据；2. 环境搭建：根据具体需求选择合适的开发板、处理器和操作系统，并进行环境搭建和配置；3. 图像处理算法的选择和优化：根据具体应用需求选择合适的图像处理算法，并对算法进行优化，以保证在嵌入式平台上能够达到较好的性能；4. 图像解码和显示：通过调用相关的库和驱动实现图像解码和显示功能；5. 模型训练和优化：如果需要使用机器学习算法进行图像识别，还需要进行模型训练和优化，以提高识别的准确性和效率；6. 应用集成和测试：将图像处理算法和图像解码显示功能进行集成，并进行相应的测试和调试。
基于嵌入式ARM的图像采集处理系统设计摘要随着现代制造工业中微细加工技术的不断发展，对微细零件表面形貌测量的要求越来越高，具有较高横向及纵向分辨率的激光并行共焦显微系统可以突破光学衍射的极限要求,对物体表面进行无损检测及三维形貌重构。
为了进一步实现光学系统的便携化、智能化需求，具有体积小、成本低、专用性强等一系列独特优点的嵌入式系统，无疑有着极好的应用前景。
本文主要研制了一种基于ARM的便携式图像采集处理系统。
论文主要以硬件设计和软件设计两大部分完成对系统的论述：硬件设计中，通过分析实际图像采集需求后总结设计的主要性能指标，确定了采集系统的主要控制平台和图像传感芯片，给出了总体的硬件设计方案，并在此基础上完成了SCCB控制模块、图像数据捕获模块、串口调试模块等硬件接口模块的设计；软件设计中，完成了CMOS 的驱动程序、图像数据采集的驱动程序、Bayer图像数据转换算法等软件设计工作，最后论述了静态图像采集系统相关调试、实验工作，结果表明此嵌入式图像采集系统基本达到预期目标，证明了设计的合理性和正确性。
本系统一定程度上提高了低功耗微控制器图像采集的效率，将图像采集系统对硬件的依赖转化为设计人员的软件设计工作，相对于传统PC机+CCD的方案，不仅在体积、成本上具有明显优势，更体现出良好的柔性，便于今后的维护、优化。
关键词：ARM，LPC2478,图像采集，便携式第一章绪论 (3)1.1 课题的研究背景 (3)1.1.1 并行共焦显微系统概述 ............................................... 错误！未定义书签。
1.1.2 嵌入式系统概述 (4)1.1.3 嵌入式图像采集系统概述 (5)1.2 课题研究的目的和意义 .......................................................... 错误！未定义书签。
1.3 课题研究的主要内容及组织结构 (7)第二章系统硬件电路设计 (8)2.1 系统核心器件概述 (8)2.1.1 基于ARM7TDMI的LPC2478开发板 (8)2.1.2 OV7620图像传感器 (11)2.2 图像采集系统硬件总体架构.................................................. 错误！未定义书签。
USB摄像头视频采集与Qt界面显示一．Q t界面制作1．新建Qt工程启动Qt Creator，新建一个Qt Gui应用。
单击File选择New File or Project出现以下界面：选择Qt Gui Application,之后选择好工程与路径名，其他默认，一直到设置Class information（类信息）时，Class name设为Widget, Base name选择QWidget,其他默认。
设置好这些后，其他默认，直到工程设置结束。
如下图所示：2. 修改ui界面打开Widget.ui，进入可视化设计界面。
默认情况中间的主设计区下只有一个Widget的对象。
由于USB摄像头采集到的图像需要显示到一个QLabel的部件上，从右侧的部件列表的“DisplayWidget”中选择“Label”部件拖动到中间；此外，我们需要两个按钮，一个用于启动和终止视频数据的保存，一个用于以后的视频文件的压缩。
从右侧的”Buttons”中两次选择”Push Buttion”部件并拖动到Widget中。
从上图可以看出，对象Widget下已经添加了一个label部件，两个push button部件。
右上角Object与Class的关系是：Object对应的物体是属于Class对应的类，反映了Qt的继承关系。
接下来设置上面四种部件的属性，Widget的属性按照下面图示设置，其中geometry设置为[(0,0),650*550]说明界面左上角的坐标位于原点，大小为650*550；在window name这一项设置的是你的界面的名字，我设置为USB_YUV_Camera。
注：图片未提及的采用默认就行，其他三个部件见图示。
这些部件的objectName要特别注意，因为会在后面编写的程序中用到。
(Widget设置图示) （label设置图示1）（label设置图示2）（Push button 1设置图示）（Push button 1设置图示）（Push button 2设置图示）Push button 2设置图示）最后生成的界面：点击Debug会得到Debug文档，里面有你设置的信息。
嵌入式系统课程设计（报告）题目：基于ARM11的嵌入式视频监控系统设计院系：专业：班级：姓名：学号：指导教师：二〇年月嵌入式系统课程设计（报告）摘要当今世界科学技术飞速发展，越来越多的技术面世，给我们的生产生活带来了巨大的便利，监控摄像头随处可见，成为生活中不可缺少的工具之一。
为了更好地运用高科技带来的便利以及发展最新科技，了解学习是首要任务。
本课题设计选题就是基于当下流行的视频监控技术来完成的，选用的服务器是较为简单的boa服务器辅以基于ARM11架构的S3C6410开发平台，其搭载的操作系统为Linux系统，能够实现我们想要的数据采集与传输的功能。
基于Linux操作使用USB摄像头作为采集终端进行数据的收集，应用程序通过操作设备文件实现对内核驱动的控制，使用C语言编写基于B/S模式下的服务器应用程序，在传输阶段用到了TCP/IP通信协议，最终能够实现对视频数据的一系列操作，从采集、压缩、传递、解压到最后的网页播放等。
基本实现了实时视频监控的需求。
关键词ARM11 嵌入式视频监控Linux操作系统目录第1章绪论 (1)1.1 目的与意义 (1)1.2 发展与趋势 (1)1.3 设计任务 (2)第2章硬件设计 (3)2.1 视屏监控系统的结构设计 (3)2.2 ARM处理器简介 (3)2.3 S3C6410体系结构 (4)2.4定制嵌入式Linux内核 (5)2.5 嵌入式文件系统 (6)第3章软件设计 (9)3.1 Linux操作系统简介 (9)3.2 交叉编译环境的建立 (9)3.3 嵌入式Linux移植 (10)第4章视频采集 (11)4.1 V4L2简介 (11)4.2 采集数据的操作 (11)4.3数据采集函数及解析 (12)第5章视频处理 (14)5.1 格式比较 (14)5.2 JPEG压缩 (14)5.2.1JPEG简介 (14)5.2.2JPEG库简介 (15)第6章系统测试 (17)6.1测试方法 (17)6.2测试结果 (17)结论 (18)参考文献 (19)第1章绪论1.1 目的与意义网络视频监控系统由基于ARM11架构体系嵌入式开发平台和网络客户端组成，实现通过摄像头对图像进行高帧率采集形成的视频数据获取功能，通过硬件开发平台接入以太网网络把视频数据展现到网页上。
基于嵌入式linux的视频图像采集[摘要] 本文主要介绍在linux操作系统、arm xsbase270平台上,利用linux内核中已经植入video4linux函数库的数据结构和api函数,通过ov511摄像头实现视频采集的方案,本方案采用qt designer为开发环境,以效率较高的mmap(内存映射)方式截取视频;可保存单张的图片,也可保存为视频。
[关键词] 视频采集 video4linux 嵌入式linux mmap一、引言随着多媒体和通信技术的发展,越来越多的人希望能够直接通过屏幕,看到所要监控的信息。
如:视频监控、webcam、视频会议和可视电话,摄像机等。
嵌入式系统的发展越来越集成化,功能也越来越强大。
本文论述的是基于嵌入式linux系统的视频采集模块的设计与实现。
由于linux对视频的支持是通过video4linux提供的。
并且red hat9.0内核中已经包含了video4linux软件包,所以利用video4linux编程接口就可以在xscale270平台实现对ov511 usb 摄像头图像数据的采集;使用qt进行界面设计,同时对需要的图像进行保存。
最终通过交叉编译连接,生成在arm平台上运行的程序。
作为大学生创新项目,通过相关的开发与研究,可以熟练地掌握嵌入式系统的开发流程,以及对其中涉及到的相关技术有较为深入的理解。
二、系统内核的定制在linux系统下对摄像头的支持是通过内核中video4linux模块的加载来实现的,而该模块的加载可以是静态加载也可以是动态加载。
1.静态加载这种加载方式使视频支持模块嵌在新生成的内核中;虽然会使内核的尺寸变大,但系统运行可靠。
其基本流程是:(1)运行make menuconfig或make xconfig;(2)选择multimedia device->下的video for linux(选为*号标示;这个选项的目的是加载video4linux模块,为视频采集设备提供了编程接口);(3)在usb support->目录下,选择support for usb和 usb camera ov511 support(同样选为*号标示;这使在内核中加入了对ov511接口芯片的usb数字摄像头的驱动支持);(4)保存配置并退出;(5)make dep;make zimage此时在/tftpboot下就生成了带有ov511驱动的内核。
基于嵌入式平台的USB 摄像头图像采集及显示钱鹰1，陈胜利2（1.重庆邮电大学软件学院，重庆400065；2.重庆邮电大学自动化学院，重庆400065）摘要：基于嵌入式Linux 环境下图像采集及在嵌入式开发板上对图像显示的目的，本文研究了视频采集及显示的一般方法，并将飞凌公司OK6410开发板与嵌入式Linux 操作系统相结合，通过对内核的定制、交叉编译程序及基于Qt/Embedded 设计图像显示GUI ，最终实现了嵌入式Linux 平台下USB 摄像头对图像的采集以及在开发板上的显示，并且在开发板上实现了对显示图像的简单操作。
关键词：ARM ；USB 摄像头；V4L ；嵌入式Linux 中图分类号：TP391.4文献标识码：A文章编号：1674－6236（2013）03-0140-03Image acquisition and display with USB camera based on embedded platformQIAN Ying 1，CHEN Sheng -li 2（1.School of Software ，Chongqing University of Posts and Telecommunications ，Chongqing 400065，China ；2.School of Automation ，Chongqing University of Posts and Telecommunications ，Chongqing 400065，China ）Abstract:For the purpose of image acquisition based on embedded Linux environment and image display in the embedded development board ，this paper studies the general method of video capture and display ，and combined the OK6410development board of Feiling company with embedded Linux operating system.Through customizing kernel ，cross -compiling procedure and designing image display GUI based on Qt/Embedded ，we ultimately achieve image acquisition in the embedded Linux platform and display in the development board by USB camera ，and simple operation in the development board of the displayed image.Key words:ARM ；USB camera ；V4L ；embedded Linux收稿日期：2012-09-29稿件编号：201209217基金项目：教育部留学回国人员科研启动基金项目（教外司留[2009]1590号）；重庆邮电大学自然科学基金项目（A2011-07）作者简介：钱鹰（1968—），男，重庆人，博士，教授。
研究方向：医学图像处理与分析、计算机软件仿真。
随着科技的进步和社会的发展，数字视频图像的采集、存储、处理及传输技术在最近几年得到了广泛的应用，与传统图像处理系统相比，嵌入式图像处理系统具有体积小、成本低、可靠性高等优点，在智能交通、远距离监控、计算机视觉等领域广泛运用。
而嵌入式Linux 系统具有源代码开放、内核稳定、可裁减性、驱动丰富等特点，吸引着众多商业公司和自由软件开发者的目光，成为嵌入式系统领域不可或缺的操作系统之一。
文献[1]详细介绍了嵌入式中的交叉编译环境的搭建及移植技术，但该论文没有说明具体实际的应用。
在文献[2]中介绍了ARM920T 的嵌入式Linux 下利用USB 摄像头采集图像的硬件、软件设计过程，但在设计图片显示的GUI 时只是简单的显示而没有设计对采集图片的操作。
文献[3]分析了V4L2的图像采集驱动和流程，然后在Qt 环境下设计并实现采集终端软件设计，最后在Tiny6410平台上移植嵌入式视频采集终端，受该文献的启发，本文在完成V4L 图像采集驱动及内核的定制之后，直接利用Qt 库设计GUI 显示，并在设计GUI 时考虑了对采集图像的放大、缩小等简单操作，最终在Linux 环境下完成交叉编译，并将交叉编译所得的可执行文件直接运行于OK6410开发板。
1系统架构文中使用的系统架构如图1所示。
该架构采用Samsung公司的处理器S3C6410，该处理器是一款低功耗、高性价比的RSIC 处理器，它基于ARM11内核（ARM1176JZF-S ），资源丰富，执行ARMv6架构的指令，ARMv6指令包含了针对媒体处理的单指令流多数据流（SIMD ）扩展，采用特殊的设计，以改善视频处理性能，拥有强大的内部资源和视频处理能力，可稳定运行在667MHz 主频以上，支持Mobile DDR 和多种NAND Flash 。
开发板硬件模块包括1个100M 网口、无线网卡、高速SD 卡座、CMOS 摄像头接口、JTAG 接口。
在处理器丰富的资源基础上，还进行了相关配置和扩展，平台另外配置了128M 字节Mobile DDR 内存和1G 字节NAND Flash 。
2嵌入式Linux 内核的定制及摄像头驱动的加载由于嵌入式Linux 具有成本低、代码开放、移植性好的特电子设计工程Electronic Design Engineering第21卷Vol.21第3期No.32013年2月Feb.2013－140－图2视频采集程序流程图Fig.2Video acquisition program flow chart点，其用于嵌入式系统的优势和发展潜力是不容置疑的。
在嵌入式系统中，由于硬件资源有限，需要对Linux 内核进行嵌入式化，即通过配置内核、裁剪shell 和嵌入式C 库对系统进行定制，使得整个系统能够存放到容量较小的FLASH 中。
Linux 平台的驱动一般分为字符设备、块设备和网络设备3种类型。
而在Linux 下要使系统所挂接的外部设备正常工作，必须加载相应的驱动程序，Linux 下对于一个硬件的驱动，可以有两种方式：一种是直接加载到系统的内核当中去，另一种是以模块方式进行加载，就是在编译内核的时候，同时生成可重定位的目标文件（.o 文件），动态方式与静态方式相比，测试时要简单的多，不需要下载整个内核，只需通过NFS 加载驱动即可测试，在测试成功后就可以编译进内核[4]，因此本文采用第一种方法。
又由于Video4Linux 是Linux 中关于视频设备的内核驱动，并为针对视频设备的应用程序编程提供一系列接口函数，因此，在Linux 下进行图像的采集首先必须加在Video4Linux 模块和USB 及ZC301设备驱动模块。
在内核源目录下运行make menuconfig ，具体步骤为：1）在配置菜单中选择Multimedia support →Video for Linux ，加载video4linux 模块，为实现图像的采集提供了编程接口；2）在配置菜单中选择USB Support →Support for Host_side USB 及USB announce new devices ，Multimedia support →Video capture adapter →V4L USB Video device →CSPCA based webcams →ZC301USB Camera Driver 使得内核中加入了对采用ZC301接口芯片的USB 数字摄像头的驱动支持[5]。
3基于Video4Linux 的图像采集Video4Linux （简称V4L ）模块提供的主要API 函数有：VIDIOCGCAP 函数以数据结构video_capability 返回视频采集设备的基本信息，包括设备名称、设备类型、信道数、最大及最小像素高度和宽度等；VIDIOCSFBUF 函数使用数据结构video_buffer 设置采集设备的帧缓存参数，包括缓存区大小、同时采集的帧数、偏移量等；VIDIOGWIN 函数使用数据结构video_windows 来设置采集窗口参数，使用参数1调用VIDIOCCAPTURE 开始视频信号采集；VIDIOCSPICT 函数使用数据结构video_picture 来获取和设置采集图像帧的属性，如亮度、色调和对比度等。
基于V4L 的视频采集程序流程图如图2所示[6]。
以下简单介绍程序的编写，给出关键部分的实现代码。
首先，必须声明包含sys/types.h 、linux/videodev.h2个头文件：其次，设备的初始化[7]：int fd=open （“/dev/video ”，ORDWR ）；/*打开设备文件*/struct video_capability grab_capability ；ioctl （fd ，VIDIOCGCAP ，&grab_capability ）；/*获得struct video_capability 中摄像头的信息*/struct video_picture grab_picture ；ioct1（fd ，VIDIOCGPICT ，&grab_picture ）；/*获得图像的信息*/在获得图像信息后，还可根据需要改变这些信息，例如对比度、调色、亮度板等，具体做法是先给video_picture 中相应变量赋新值，再利用VIDIOCSPICT ioct1函数。
其次，使用mmap 方式的双帧图像采集：struct video_mmap grab_buf ；/*设置图像缓冲区信息*/grab_buf.frame=1；/*采集帧数为2帧，交替出现，以完成显示图像的连续性*/grab_buf.height=240；/*图像高度*/grab_buf.width=320；/*图像宽度*/grab_buf.format =VIDEO_PALETTE_RGV24；/*图像的调色板格式，24位真彩色*/unsigned char *data=mmap （0，240*320*3，PROT_READ|PROT_WRITE ，MAP_SHARED ，fd ，0）；/*内存映射*/ioctl （fd ，VIDIOCMCAPTURE ，&grab_buf ）；/*采集图像*/最后，调用ioctl （grab_fd ，VIDIOCSYNC ，&frame ）函数，该函数成功返回则表示采集完毕，采集到的图像数据放到以data 为起始地址，长度为240×320×3的内存区域中，读取该内存中的数据便可得到图像数据。
