基于CMOS图像传感器的视频采集系统

基于CMOS图像传感器的视频采集
 引言
CCD和CMOS图像传感器作为固体图像传感器领域的竞争对手，两者在性能表现上各有优劣。

相较于CCD图像传感器，CMOS图像传感器功耗低，结构简单，集成度高，体积小，成本低，这就使产品的便携性和可靠性得以极大的提高。

由于CMOS图像传感器的内部结构，使其具有高抗辐照，抗干扰能力强，因此在图像传感，天文观测、小卫星、星敏感器等应用领域表现出极大的应用潜力[1]。

另外基于CMOS图像传感器的加工工艺，可以较容易的制造出大面阵的CMOS体传感器器件，更加扩展了CMOS图像传感器的应用范围。

基于CMOS图像传感器的视频采集系统充分的利用了CMOS图像传感器的优点，采用USB总线供电，即插即用，电路简单，功耗低，成品体积小，成像清晰，稳定，很好的满足了CMOS图像采集系统的图像采集要求。

 
一．CMOS图像传感器的内部结构。

一种基于ＣＭＯＳ传感器的图像采集系统设计作者：杜江林慧贞胡东亮来源：《现代电子技术》2008年第06期摘要：CMOS型传感器比传统的CCD型传感器具有诸多优势，基于CMOS型传感器的图像系统已成为研究和开发的重点。

设计一种以FPGA为核心控制芯片、基于USB接口和ADCS1121 CMOS型单色图像传感器的图像采集系统。

介绍系统的构成及其硬件设计方法，给出USB固件程序、设备驱动程序及用户应用程序的实现方法。

关键词：CMOS图像传感器；图像采集；USB；传输控制中图分类号：TN386 文献标识码：B文章编号：1004-373X(2008)06-186-03Design of Image Acquisition System Based on CMOS Image SensorDU Jiang LIN Huizhen2，HU Dongliang2(1.Zhuhai Sanet Technology Co.Ltd.，Zhuhai，519000，China；2.Naval University of Engineering，Wuhan，430033，China)Abstract：CMOS sensor has many advantages than traditional CCD sensor，the image system based on CMOS has became a hotspot in research and development.A image acquisition system based on USB and ADCS1121 CMOS homochromatic image sensor is designed here.The hardware of system is analyzed in detail，the program of USB interface controller and CMOS sensor driver and application software are described.Realization of USB firmware program，equipment driving program and application program are given.Keywords：CMOS image sensor；image acquisition；USB；transmission control1 引言CMOS型传感器的象素间距急速减小，已接近于CCD型传感器的水平，而在较小的几何结构内可以集成时序和控制电路、缓冲放大器、A/D转换器、信号处理模块等。

基于CMOS图像传感器的视频采集系统设计丁昊杰;刘敬彪;盛庆华【摘要】提出了一种采用Altera公司CycloneⅡ系列的FPGA作为主控芯片,采用OV7670这款CMOS图像传感器作为视频信号源并采用SRAM(静态随机存储器)作为数据缓存的实用方案,实现了对图像传感器寄存器配置、图像传感器输出信号采集、图像数据格式转换、图像数据缓存及最终在VGA显示器上进行图像显示的一系列过程.该视频采集系统设计能够很好地满足实时图像的输出需求.%The configuration of the image sensor's registers, image sensor output signal acquisition, image data format conversion, image data buffer and final image displays on VGA monitor were realized by taking Altera's Cyclone II FPGA as a control chip, OV7670 CMOS image sensor as the video source and SRAM(Static Random Access Memory) as a data cache. The digital video acquisition system is able to satisfy the demand for real-time image output.【期刊名称】《现代电子技术》【年(卷),期】2012(035)014【总页数】5页(P178-181,188)【关键词】视频采集;OV7670;FPGA;SRAM;VGA【作者】丁昊杰;刘敬彪;盛庆华【作者单位】杭州电子科技大学电子信息学院,浙江杭州 310018;杭州电子科技大学电子信息学院,浙江杭州 310018;杭州电子科技大学电子信息学院,浙江杭州310018【正文语种】中文【中图分类】TN919-34CMOS与CCD传感器是目前被普遍采用的2种图像传感器。

专利名称：一种基于CMOS图像传感器的楼宇视频采集监控系统
专利类型：实用新型专利
发明人：黄三妹
申请号：CN202020642327.X
申请日：20200425
公开号：CN211860280U
公开日：
20201103
专利内容由知识产权出版社提供
摘要：本实用新型公开了一种基于CMOS图像传感器的楼宇视频采集监控系统，属于无线网视频监控技术领域，包含远程监控终端、路由器节点，以及多个用于视频采集的视频采集终端，所述视频采集终端通过路由器节点连接远程监控终端，所述视频采集终端包含CMOS图像传感器阵列、多路复用开关、信号处理模块、FPGA模块、HDMI接口芯片控制单元、HDMI接口电路、DDR3‑SDRAM缓存控制单元、数据缓存模块、数据传输模块、时钟模块和电源模块；本实用新型以OminiVision公司的500万像素级别CMOS图像传感器OV5640为前端采集摄像头，利用无线网的远程传输及覆盖，以Xilinx公司Spartan6系列FPGA作为主控芯片，以4 Gbit容量DDR3‑SDRAM作为缓存芯片，实现视频数据的高效缓存；同时以Silion Image公司的SiI9134为HDMI芯片，能有效支持全高清视频。

申请人：黄三妹
地址：510000 广东省广州市天河区东圃大马路66号402房
国籍：CN
更多信息请下载全文后查看。

基于影像传感器MT9M111的视频采集系统
CMOS图像采集系统普遍存在图像质量问题，如果没有对图像进行专门的处理，则图像质量难以保障。

近些年来，随着SoC技术的快速发展，在图像采集和处理领域，出现了SoC影像传感器，它集成CMOS传感器和图形处理器功能，可以得到令人非常满意的图像质量。

本文设计的视频采集系统采用了SoC成像芯片MT9M111和USB2.0接口芯片CY7C68013。

系统结构
本系统的原理框图如图1所示。

当图像传感器开始工作后，先将采集到的数据通过FPGA控制逻辑存储到SRAM1中，一帧图像的采集/存储过程结束后，SRAM1进入写结束状态。

此时切换SRAM，SRAM2继续存储采集到的数据，同时，SRAM1处于可读状态，由FPGA里的控制逻辑控制，将SRAM1中的数据传输到USB芯片，然后传输到主机。

本系统采用双SRAM 结构和乒乓机制，两片存储器交替工作，使图像的采集和传输并行进行。

双帧存结构不仅提高了系统的速度，而且，由于在FPGA里实现各种图像处理的算法大都需要比较大的存储空间，所以两个大容量SRAM在实现算法时可以充当外部缓存。

专利名称：一种基于CMOS图像传感器的视频采集装置专利类型：实用新型专利
发明人：张崇文,陈正全
申请号：CN201220010072.0
申请日：20120110
公开号：CN202435526U
公开日：
20120912
专利内容由知识产权出版社提供
摘要：本实用新型提供了一种基于CMOS图像传感器的视频采集装置，包括：摄像机、视频采集解码芯片、图像存储模块、数字信号处理器DSP、复杂可编程逻辑器件CPLD、光电隔离电路、CAN 总线接口电路、供电模块，其特征在于：摄像机与视频采集解码芯片相连，视频采集解码芯片分别与图像存储模块、CPLD相连，DSP分别与CPLD、光电隔离电路相连，CAN总线接口电路与光电隔离电路相连，CAN总线接口电路与外部数据处理服务器相连，供电模块为本装置内的各器件供电。

本实用新型可采集现场的视频图像，并对图像进行锐化处理、动态识别、压缩处理和传输，并发出告警信号。

申请人：武汉英康铁路电气设备工程有限公司
地址：430074 湖北省武汉市东湖新技术开发区华光大道18号
国籍：CN
代理机构：武汉开元知识产权代理有限公司
代理人：唐正玉
更多信息请下载全文后查看。

基于FPGA的CMOS传感器高速视频采集系统
侯宏录;王蓉;杜鹃
【期刊名称】《光电技术应用》
【年(卷),期】2010(025)005
【摘要】依据图像采集和传输的方式和方法的不同,提出了一种以CMOS数字图像传感器作为相机光电转换器件的数据采集方法.设计了一种利用FPGA作为核心控制芯片、USB为传输接口、CMOSOV5620为图像采集芯片的高速视频采集系统.介绍了系统的总体设计结构,给出了各个模块的具体硬件设计方法和软件流程,得出了可行性结论.
【总页数】5页(P24-28)
【作者】侯宏录;王蓉;杜鹃
【作者单位】西安工业大学光电工程学院,陕西,西安,710032;西安工业大学光电工程学院,陕西,西安,710032;西安工业大学光电工程学院,陕西,西安,710032
【正文语种】中文
【中图分类】TN919.3
【相关文献】
1.基于FPGA和CMOS传感器的三维高清实时视频系统 [J], 叶学松;陆玲;蔡秀军;张宏;李赞;程李成
2.基于CMOS传感器和FPGA的图像采集系统设计 [J], 孔德可; 钟升; 匡乃亮; 赵超
3.基于FPGA的多通道视频采集系统设计实现 [J], 隋旭阳;李妍妍;向学辅;田瑞娟
4.基于FPGA的高清HD-SDI视频采集系统设计与实现 [J], 钱宏文;刘会;付强;王毅
5.基于FPGA的高速视频采集系统的设计 [J], 何雯;董威;苟辉
因版权原因，仅展示原文概要，查看原文内容请购买。

专利名称：一种基于CMOS图像传感器的图像采集、回放系统专利类型：实用新型专利
发明人：郑德春,鲍吉龙,吴都健,徐才
申请号：CN200720192032.1
申请日：20071107
公开号：CN201118765Y
公开日：
20080917
专利内容由知识产权出版社提供
摘要：本实用新型一种基于CMOS图像传感器的图像采集、回放系统，包括相共享连接的CMOS 图像传感器，该CMOS图像传感器输出连接有可编程逻辑器件，可编程逻辑器件内储存有程序化控制的CMOS图像采集片上系统；可编程逻辑器件输出连接有VGA驱动芯片、USB驱动芯片和并口接口；可编程逻辑器件共享连接有总线接口、SDRAM芯片和SRAM芯片；采用CMOS图像传感器与可编程逻辑器件的方法构建的图像采集、回放系统，具有可升级性和可重用性；采用总线桥接模块、总线接口使系统与DSP系统连接；采用VGA协议描述的VGA驱动模块、驱动芯片及接口装置，使系统具有显示功能；采用逐点采样、域值采样算法设计的CMOS图像采集模块，使系统具有逐点、域值采样能力，使系统适应各种不同的采样应用场合。

申请人：宁波工程学院
地址：315010 浙江省宁波市海曙区翠柏路后河巷20号
国籍：CN
代理机构：宁波市天晟知识产权代理有限公司
代理人：张文忠
更多信息请下载全文后查看。

基于CMOS的视频采集及边缘检测系统的研究的开
题报告
一、选题背景和研究意义
随着视频技术的不断发展和普及，视频采集及边缘检测系统在许多领域得到了广泛的应用，例如安防、智能交通等领域。

基于CMOS的视频采集及边缘检测系统具有体积小、功耗低、成本低等优势，因此受到了越来越多的关注和研究。

本课题旨在研究基于CMOS的视频采集及边缘检测系统的设计与实现，旨在开发出一种成本低、性能优异、具有实用性和应用前景的视频采集及边缘检测系统。

二、研究内容和研究方法
1. 系统硬件设计：设计具有高性能和稳定性的CMOS图像传感器，设计高速数字信号采集电路，设计实现边缘检测的数字信号处理电路。

2. 系统软件设计：设计适用于该系统的算法，如基于Sobel算子的边缘检测算法，实现图像的预处理、边缘检测和信息输出等功能。

3. 系统集成与优化：将硬件和软件部分进行集成，进行系统性能测试，对系统进行优化，使其达到设计要求。

三、预期成果和意义
本研究预期实现基于CMOS的视频采集及边缘检测系统，该系统具有以下特点：
1. 硬件部分：具有高性能和稳定性的CMOS图像传感器、高速数字信号采集电路、实现边缘检测的数字信号处理电路等，同时具有体积小、功耗低、成本低等优势。

2. 软件部分：适用于该系统的算法，如基于Sobel算子的边缘检测算法，实现图像的预处理、边缘检测和信息输出等功能。

该系统具有实用性、成本低、性能优异等特点，可以满足安防、智能交
通等领域对视频采集及边缘检测系统的需求，具有广泛的应用前景和推
广价值。

基于CMOS图像传感器的嵌入式图像采集处理系统戴骏贤，李凯，陈琦，胡红，王超（电子科技大学机械电子工程学院，四川成都 610054）摘要：针对在工业环境下传统的图像采集和处理设备体积庞大、昂贵价格和灵活性差等问题，提出和完成了一种基于ARM和Linux的图像采集与处理的软件设计与实现。

在系统中应用了CMOS芯片代替传统的CCD来采集图像数据，利用嵌入式设备做为前端数据处理平台，同时亦可通过传输协议传输数据至PC上进行数据处理，达到了降低工业环境下图像采集和处理设备体积和价格的效果。

关键词：CMOS图像传感器；嵌入式linux；TCP/IP协议；数字图像处理；中图分类号：TP368 文献标识编码：AThe software abou timage's acquisition and processing design and implementation based & ARM and LinuxDai Junxian,Li Kai,Chen Qi，Hu Hong，Wang Chao(School of Mechatronics Engineering,University of Electronic Science and Technology of China,chengdu 610054,China)Abstract:Aimed at the large volume, expensive price and poor flexibility of the image acquisition and processing equipment in the traditional industrial environment , we put forward and completed a processing system driver and application program design based on the embedded Linux image acquisition.In the system,the traditiona CCD is instead by the application in the CMOS chip,and the embedded equipment is used as a front-end data processing platform,and also the transmission data to PC data processing can be realised by transferring the protocol.Final this system reach the goal which reduces the equipment volume and price of the image acquisition and processing in the industrial environment.Keywords:CMOS image sensor; Embedded Linux; TCP/IP protocol, Digital image processing;1.引言随着科技日新月异的发展，人们对图像处理平台的需求逐步由PC机平台转移到嵌入式系统平台上。

视频采集原理
视频采集是一种将现实中的图像和声音转换为数字信号的过程，以便能够通过计算机进行处理、存储和传输。

其基本原理可以概括为以下几个步骤：
1. 光学采集：视频采集设备通常配有一个图像传感器，如
CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体），用于通过光学透镜系统捕捉来自现实世界的光。

传感器将光转换为电信号。

2. 电信号转换：传感器输出的电信号需要经过模拟到数字转换（ADC）的过程，将连续的模拟信号转换为离散的数字信号。

这个过程将电信号的强度、频率等信息转化为数字形式，以便计算机能够对其进行处理。

3. 数据处理：经过ADC转换后，图像和声音的数字信号将被
送入计算机，由主机（如个人电脑）进行处理。

计算机通过分析和处理这些数字信号，可以对图像进行调整、编辑和增强，也可以对声音进行增加、剪辑和混音等。

4. 存储和传输：处理后的数字信号可以被压缩和编码，以减小文件大小和提高传输效率。

压缩和编码后的信号可以被保存到计算机的硬盘或其他存储设备中，并可通过互联网或其他方式进行传输。

通过视频采集，我们可以将真实的视听信息转化为数字信号，使得我们能够在计算机上对其进行处理、编辑和分享。

无论是
进行视频会议、录制电影、制作教育视频还是进行远程监控等应用，视频采集技术都起到了至关重要的作用。

2012届毕业生毕业设计说明书题目: 基于CMOS图像传感器的数据采集方案设计年月日目次1 概述 (1)1.1 选题背景 (1)1.2 研究目的和意义 (1)1.3 CMOS图像传感器国内外研究现状 (2)1.4 主要研究内容 (3)2 方案论证 (3)2.1 CMOS与CCD比较 (3)2.2 CMOS图像传感器工作原理 (5)2.3图像处理芯片选择 (7)2.4 FPGA工作原理 (7)2.5 总线介绍 (8)2.6 系统总体方案设计 (9)3 图像采集系统硬件设计 (11)3.1 图像传感器外围电路设计 (12)3.2 FPGA与图像传感器连接设计 (14)3.3 数据传输电路设计 (15)3.4采集图像缓存电路 (16)3.5 电源电路设计 (16)3.6 系统稳定性设计 (17)4 系统采集方案软件设计 (18)4.1 CMOS图像传感器数据采集流程图 (19)4.2 SCCB总线接口设计 (20)4.3 FPGA程序流程设计 (20)5 总结 (22)参考文献 (24)1 概述1.1 选题背景现代社会人们对于图像的获取的要求越来越高，不仅在日常生活中存在着视频图像的应用，在现代工业生产中图像的采集程度直接影响到整个工业的自动化水平和生产效益。

因此图像传感器获得很好的应用市场和发展机会，在应用中不断得到创新。

因此图像传感器的种类繁多，能适用于不同的场合。

在图像获取与运用中，图像传感器占据着重要的位置，因此越来越多的专家学者致力于图像处理的分析研究，并且取得了非常成功的效果。

在很长一段时间中，由于技术的限制，CCD一直垄断着图像传感器市场，使得成像技术的单一化。

近年来随着CMOS的不断完善，其独特的性能优势逐渐体现出来。

并且在研究领域得到了发展，很多技术得到了攻克。

例如抑制噪声干扰、提高分辨率等方面取得了很大突破，在市场上得到了很迅速的应用，被广泛的应用到各种图像采集系统中。

本科阶段对CMOS的研究无疑会对今后的工作产生巨大的促进作用，但是CMOS图像采集技术一直被国外垄断，国内发展并不成熟。

基于高分辨率CMOS传感器图像采集系统的实现随着CMOS技术的发展，原来CMOS图像传感器比CCD噪声大的特点得到大大改善，并且以其成本低、功耗低、单一工作电压、集成AD转换器、数字形式数据输出、图像大小可编程控制等优点，在摄像头、微型数码照相机、扫描仪、手机、可视电话、视频会议等众多领域应用。

但要将CMOS的图像采集到DSP芯片中的硬件设计成本较高，实现难度较大。

现阶段，比较多的方案是采用带视频控制器的DSP芯片，如TI 6000系列中带有3个VPO接口的TMS320DM642和ADI公司带PPI接口的Blackfin处理器。

很多低价通用的DSP如TI55x系列和67x系列的DSP，与CMOS图像传感器都没有直接接口，需要设计硬件电路。

本文便是针对这种低价通用的DSP，提出的一种低成本的采集方案。

1 系统设计由于大部分DSP都有与SDRAM、Flash、SRAM、FIFO等存储器接口的EMIF接口，而没有直接与CMOS/CCD固体图像传感器接口的控制器。

所以采用CPLD作为图像传感器到FIFO以及FIFO到DSP的一个时序协调控制器。

同时由于图像传感器的像素时钟PI XCLK很高，最高可以达到48MHz,固体图像传感器的图像数据量大，而FIFO的容量有限，一般都是几K、几十K字节，对于高像素的图像来说，FIFO只能充当线缓冲的作用，要作为帧缓冲，除非系统对速度要求很高，否则成本太高。

由于采集到DSP中的图像数据量很大，靠写文件的方式来验证采集的数据非常慢，所以本系统采用GPIO设计了一个SD卡的控制器，通过写BMP文件，对采集的图像进行验证。

系统设计框图如图1所示。

本系统设计的关键在于DSP采用何种方式去读取FIFO中的图像数据。

很多方案中都是启动EDMA读取FIFO中的图像数据，当FIFO半满时中断DSP启动EDMA读取数据，这样对FIFO读时钟的频率要求很高，需要读时钟为写时钟的2倍。

但这种方案存在问题，即FIFO时钟的选择问题。

基于ＣＭＯＳ图像传感器的采摘机器人嵌入式视觉系统李娜娜(洛阳职业技术学院机电工程系ꎬ河南洛阳㊀４７１０００)摘㊀要:为了提高采摘机器人的自动化程度ꎬ实现自主导航和自主采摘作业能力ꎬ将基于ＣＭＯＳ图像传感器的嵌入式视觉系统引入到了采摘机器人的设计过程中ꎬ有效降低了机器人的设计复杂程度ꎬ提高了机器人的设计效率ꎮ采用ＤＳＰ主控芯片构建了嵌入式图像处理系统ꎬ可以处理ＣＭＯＳ相机实时采集的图像ꎬ并采用模块化设计ꎬ构建了包括通讯单元㊁存储单元及视频输入输出接口的硬件系统ꎬ使各模块之间协调工作ꎮ为了验证方案的可行性ꎬ对一款果实采摘机器人进行了改装ꎬ安装了嵌入式视觉系统ꎬ并对其性能进行了测试ꎮ测试结果表明:采用基于ＣＭＯＳ图像传感器嵌入式视觉系统后ꎬ采摘机器人的定位准确率和采摘准率率都较高ꎬ满足了自动化采摘作业需求ꎮ关键词:采摘机器人ꎻ图像传感器ꎻ视觉系统ꎻ嵌入式ꎻＣＭＯＳ相机中图分类号:Ｓ２２５ꎻＴＰ２４２.６２㊀㊀㊀㊀㊀㊀㊀文献标识码:Ａ文章编号:１００３－１８８Ｘ(２０１９)０９－０１８０－０５０㊀引言随着科学技术的快速发展ꎬ农业生产的自动化程度越来越高ꎬ这就需要农业机械装备具有更高的智能化ꎬ而将机器视觉系统应用于农业自动化生产领域是实现农机设备智能㊁高效㊁高精度的重要途径ꎮ机器视觉系统是近年来发展起来的一种新型的模拟人工视觉的技术ꎬ不仅可以对客观事物图像进行采集ꎬ且具有图像的处理和智能识别能力ꎮ嵌入式机器视觉系统集图像采集㊁处理及通信等功能于一体ꎬ具有智能化处理的功能ꎬ且系统可被嵌入到其他设备中ꎬ如果将其应用到采摘机器人系统中ꎬ可以实现采摘机器人的自主导航及采摘果实的自动识别ꎬ从而提高采摘机器人的自动化作业能力ꎮ１㊀机器视觉技术及其在采摘机器人设计中的应用机器视觉技术是一种多学科的交叉技术ꎬ涉及到计算机图像处理及智能模式识别等多种领域ꎬ利用机器视觉可以模拟人工视觉的功能ꎬ在农业采摘作业过程中可以对待采摘果实进行特征信息提取ꎬ进而进行定位和识别ꎮ机器视觉技术不仅仅是简单地进行图像采集ꎬ同时利用嵌入式处理器还具备对图像的处理收稿日期:２０１８－０４－１６基金项目:河南省高等教育教学改革研究项目(２０１７ＳＪＧＬＸ１７６)作者简介:李娜娜(１９７５－)ꎬ女ꎬ河南洛阳人ꎬ副教授ꎬ硕士ꎬ(Ｅ－ｍａｉｌ)ｌｉｎａｎａｓｊｘ＠１６３.ｃｏｍꎮ能力ꎬ可以从客观事物中提取有用信息用于检测㊁测量和控制等ꎮ传统机器视觉系统一般是基于计算机技术的ꎬ其采集的图像需要利用计算机进行处理ꎬ其系统较为复杂ꎬ且成本较高ꎬ效率较低ꎮ而嵌入式视觉系统可以将图像采集㊁图像处理和通信等功能集成于一体ꎬ实现了模块化㊁智能化的嵌入式机器视觉解决方案ꎬ系统具有实时性高㊁可靠性高等特点ꎮ嵌入式视觉系统的基本框架如图１所示ꎮ图１㊀采摘机器人嵌入式机器视觉系统示意图Ｆｉｇ.１㊀Ｔｈｅｓｋｅｔｃｈｄｉａｇｒａｍｏｆｅｍｂｅｄｄｅｄｒｏｂｏｔｖｉｓｉｏｎｓｙｓｔｅｍｆｏｒｐｉｃｋｉｎｇｒｏｂｏｔ嵌入式机器视觉系统的外观体积小ꎬ可以直接安装在采摘机器人的主体结构上ꎬ相对于传统的视觉系统装卸和移动更加方便ꎮ对于硬件系统ꎬ嵌入式视觉系统将图像采集单元㊁图像处理单元和网络通信单元等集成于一体ꎬ为采摘机器人提供较高的工作效率和工作的可靠性ꎮ对于嵌入式系统的软件ꎬ采用直接编程好的成品ꎬ用户基本无需自己编程ꎬ使用起来非常方便ꎬ从而提高了系统集成的效率和速度ꎬ将其使用在采摘机器人设计过程中ꎬ可以大大提高采摘机器人的设计效果ꎮ２　基于ＣＭＯＳ图像传感器的采摘机器人嵌入式系统设计采摘机器人嵌入式系统设计的核心部分是图像采集和处理部分ꎬ利用ＣＭＯＳ图像传感器采集图像后采用嵌入式芯片对图像进行处理ꎬ嵌入式芯片有很多种ꎮ其中ꎬ简单实用的是ＤＳＰ芯片ꎬ如图２所示ꎮ图２㊀ＤＳＰ芯片示意图Ｆｉｇ.２㊀ＴｈｅｓｃｈｅｍａｔｉｃｄｉａｇｒａｍｏｆＤＳＰｃｈｉｐ在采摘机器人采集图像后可以利用ＤＳＰ芯片进行处理ꎬ利用先进的数字信号处理技术可以对采摘果实进行识别ꎬ综合考虑成本和可靠性因素ꎬ本次图像采集采用ＣＭＯＳ真彩相机采集图像ꎬ如图３所示ꎮ图３㊀ＣＭＯＳ相机示意图Ｆｉｇ.３㊀ＴｈｅｓｃｈｅｍａｔｉｃｄｉａｇｒａｍｏｆＣＭＯＳｃａｍｅｒａＣＭＯＳ相机和传感器安装在一起ꎬ构成ＣＭＯＳ图像传感器ꎬ其供电部分由电源模块统一供电ꎮ电源模块是系统正常供电的基础ꎬ可以为整个系统的其他模块提供能源保证ꎬ在设计时要综合考虑噪声㊁能效和干扰等问题ꎮ可靠的电源方案设计是整个系统稳定运行的基础ꎬ为保证多个模块所需的电流和电压容量的不同ꎬ在电源模块中设计了多个稳压电路ꎬ如图４所示ꎮ图４㊀系统稳压电路模块Ｆｉｇ.４㊀Ｔｈｅｓｙｓｔｅｍｖｏｌｔａｇｅｒｅｇｕｌａｔｏｒｍｏｄｕｌｅ采摘机器人嵌入式视觉系统所需的电源主要是舵机㊁控制编码器和ＣＭＯＳ相机传感器ꎮ舵机主要控制采摘机器人的移动和执行末端的动作ꎬ供电为７Ｖ稳压电源ꎻ控制编码器是对采摘末端发出执行动作ꎬ供电为５Ｖ稳压电源ꎻＣＭＯＳ相机完成图像的采集ꎬ其供电为５Ｖ稳压电源ꎮ电源构成的电路主要分为４部分:通信电路㊁控制电路㊁电机驱动电路和数字显示电路ꎮ系统的硬件框图如图５所示ꎮ图５㊀系统硬件框架结构Ｆｉｇ.５㊀Ｔｈｅｓｙｓｔｅｍｈａｒｄｗａｒｅｆｒａｍｅｗｏｒｋ采摘机器人通过ＣＭＯＳ图像采集对待采摘果实进行识别ꎬ并通过预设的轨迹线寻迹进行移动ꎬ当测距模块测算出待采摘果实的距离后ꎬ利用控制器发出控制命令给电机驱动模块ꎬ通过电机的驱动控制采摘机器人执行末端进行动作ꎬ完成采摘任务ꎮ为了保证动作的顺利进行设计了软件系统ꎬ如图６所示ꎮ软件控制系统控制依据是对于采摘果实和预设线的图像识别ꎬ根据预设线完成自主导航寻迹ꎬ利用机器人位置和测距信息确定待采摘果实的具体位置ꎬ将采摘执行末端移动到果实位置ꎻ然后单片机发出控制指令ꎬ使采摘执行末端发出采摘动作ꎬ完成果实采摘ꎮ图６㊀采摘机器人嵌入式系统软件控制流程Ｆｉｇ.６㊀Ｔｈｅｃｏｎｔｒｏｌｐｒｏｃｅｓｓｏｆｅｍｂｅｄｄｅｄｓｙｓｔｅｍｓｏｆｔｗａｒｅｆｏｒｐｉｃｋｉｎｇｒｏｂｏｔ３　采摘机器人嵌入式视觉系统测试为了验证基于ＣＭＯＳ图像传感器的采摘机器人嵌入式系统方案设计的可行性ꎬ对一款较小果实采摘机器人进行了改装ꎬ并安装了ＣＭＯＳ传感器视觉系统ꎬ如图７所示ꎮ图７㊀改装后的采摘机器人Ｆｉｇ.７㊀Ｔｈｅｒｅｓｔｒｕｃｔｕｒｅｄｐｉｃｋｉｎｇｒｏｂｏｔ在采摘机器人进行作业时ꎬ由于待采摘的果实较小ꎬ需要采用图像识别技术对待采摘果实进行识别ꎬ识别过程主要利用软件控制整个流程ꎬ如图８所示ꎮ果实图像的识别过程主要通过软件控制ꎬ在进行定位时通过开关的通断来开启图像采集程序ꎬ将图像进行处理后提取捕捉图像特征ꎬ最后设置主频ＰＷＭ控制电机的运转ꎮ图像特征提取结果测试如图９所示ꎮ对采摘机器人的果实识别过程进行了测试ꎬ测试项目主要是对果实图像的分割捕捉ꎮ由测试结果可以看出:采用基于ＣＭＯＳ图像传感器的视觉系统可以成功地捕捉到待采摘果实图像ꎬ从而验证了视觉系统的可行性ꎮ为了保证采摘能够顺利进行ꎬ对采摘机器人的移动性能进行了测试ꎬ得到了如表１所示的结果ꎮ图８㊀果实图像识别软件流程Ｆｉｇ.８㊀Ｔｈｅｓｏｆｔｗａｒｅｐｒｏｃｅｓｓｏｆｆｒｕｉｔｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎ图９㊀采摘机器人果实识别结果Ｆｉｇ.９㊀Ｔｈｅｆｒｕｉｔｒｅｃｏｇｎｉｔｉｏｎｒｅｓｕｌｔｓｏｆｐｉｃｋｉｎｇｒｏｂｏｔ表１㊀采摘机器人移动任务Ｔａｂｌｅ１㊀Ｔｈｅｍｏｖｉｎｇｔａｓｋｏｆｐｉｃｋｉｎｇｒｏｂｏｔ采摘机器人测试任务完成情况基础移动任务甲乙机器人分别移动一完成第１圈甲乙同时移动完成第１圈乙在超越区超甲完成第１圈乙先到终点完成续表１采摘机器人测试任务完成情况自由移动发挥部分第２圈甲在超越区超乙完成第２圈甲先到终点完成第２㊁４圈甲乙交替移动完成㊀㊀由表１可以看出:采摘机器人能够成功的完成各项移动任务ꎮ同时ꎬ对其成功定位果实和成功采摘的准确率进行了测试ꎬ得到了如表２所示的测试结果ꎮ表２㊀采摘机器人采摘准确性统计Ｔａｂｌｅ２㊀Ｔｈｅｓｔａｔｉｓｔｉｃｓｏｆｐｉｃｋｉｎｇａｃｃｕｒａｃｙｏｆｐｉｃｋｉｎｇｒｏｂｏｔ％㊀测试编号成功定位果实成功采摘１９９.５９５.６２９９.３９６.５３９８.９９５.２４９９.６９８.６５９９.５９７.２６９９.１９８.１㊀㊀对采摘机器人的采摘精度进行了测试ꎬ首先测试的其准确定位的能力ꎮ测试结果表明:其成功定位准确率在９５％以上ꎬ满足定位需求ꎻ然后对其成功采摘率进行了测试ꎬ其准率也在９５％以上ꎬ满足采摘作业需求ꎮ４㊀结论为了提高采摘机器人的自动化作业水平ꎬ将基于ＣＭＯＳ图像传感器的嵌入式视觉系统引入到了采摘机器人的设计过程中ꎬ并使用ＤＳＰ芯片构建了嵌入式图像处理系统ꎬ采用模块化设计构建了采摘机器人的硬件系统和软件系统框架ꎬ从而保证了采摘机器人的果实定位和识别过程的有效性ꎮ为了验证方案的可行性ꎬ将嵌入式视觉系统安装到了采摘机器人上ꎬ并对其性能进行了测试ꎮ首先测试了其图像处理能力ꎬ结果表明:嵌入式视觉系统可以成功地提取果实特征图像ꎮ对其果实定位识别的能力进行了测试ꎬ结果表明:采摘机器人果实的定位识别准确性较高ꎬ满足设计需求ꎮ参考文献:[１]㊀张成涛ꎬ谭彧ꎬ吴刚ꎬ等.基于ＡＲＭ的农业装备共性参数测控系统[Ｊ].农业工程学报ꎬ２０１２ꎬ２８(３):１７７－１８３. [２]㊀田兆锋ꎬ叶舸ꎬ闫楚良.基于存储策略的农业装备可靠性试验数据存取方法[Ｊ].农业工程学报ꎬ２０１１ꎬ３０(１):３０－３４.[３]㊀介战ꎬ罗四倍ꎬ周学建.基于Ｌａｂｖｉｅｗ的联合收割机水稻喂入量遥测试验[Ｊ].农业工程学报ꎬ２００９ꎬ２５(１３):８７－９１.[４]㊀吴海华ꎬ方宪法ꎬ王德成.我国农业装备技术发展趋势及路径选择[Ｊ].农机化研究ꎬ２０１０ꎬ３２(１２):２３２－２３５. [５]㊀陈树人ꎬ张朋举ꎬ尹东富ꎬ等.基于ＬａｂＶＩＥＷ的八爪式机械株间除草装置控制系统[Ｊ].农业工程学报ꎬ２０１０ꎬ２６(Ｓ２):２３４－２３７.[６]㊀刘大川ꎬ汪小澄.基于Ｓ１２单片机的循迹小车视觉系统设计与优化[Ｊ].电子技术应用ꎬ２００８ꎬ３４(９):１０９－１１１. [７]㊀徐瑞亚ꎬ李玲.多路数据采集系统中ＦＩＦＯ的设计[Ｊ].现代电子技术ꎬ２００９ꎬ３３(５):９６－９７.[８]㊀郭海超ꎬ邱跃洪.ＣＭＯＳ图像传感器视频数据采集与控制系统设计[Ｊ].微计算机应用ꎬ２００８ꎬ２９(１０):４８－５２. [９]㊀熊超ꎬ田小芳ꎬ陆起涌.嵌入式机器视觉系统设计[Ｊ].仪器仪表学报ꎬ２００５ꎬ２６(８):３６８－３７０.[１０]㊀关慧贞ꎬ刘赞ꎬ魏永ꎬ等.ＬＰＣ２１０６在足球机器人控制中的应用设计[Ｊ].单片机与嵌入式系统应用ꎬ２００５ꎬ５(１):４７－４９.[１１]㊀李满玲.基于ＮＦＣ的数字化智能门禁系统的设计[Ｊ].鄂州大学学报ꎬ２０１４ꎬ２１(６):１０８－１１０.[１２]㊀常国权ꎬ翟雁.基于蓝牙的智能门锁控制系统设计[Ｊ].电子产品世界ꎬ２０１５(０５):４１－４４.[１３]㊀苗超ꎬ陈科明ꎬ卢建国ꎬ等.可无线充电远程控制的智能门锁[Ｊ].杭州电子科技大学学报ꎬ２０１５ꎬ３５(４):２０－２２. [１４]㊀王文庆ꎬ张涛ꎬ龚娜.基于多传感器融合的自主移动机器人测距系统[Ｊ].计算机测量与控制ꎬ２０１３ꎬ２１(２):３４３－３４５.[１５]㊀韦伟ꎬ周凌翱ꎬ刘青.一种便携式的红外测距系统[Ｊ].电子设计工程ꎬ２０１１ꎬ１９(２１):４０－４２.[１６]㊀刘金帅ꎬ赖惠成ꎬ贾振红.基于ＹＣｂＣｒ颜色空间和Ｆｉｓｈｅｒ判别分析的棉花图像分割研究[Ｊ].作物学报ꎬ２０１１ꎬ３７(７):１２７４－１２７９.[１７]㊀朱群峰ꎬ黄磊.温室移动机器人轨迹控制系统的设计[Ｊ].农机化研究ꎬ２００９ꎬ３１(４):７３－７５.[１８]㊀张卫东.我国温室发展的现状及发展建议[Ｊ].科技信息ꎬ２０１３(１０):４３９.[１９]㊀李明ꎬ李旭ꎬ孙松林ꎬ等.基于全方位视觉传感器的农业机械定位系统[Ｊ].农业工程学报ꎬ２０１０ꎬ２６(２):１７０－１７４.[２０]㊀傅泽田ꎬ祁力钧ꎬ王俊红.精确施药拉术研究进展与对策[Ｊ].农业机械学报ꎬ２００７ꎬ３８(１):１８９－１９２.[２１]㊀郭辉ꎬ韩长杰.精确施药技术的研究与应用现状[Ｊ].农业技术与装备ꎬ２００９(１０):４２－４６.[２２]㊀张卫ꎬ杜尚丰.Ｈｏｕｇｈ变换在农田机械视觉导航中的应用[Ｊ].仪器仪表学报ꎬ２００５ꎬ２６(８):７０６－７０７. [２３]㊀张磊ꎬ王书茂ꎬ陈兵旗ꎬ等.基于机器视觉的麦田边界检测[Ｊ].农业机械学报ꎬ２００７ꎬ３８(２):１１１－１１４. [２４]㊀赵匀ꎬ武传宁ꎬ胡旭东ꎬ等.农业机器人的研究进展及存在的问题[Ｊ].农业工程学报ꎬ２００３ꎬ１９(１):２０－２４. [２５]㊀顾宝兴ꎬ姬长英ꎬ王海青ꎬ等.智能移动水果采摘机器人设计与试验[Ｊ].农业机械学报ꎬ２０１２ꎬ４３(６):１５３－１６０.[２６]㊀李文凤ꎬ彭智勇ꎬ李德毅ꎬ等.不确定性Ｔｏｐ－ｋ查询处理[Ｊ]ꎬ软件学报ꎬ２０１２ꎬ２３(６):１５４２－１５６０.[２７]㊀张晓辉ꎬ李莹ꎬ王华勇ꎬ等.应用特征聚合进行中文文本分类的改进ＫＮＮ算法[Ｊ].东北大学学报ꎬ２００３ꎬ２４(３):２２９－２３３.[２８]㊀王海青ꎬ姬长英ꎬ顾宝兴ꎬ等.基于机器视觉和支持向量机的温室黄瓜识别[Ｊ].农业机械学报ꎬ２０１２ꎬ４３(３):１６３－１６７.ＥｍｂｅｄｄｅｄＶｉｓｉｏｎＳｙｓｔｅｍｏｆＰｉｃｋｉｎｇＲｏｂｏｔＢａｓｅｄｏｎＣＭＯＳＩｍａｇｅＳｅｎｓｏｒＬｉＮａｎａ(ＤｅｐａｒｔｍｅｎｔｏｆＭｅｃｈａｎｉｃａｌａｎｄＥｌｅｃｔｒｉｃａｌＥｎｇｉｎｅｅｒｉｎｇꎬＬｕｏｙａｎｇＶｏｃａｔｉｏｎａｌ＆ＴｅｃｈｎｉｃａｌＣｏｌｌｅｇｅꎬＬｕｏｙａｎｇ４７１００３ꎬＣｈｉ￣ｎａ)Ａｂｓｔｒａｃｔ:Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅａｕｔｏｍａｔｉｏｎｏｆｔｈｅｐｉｃｋｉｎｇｒｏｂｏｔａｎｄｒｅａｌｉｚｅｔｈｅａｂｉｌｉｔｙｏｆａｕｔｏｎｏｍｏｕｓｎａｖｉｇａｔｉｏｎａｎｄｉｎ￣ｄｅｐｅｎｄｅｎｔｐｉｃｋｉｎｇꎬｔｈｅｅｍｂｅｄｄｅｄｖｉｓｕａｌｓｙｓｔｅｍｂａｓｅｄｏｎＣＭＯＳｉｍａｇｅｓｅｎｓｏｒｉｓｉｎｔｒｏｄｕｃｅｄｔｏｔｈｅｄｅｓｉｇｎｐｒｏｃｅｓｓｏｆｔｈｅｐｉｃｋｉｎｇｒｏｂｏｔꎬｗｈｉｃｈｅｆｆｅｃｔｉｖｅｌｙｒｅｄｕｃｅｓｔｈｅｃｏｍｐｌｅｘｉｔｙｏｆｔｈｅｄｅｓｉｇｎｏｆｔｈｅｒｏｂｏｔａｎｄｉｍｐｒｏｖｅｓｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅｒｏｂｏｔ.ＴｈｅｅｍｂｅｄｄｅｄｉｍａｇｅｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍｉｓｂｕｉｌｔｗｉｔｈｔｈｅＤＳＰｍａｉｎｃｏｎｔｒｏｌｃｈｉｐꎬｗｈｉｃｈｃａｎｈａｎｄｌｅｔｈｅｒｅａｌ－ｔｉｍｅｉｍａｇｅｃｏｌｌｅｃｔｅｄｂｙｔｈｅＣＭＯＳｃａｍｅｒａ.Ｔｈｅｈａｒｄｗａｒｅｓｙｓｔｅｍｉｎｃｌｕｄｉｎｇｔｈｅｃｏｍｍｕｎｉｃａｔｉｏｎｕｎｉｔꎬｔｈｅｓｔｏｒａｇｅｕｎｉｔａｎｄｔｈｅｖｉｄｅｏｉｎ￣ｐｕｔａｎｄｏｕｔｐｕｔｉｎｔｅｒｆａｃｅｉｓｃｏｎｓｔｒｕｃｔｅｄｂｙｔｈｅｍｏｄｕｌａｒｄｅｓｉｇｎꎬｓｏａｓｔｏｃｏｏｒｄｉｎａｔｅｔｈｅｗｏｒｋａｍｏｎｇｔｈｅｍｏｄｕｌｅｓ.Ｉｎｏｒｄｅｒｔｏｖｅｒｉｆｙｔｈｅｆｅａｓｉｂｉｌｉｔｙｏｆｔｈｅｓｃｈｅｍｅꎬａｆｒｕｉｔｐｉｃｋｉｎｇｒｏｂｏｔｉｓｍｏｄｉｆｉｅｄꎬｅｍｂｅｄｄｅｄｖｉｓｕａｌｓｙｓｔｅｍｉｓｉｎｓｔａｌｌｅｄꎬａｎｄｉｔｓｐｅｒ￣ｆｏｒｍａｎｃｅｉｓｔｅｓｔｅｄ.ＴｈｅｔｅｓｔｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅａｃｃｕｒａｃｙｒａｔｅａｎｄｒａｔｅｏｆｐｉｃｋｉｎｇａｃｃｕｒａｃｙｏｆｔｈｅｐｉｃｋｉｎｇｒｏｂｏｔａｒｅｈｉｇｈｅｒａｆｔｅｒｕｓｉｎｇｔｈｅｅｍｂｅｄｄｅｄｖｉｓｕａｌｓｙｓｔｅｍｂａｓｅｄｏｎＣＭＯＳｉｍａｇｅｓｅｎｓｏｒꎬａｕｔｏｍａｔｉｃｈａｒｖｅｓｔｉｎｇｎｅｅｄｓ.Ｋｅｙｗｏｒｄｓ:ｐｉｃｋｉｎｇｒｏｂｏｔꎻｉｍａｇｅｓｅｎｓｏｒꎻｖｉｓｉｏｎｓｙｓｔｅｍꎻｅｍｂｅｄｄｅｄｓｙｓｔｅｍꎻＣＭＯＳｃａｍｅｒａ２０１９年９月㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀农机化研究㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第９期。