基于FPGA的视频图像采集处理系统的设计与实现

基于FPGA的MIPI CSI-2图像采集系统设计赵清壮【摘要】This paper elaborates a design of MIPI CSI-2 high-definition camera interface image acquisition system based on FPGA. Now, MIPI high-definition CCD is used widely, this design uses FPGA to achieve MIPI high-definition CCD collect and provides two outputs of LCD screen and USB, the data transmission is stable and reliable, it make MIPI interface camera applied widely by the other circuit systems, accelerates system development and saves cost.%阐述一种基于FPGA的MIPI CSI-2接口高清摄像头图像采集系统设计，该设计用FPGA实现当前应用广泛的MIPI高清CCD采集，并提供LCD屏、USB两路输出，数据传输稳定可靠，把MIPI接口摄像头应用到更广泛的其他电路系统中，加快系统开发，节省成本。

【期刊名称】《价值工程》【年(卷),期】2015(000)029【总页数】2页(P84-85)【关键词】MIPI;CSI-2;图像采集;FPGA【作者】赵清壮【作者单位】广州飒特红外特股份有限公司，广州510000【正文语种】中文【中图分类】TP302.10 引言CSI（Camera Serial Interface)是由MIPI（Mobile Industry Processor Interface）联盟下Camera工作组制定的接口标准，是MIPI联盟发起的为移动应用处理器制定的开放标准，MIPI联盟由ARM、诺基亚、意法半导体和德州仪器发起成立，作为移动行业领导者的合作组织，MIPI联盟旨在确定并推动移动应用处理器接口的开放性标准。

摘要随着机器视觉的广泛应用，以及工业4.0和“中国制造2025”的提出，在数字图像的采集、传输、处理等领域也提出了越来越高的要求。

传统的基于ISA接口、PCI接口、串行和并行等接口的图像采集卡已经不能满足人们对于高分辨率、实时性的图像采集的需求了。

一种基于FPGA和USB3.0高速接口，进行实时高速图像采集传输的研究越来越成为国内外在高速图像采集研究领域的一个新的热点。

针对高速传输和实时传输这两点要求，通过采用FPGA作为核心控制芯片与USB3.0高速接口协调工作的架构，实现高帧率、高分辨率、实时性的高速图像的采集和传输，并由上位机进行可视化操作和数据的保存。

整体系统采用先硬件后软件的设计方式进行设计，并对系统各模块进行了测试和仿真验证。

通过在FPGA 内部实现滤波和边缘检测等图像预处理操作，验证了FPGA独特的并行数据处理方式在信号及图像处理方面的巨大优势。

在系统硬件设计部分，采用OV5640传感器作为采集前端，选用Altera的Cyclone IV E系列FPGA作为系统控制芯片，由DDR2存储芯片进行数据缓存，采用Cypress公司的USB3.0集成型USB3.0芯片作为数据高速接口，完成了各模块的电路设计和采集卡PCB实物制作。

系统软件设计，主要分为FPGA逻辑程序部分、USB3.0固件程序部分和上位机应用软件部分。

通过在FPGA上搭建“软核”的方式，由Qsys系统完成OV5640的配置和初始化工作。

由GPIF II接口完成FPGA和FX3之间的数据通路。

通过编写状态机完成Slave FIFO的时序控制，在Eclipse中完成USB3.0固件程序的设计和开发。

上位机采用VS2013软件通过MFC方式设计，从而完成整体图像采集数据通路，并在上位机中显示和保存。

整体设计实现预期要求，各模块功能正常，USB3.0传输速度稳定在320MB/s，通过上位机保存至PC机硬盘的图像分辨率大小为1920*1080，与传感器寄存器设置一致，采集卡图像采集帧率为30fps，滤波及边缘检测预处理符合要求，采集系统具有实际应用价值和研究意义。

基于FPGA的高速图像采集系统设计引言在低速的数据采集系统中，往往采用单片机或者DSP进行控制；而对于图像采集这种高速数据采集的场合，这种方案就不能满足需要。

因此这种方案极大浪费了单片机或DSP的端口资源且灵活性差；若改用串口方式收集数据，则一方面降低了数据采集的速度，另一方面极大地耗费CPU的资源。

本系统采用FPGA作为数据采集的主控单元，全部控制逻辑由硬件完成，速度快、成本低、灵活性强。

为了增加缓冲功能，系统在FPGA外扩展了256Mb的RAM，不仅增大了缓冲区容量，而且极大地降低了读写频率，有效地减轻了上位机CPU的负担。

在图像数据接口中，比较常见的是VGA、PCI—Express，而这些接口扩展性差、成本高。

本系统采用高速的USB接口作为与上位机通信的端口，速度快、易安装、灵活性强。

1 系统框图系统框图如图1所示。

FPGA控制单元采用A1tera公司Cyclone II系列的EP2C5F256C6，主要由4个部分组成——主控模块、CMOS传感器接口、RAM 控制器以及EZ—USB接口控制器。

传感器接口负责完成SCCB时序控制，RAM控制器用于实现RAM读写与刷新操作的时序，USB接口模块完成主控模块与EZ—USB之间的数据读写；而主控模块负责对从EZ—USB部分接收过来的上位机命令进行解析，解析完命令后产生相应的信号控制各个对应模块，如CMOS传感器传输的图像格式、RAM的读写方式、突发长度等。

2 OV7620模块设计图像传感器采用OV7620，接口图如图2所示。

该传感器功能强大，提供多种数据格式的输出，自动消除白噪声，白平衡、色彩饱和度、色调控制、窗口大小等均可通过内部的SCCB控制线进行设置。

OV7620属于CMOS彩色图像传感器。

它支持连续和隔行两种扫描方式，VGA与QVGA两种图像格式；最高像素为664×492，帧速率为30fps；数据格式包括YUV、YCrCb、RGB三种。

基于ＦＰＧＡ的ＬＶＤＳ视频图像采集与预处理系统的设计实现作者：黄国鹏刘卫东乔明胜陈兴锋来源：《现代显示》2009年第02期文章编号：1006-6268（2009）02-0032-04摘要：以LED背光源液晶电视为应用背景，在FPGA硬件平台上实现了LVDS视频图像采集和直方图预处理系统的设计。

关键词：现可编程门阵列；低压差分信号；直方图；约束中图分类号：TN911.73文献标识码：ADesign and Implement of FPGA-based LVDS Video Acquisition and Preprocessing SystemHUANG Guo-peng1,LIU Wei-dong1,2,QIAO Ming-sheng2,CHEN Xing-feng1(1.Dept. of Electrical Engineering ,Ocean University of China,Qingdao 266100;2. Hisense Electric Co.,Ltd, Qingdao 266071)Abstract:This paper ,taking LED backlight for LCD TV as application background, has researched to achieve LVDS video acquisition and preprocessing system based on FPGA .Keywords: FPGA;LVDS;histogram;constraints引言FPGA在信号实时处理领域得到越来越广泛的应用。

相比ASIC和DSP,FPGA有更高的吞吐量、位级的可编程能力、开发周期短和风险大大降低等优点。

随着65nm甚至45nm工艺技术的面世，FPGA在逻辑门集成数量和工作的频率上取得了很大的提高。

在大数量数据处理领域，其并行处理数据的优势可以得到充分体现，特别是在在图像帧速率和分辨率要求比较高的场合使用高速大容量FPGA可以得到令人满意的结果。

基于FPGA的实时视频图像采集与显示系统的设计与实现作者：贡镇来源：《现代电子技术》2013年第13期摘要：主要针对目前视频图像处理发展的现状，结合FPGA技术，设计了一个基于FPGA的实时视频图像采集与显示系统。

系统采用FPGA作为主控芯片，搭载专用的编码解码芯片进行图像的采集与显示，主要包括解码芯片的初始化、编码芯片的初始化、FPGA图像采集、PLL设置等几个功能模块。

采用FPGA的标准设计流程及一些常用技巧来对整个系统进行编程。

重点在于利用FPFA开发平台对普通相机输出的图像进行采集与显示，最终能在连接的RCA端口显示屏显示。

关键词： FPGA；视频图像采集；编码芯片；解码芯片中图分类号： TN911⁃34 文献标识码： A 文章编号： 1004⁃373X（2013）13⁃0046⁃03Design and Implementation of real⁃time video image captureand display system based on FPGAGONG Zhen（Anhui University of Science and Technology， Huainan 232000， China）Abstract： Based on the current development status of the video image processing and FPGA technology， a FPGA⁃based real⁃time video image capture and display system is designed in this paper. Equipped with dedicated coding and decoding ship for image capture and display， the system adopts FPGA as the main control chip， which are composed of decoding chip initialization module， the encoding chip initialization module， FPGA image acquisition module and PLL setting module. FPGA⁃standard design flow and some commonly used techniques are taken to program the entire system. The focus is to realize the ordinary camera output image acquisition and display via the FPFA development platform， and ultimately connect the RCA port display screen.Keywords： FPGA； video image capture； coding chip； decoding chip0 引言随着时代的发展，人们在图像处理领域取得了相当多的成果，研究出了很多算法，例如中值滤波、高通滤波等。

基于FPGA的图像处理系统设计与实现图像处理是计算机视觉领域中的重要技术之一，可以对图像进行增强、滤波、分割、识别等操作，广泛应用于医学图像处理、工业检测、安防监控等领域。

而FPGA（Field Programmable Gate Array）可编程门阵列，则是一种自由可编程的数字电路，具有并行处理能力和灵活性。

本文将介绍基于FPGA的图像处理系统的设计与实现。

一、系统设计流程1. 系统需求分析：首先需要明确图像处理系统的具体需求，例如实时性、处理的图像类型、处理的算法等。

根据需求，选择合适的FPGA芯片和外设。

2. 图像采集与预处理：使用图像传感器或摄像头采集图像数据，然后对图像进行预处理，如去噪、增强、颜色空间转换等，从而提高后续处理的准确性和效果。

3. 图像处理算法设计与优化：根据具体的图像处理需求，选择适合的图像处理算法，并对算法进行优化，以提高处理速度和效率。

常用的图像处理算法包括滤波、边缘检测、图像分割等。

4. FPGA硬件设计：基于选定的FPGA芯片，设计硬件电路，包括图像存储、图像处理模块、通信接口等。

通过使用硬件描述语言（如Verilog、VHDL）进行功能模块设计，并进行仿真和验证。

5. 系统集成与编程：将设计好的硬件电路与软件进行集成，包括FPGA程序编写、软件驱动开发、系统调试等。

确保系统的稳定运行和功能实现。

6. 系统测试与优化：对整个系统进行完整的测试和验证，包括功能性测试、性能测试、稳定性测试等。

根据测试结果，对系统进行优化，提高系统的性能和可靠性。

二、关键技术及挑战1. FPGA芯片选择：不同的FPGA芯片具有不同的资源和性能特点，需要根据系统需求选择合适的芯片。

一方面需要考虑芯片的处理能力和资源利用率，以满足图像处理算法的实时性和效果。

另一方面，还需要考虑芯片的功耗和成本，以便在实际应用中具有可行性。

2. 图像处理算法优化：在FPGA上实现图像处理算法需要考虑到算法的计算复杂度和存储开销。

基于T35F324的FPGA开发板图像采集显示系统方案1.前言个人觉得易灵思的TriOn系列比钛金系列FPGA,就目前而言，更适合做图像显示相关应用，以T35和巨60为例，主要原因如下表所示：易灵思如果专注图像细分领域，毕竟大部分客户还是用DDR和MIPI,因此我觉得钛金系列的架构真的脑袋被驴踢了，DDR和MIP1用硬核才是正确的选择！另外，钛金系列FPGA相对推出时间不够，目前IP也不成熟。

以T35为例，DDR硬核IP在EfinityInterface中直接可以调用DDRIP并设定相关参数，但是钛金系列Ti60还没有包含到工具链中，这让拿不到一手资源的FPGAer就很尴尬，虽然可以理解不集成到IDE中，可以更快的迭代前提不成熟的版本。

M1P1TX/RX 接口，山谷0.8mm40P 接口如上图所示，T35F324的FPGA 开发板，我都做了快半年了，一直没有做一个基于视频图像的像样点的DCm0,甚是惭愧。

为了给当下煎熬的大家送点福利，我打算分2步走，如下：DVP 相机+DDR3+1VDS-1CD 实时显示系统 MIPI 相机+DDR3+1VDS-1CD 实时显示系统前者更关注DDR3硬核、1VDSTX,以及进行并口相机的配置与图像采集，完成实时图像采集、缓存、显示系统；后者则借用1）的基础，更关注MIP1相机的开发，进一步把易灵思FPGA 进行图像采集的优势，发挥一下。

当然这过程肯定还是有不少的坑，有些坑只有自己趟过，才有发言权。

底板串口DC3-40用户接口，兼容兼容@01⑥MT拨动开关BMW 0V5生0等模MIP1摄像头Jr兼容树莓派rOV5640 Efint FPQABOa1Q CraZyfpg>iomEfin1tyT3SF324-Cor∙V1.1一«... M2X>S12202305152.FPGA设计详解言归正传，我们开始干正事：基于T35的摄像头采集、存储、显示系统的介绍。