下载文档原格式
【学习笔记】基于Zynq-7000的宽幅视频处理系统设计与实现2016年电子技术应用第6期作者：韩德强，杨利平，王宗侠摘要：针对安防监控与智慧交通领域无盲区视频摄录的需求，基于Zynq-7000平台优势进行宽幅视频处理软硬件系统的设计。
通过研究基于嵌入式系统的多路视频实时拼接技术，设计并实现了以XC7Z020芯片为核心的视频处理板卡，在双核ARM Cotex-A9硬核处理器端服务程序协同调度下，基于片内FPGA硬件加速能力实现多通道视频实时采集与预处理、投影变换、图像融合，进而形成完整宽幅视频画面，通过远程客户端实现定制化的视频摄录功能。
测试结果表明，该系统是兼具稳定的性能和灵活区域部署能力的便携式解决方案。
0 引言宽幅视频拼接是基于计算机视觉和图形处理技术的整合，其本质就是图像拼接技术，必然与图像传感器技术及图像算法研究密切相关[1]，但其对于实时性的较高要求，使得在该领域的技术实践同样需要关注平台的处理性能。
目前市面上普遍采用的主要有通过单目鱼眼镜头捕获全景图像的嵌入式平台方案，以及多通道图像采集拼接形成全景的通用计算机平台方案。
前者对于镜头工艺要求高且存在较大的畸变，而后者凭借性能优势获得好的效果，但设备体积庞大且价格昂贵[2]。
针对以上情况，本文提出了一种基于AP SoC（All Programmable System on Chip，全可编程的片上系统）多通道视频无缝拼接的宽幅视频处理解决方案。
结合用户场景分析，提出具有扩展能力的宽幅视频处理技术，预置多路扩展接口随时增减摄像头以调整视野宽度，满足多种现场宽视角摄录需求。
1 系统总体构架宽幅视频处理系统由本地视频处理系统端和远程摄录客户端两部分组成，系统总体框图如图1所示。
便携式视频处理系统根据监控需求进行配置与部署，远程客户端进行实时定制视野区域摄录。
本地视频处理系统作为设计的主体部分，由视频采集、图像处理、核心调度、用户交互、本地显示、网络通信六个模块组成。
∗基金项目:四川省教育厅科学研究重点项目(18ZA0088);四川省大学生创新创业训练计划项目(S201910621118)0引言随着生产生活和科学技术的进步,数码摄像设备得到了广泛地普及与应用。
但是由于数码摄像设备自身物理条件的限制,普通数码摄像设备获取视频的视野范围较小,超广角镜头或者鱼眼镜头又会对图像产生畸变[1],不能满足实际的应用需求。
利用单一摄像头捕捉多张视频画面合成宽视野图像的办法不仅费时费力,而且获得的全景图像的质量一般不佳。
视频拼接技术很好地解决了这一问题。
所谓视频拼接就是将几个存在内容相关性的窄视野视频的每一帧图像进行拼接融合处理,得到一幅宽视野的甚至是全景的视频图像。
视频拼接本质上就是图像拼接,但由于其对于实时性的要求很高,使得在该领域的技术实践更需要关注平台的处理性能和算法的复杂性。
目前市面上普遍采用基于ARM 、DSP 、FPGA 的嵌入式平台方案,以及多通道图像采集拼接形成全景的通用计算机平台方案来实现视频拼接。
这些实现方案存在一定的缺陷,基于ARM 的实现方案处理能力较弱,无法进行复杂视频算法;基于DSP 的实现方案处理速度比FPGA慢[2];基于FPGA 的实现方案灵活性较差且成本较高;基于计算机平台的实现方案凭借性能优势获得好的效果,但设备体积庞大、功耗高且价格昂贵[3]。
针对以上问题,本文首先对特征点检测效率表现优异的ORB 算法进行改进,并利用Vivado HLS 工具将改进的视频拼接算法进行硬件加速并部署到Zynq 的PL 中,然后利用Zynq 的PS 搭建嵌入式Linux 系统,进行用户界面开发,实现任务调度,最后提出了一种基于Zynq 平台对多通道视频进行无缝拼接处理的解决方案。
基于Zynq 的视频实时拼接系统∗陈子为,陈龙,朱美吉,苏鲁阳(成都信息工程大学电子工程学院,四川成都610225)摘要:针对目前视频拼接系统实时性不高、拼接效果不理想、成本高等问题,对传统的ORB 算法进行了改进,并采用软硬件协同设计的方法,在Zynq 平台上实现了一款视频实时拼接系统。
基于ZYNQ-7000的视频图像处理系统设计孟繁星【期刊名称】《信息通信》【年(卷),期】2015(000)008【摘要】随着电子技术和计算机技术的飞速发展，视频图像处理技术近年来得到了极大的重视和快速的发展，视频图像的数字化处理在科研、军事、农业、工业和医疗等领域得到广泛的应用，所以视频图像处理系统的设计非常有实用意义。
文章在Zynq-7000的可编程结构上搭建了视频图像采集系统，在双核处理器Cortex-A9部分搭建了用于存储和处理视频图像的实时嵌入式Linux系统，满足了高性能、成本低、功耗小和灵活性强等需求，从而实现对视频图像的采集、处理、存储和传输。
实验结果表明，系统有着易于移植，便于针对特定应用定制，成本大幅度降低等优势，具有较高的工程应用与参考价值。
%With the rapid development of electronic technology and computer technology, video image processing technology has received great attention and rapid development in recent years, digital processing of video image has been widely used in thefieldsof scientific research, military, agricultural, industrial and medical, so the design of video image processing system has great practical significance.In this paper, based on the programmable structure of Zynq-7000 we set up video image acquisition system, on the part of dual-core processorCortex-A9 we build a real-time embedded Linux system for storeingand processing the video images, it meets the needs of high performance, low cost, low power consumption and high flexibility, thus realize theacquisition, processing, storage and transmission to video images. Experimental results show that the system has advantages of easy to transplant, easy to customize for specific applications and significantly reduce the cost, has high engineering applications and reference value.【总页数】3页(P60-61,62)【作者】孟繁星【作者单位】长春理工大学电子信息工程学院，吉林长春130022【正文语种】中文【中图分类】TP391.41【相关文献】1.基于ZYNQ-7000算法平台的行人检测系统设计与实现 [J], 李传志2.基于ZYNQ-7000算法平台的行人检测系统设计与实现 [J], 李传志3.基于ZYNQ-7000的视频图像处理系统设计与实现 [J], 阮远忠;喻金华;肖铁军4.基于Zynq-7000的实时视频图像处理系统框架设计 [J], 张祖昊;王云光5.基于Zynq-7000的实时视频图像处理系统框架设计 [J], 张祖昊;王云光因版权原因，仅展示原文概要，查看原文内容请购买。
基于Zynq-7000的宽幅视频处理系统设计与实现
韩德强;杨利平;王宗侠
【期刊名称】《电子技术应用》
【年(卷),期】2016(42)6
【摘要】针对安防监控与智慧交通领域无盲区视频摄录的需求,基于Zynq-7000平台优势进行宽幅视频处理软硬件系统的设计.通过研究基于嵌入式系统的多路视频实时拼接技术,设计并实现了以XC7Z020芯片为核心的视频处理板卡,在双核ARM Cotex-A9硬核处理器端服务程序协同调度下,基于片内FPGA硬件加速能力实现多通道视频实时采集与预处理、投影变换、图像融合,进而形成完整宽幅视频画面,通过远程客户端实现定制化的视频摄录功能.测试结果表明,该系统是兼具稳定的性能和灵活区域部署能力的便携式解决方案.
【总页数】5页(P59-62,66)
【作者】韩德强;杨利平;王宗侠
【作者单位】北京工业大学计算机学院,北京100124;北京工业大学计算机学院,北京100124;北京工业大学计算机学院,北京100124
【正文语种】中文
【中图分类】TP368;TN911.73
【相关文献】
1.基于Zynq-7000的视频处理系统框架设计 [J], 李朗;张索非;杨浩
2.基于ZYNQ-7000算法平台的行人检测系统设计与实现 [J], 李传志
3.基于ZYNQ-7000算法平台的行人检测系统设计与实现 [J], 李传志
4.基于Zynq-7000的嵌入式数字图像处理系统设计与实现 [J], 陈利方
5.基于ZYNQ-7000的视频图像处理系统设计与实现 [J], 阮远忠;喻金华;肖铁军因版权原因，仅展示原文概要，查看原文内容请购买。
0 引言人类视觉基础是图像信息，随着嵌入式及集成电路技术的飞速发展，视觉图像处理在日常生活与科研领域均得到广泛应用，图像处理技术的快速发展已使其成为图像信息传递的重要手段[1]且在相关领域取得显著成果[2-3]。
边缘是一帧图像中信息最为丰富的区域，如何对采集到的视频图像进行准确、高效的边缘提取成为图像处理领域的一个热点问题。
相较于利用软件实现边缘检测算法，硬件电基于ZYNQ的实时视频边缘检测 系统设计Design of real-time video edge detection system based on ZYNQ苏 恒1，2 关烨锋2 和河向1，31. 佛山科学技术学院物理与光电工程学院，广东 佛山 5280002. 广东顺德工业设计研究院（广东顺德创新设计研究院），广东 佛山 5114473. 佛山科学技术学院物理与光电工程学院粤港澳智能微纳光电技术联合实验室，广东 佛山 528000摘要：随着微型物体的机器视觉检测技术在市场上逐渐普及，传统现场可编程逻辑门阵列（field programmable gate array，FPGA）在实现图像算法时面临处理速度慢和资源消耗高等挑战。
为了克服这些问题，设计了一款基于ZYNQ 平台的实时视频边缘检测系统。
该系统能够对500万像素摄像头捕获的图像数据进行边缘提取，通过高清多媒体接口（high definition multimedia interface，HDMI）显示屏实时显示处理结果。
本系统在确保实时性的前提下，有效降低了资源消耗。
这一新的系统架构为需要实时视频反馈的应用场景提供了一种高效的解决方案。
关键词：ZYNQ 芯片；实时视频；边缘检测；现场可编程逻辑门阵列中图分类号：TP23；TP391.41 文献标识码：A路有着处理速度快、实时性高等优点。
本研究的实验平台以可扩展处理平台ZYNQ 作为主要的开发环境[4]，该平台结合了现场可编程逻辑门阵列（field programmable gate array ，FPGA ）和一个双核ARM Cortex-A9处理器[5-6]。
第36卷第1期 2021年2月成都信息工程大学学报JOURNAL OF CHENGDU UNIVERSITY OF INFORMATION TECHNOLOGYVol. 36 No. 1Feb. 2021文章编号：2096-1618(2021 )01~0062~06基于ZYNQ的视频处理平台框架设计万垚1，周咏2(1.成都信息工程大学通信工程学院，四川成都6丨0225;2.成都工业学院电子工程学院，四川成都611730)摘要:随着机器视觉的发展，针对目前的嵌入式设备对视频数据采集速度慢、分辨率低以及实时性不高的问 题，提出一种基于Xilinx ZYNQ芯片的实时视频采集系统，该芯片采用ARM+FPGA的异构设计，利用该特性搭建软 硬件协同设计的视频处理平台。
FPGA端实现图像的预处理，A RM端实现对外设的配置，图像传输则利用A X I总线通过H P端口将数据高速存储到D D R中，最后利用HDMI端口对视频进行显示。
通过利用F P G A的并行性和芯 片中的高性能总线在保证系统低功耗的同时相比于一般的嵌人式设备具有更快的处理速度和更大的带宽以及实 时性。
为分布式部署监控系统以及实现更复杂的图像处理算法提供可靠稳定的平台。
关键词：通信集成电路;嵌入式系统；SPI;IM X222;ZYN Q;A XI总线；FIFO中图分类号:TP391.41 文献标志码：Adoi ：10. 16836/j. cnki. jcuit. 2021.01.0100引言近来无人机频繁闯祸，多次发生无人机干扰民航 客机正常飞行的事件，严重影响了处于低空状态的民 航客机的飞行安全。
现有的应对措施对于有效遏制无 人机闯人尤其是恶意闯人限制区域存在功耗高、效率 低、实时性差等缺点。
鉴于此，提出一种基于Xilinx Z Y N Q芯片的实时视频采集系统，该芯片采用A R M+ F P G A的异构平台，将两者集成在一款芯片中。
在满 足低功耗的同时相比传统的嵌人式设备对视频流采集 的实时性更高。
基于ZYNQ芯片的实时视频处理系统设计作者：陈冠成吴贵燕来源：《现代电子技术》2019年第06期关键词： ZYNQ芯片; 视频处理; 实时性; ARM处理器; FPGA; Vivado HLS中图分类号： TN948.4⁃34; TP391.4 ; ; ; ; ; ; 文献标识码： A ; ; ; ; ; ; ; ; ; ;文章编号：1004⁃373X（2019）06⁃0076⁃03Abstract： The ARM+FPGA architecture of the Xilinx Zynq platform is studied， and a hardware and software co⁃processing real⁃time video processing system based on the ZYNQ chip is proposed in this paper. In the system， the ARM processor is used for the graphical interface program development， so as to realize task scheduling. The image processing algorithm is developed by using the Vivado HLS tool， which is integrated into the FPGA IP core to achieve the hardware acceleration processing. The data interaction in the DDR cache is realized by using the Xilinx Vdma IP. The test results show that the hardware and software co?processing system based on theARM+FPGA can significantly improve the video processing speed， which satisfies the real⁃time requirement.Keywords： ZYNQ chip; video processing; real⁃time performance; ARM processor; FPGA; Vivado HLS随着计算机视觉技术和电子技术的飞速发展，图像视频处理技术得到了迅速发展和广泛应用，越来越多的计算机视觉应用可以在嵌入式系统上得以实现。
传统的嵌入式ARM视频处理平台存在计算能力有限、响应速度慢等问题[1];FPGA凭借并行结构获得速度上的优势，且功耗较低，但其使用硬件描述语言开发复杂图像处理算法难度较大[2⁃3]。
针对以上问题，本文采用Zynq⁃7000系列的ARM+FPGA可编程片上系统，运用软硬件协同设计的方法搭建了图像视频采集与处理系统。
在ZYNQ芯片内，PS的互联由多个开关组成，通过使用AXI点对点通道连接系统资源，用于在主设备和从设备之间实现通信地址、数据和响应交易。
在ARM CPU和PL主设备控制器之间，该互联结构的三种PS⁃PL接口（AXI_GP，AXI_HP，AXI_ACP）提供了低延迟、高吞吐量和缓存一致性的数据路径[4]。
根据ZYNQ内部互联结构设计视频处理系统的FPGA硬件框图如图1所示。
FPGA硬件框图可以分为视频捕获、处理和显示三个部分。
1）视频通过位于PS侧的USB摄像头进行捕获，由于Linux内核带有V4L2（Video for Linux）库，而OpenCV在其基础上封装了VideoCapture类，因此可以方便地操作摄像头捕获视频流。
2）摄像头获得视频流后存入DDR3缓存，并通过AXI_HP高速数据通道送入VDMA的MM2S端口，转换为AXI4⁃Stream数据后进入PL端的HLS视频处理IP进行处理。
处理完成后再通过AXI_HP高速数据通道从VDMA的S2MM端口读出，重新转换为内存数据存入DDR3缓存。
3）视频显示模块以及为显示模块提供标准时序数据的VDMA均由Linux系统控制，负责图形界面的输出显示。
2.1 ;嵌入式Linux系统搭建为了在ARM处理器上进行图形界面程序开发，需要进行嵌入式Linux系统的移植。
首先在宿主机上安装Xilinx SDK软件开发套件搭建起交叉编译环境，借助其中的交叉编译链arm⁃xilinx⁃linux⁃gnueabi⁃gcc分别对裁剪后的U⁃Boot，Kernel（Linux内核）源码进行交叉编译，生成二进制可执行文件[5]。
其次，使用Vivado设计套件进行可配置硬件电路开发。
基于Xilinx IP核可以方便进行嵌入式Linux硬件系统的构建，其中主要包括ZYNQ7 IP，VDMA IP，AXI Display Controller IP等。
在硬件电路设计通过验证后即可生成用于PL初始化的比特流文件。
最后，使用SDK工具制作系统启动文件BOOT.bin。
2.2 ;VDMA驱动设计Linux操作系统的内存空间分为内核空间和用户空间两个部分。
前者运行操作系统的核心软件，拥有访问硬件设备的所有权限;后者运行普通应用程序，不能直接访问内核空间和硬件设备。
在基于ZYNQ的嵌入式操作系统下，应用程序是不能够直接访问FPGA中的硬件逻辑资源的。
因而应用程序需要通过使用内核的应用程序编程接口或系统调用间接与FPGA硬件逻辑进行交互[6]。
使用HLS[7]技术综合而成的硬件加速IP属于硬件逻辑资源，因此需要设计VDMA驱动程序，使应用程序方便控制HLS硬件逻辑资源。
AXI VDMA结构框图如图2所示。
通过图2可知，VDMA驱动程序实质上是通过AXI4⁃Lite接口向VDMA IP中不同功能的寄存器进行赋值实现[8]。
2.3 ;应用软件设计通过移植Qt（图形界面库）及OpenCV[9]（计算机视觉库），搭建视频采集与显示界面如图3所示。
视频流数据的处理流程图如图4所示。
由流程图可知，视频图像采集后，先进行软件的预处理，接着通过VDMA的MM2S数据通道传输至HLS硬件加速IP进行处理，最后通过VDMA的S2MM数据通道返回用户空间进行下一步处理。
为了对搭建的视频处理系统进行功能及性能测试，对采集到的视频图像进行边缘检测，分别以软件和软硬件结合的方式予以实现。
边缘检测是图像处理中的基本问题，可以大幅度地减少数据量，保留图像重要的结构属性。
这里实现的是Sobel[10]边缘检测算法，效果对比如图5所示。
针对分辨率为640×480的视频数据进行处理，获得处理速度如表1所示。
由表中结果可以看出，采用软硬件结合设计方法实现的图像处理算法效果不变，但是处理速度上有了很大提升。
在本次图像边缘检测实验中，软硬件协同处理与纯软件处理相比速度提高了10.98倍。
针对嵌入式视觉系统开发中ARM与FPGA传统开发方案的缺点，本文提出基于ZYNQ芯片的实时视频处理系统，不仅为视频的采集、处理与显示提供完整的实现方案，而且应用软硬件协同设计方法，充分发挥ARM+FPGA体系结构对于实现复杂图像处理算法的优势，为进一步开发复杂功能的嵌入式视觉系统奠定了基础。
参考文献[1] 邓健峰，谢云.基于FPGA+ARM的视频采集平台设计与实现[J].工业控制计算机，2017，30（12）：97⁃98.DENG Jianfeng， XIE Yun. Design and implementation of video capture system based on FPGA+ARM [J]. Industrial control computer， 2017， 30（12）： 97⁃98.[2] 杨晓安，罗杰，苏豪，等.基于Zynq⁃7000高速图像采集与实时处理系统[J].电子科技，2014，27（7）：151⁃154.YANG Xiao’an， LUO Jie， SU Hao， et al. High⁃speed image acquisition and real⁃time processing system based on Zynq⁃7000 [J]. Electronic science and technology， 2014， 27（7）：151⁃154.[3] 李朗，张索非，杨浩.基于Zynq⁃7000的视频处理系统框架设计[J].计算机技术与发展，2017，27（5）：192⁃195.LI Lang， ZHANG Suofei， YANG Hao. Design of video processing system framework with Zynq⁃7000 [J]. Computer technology and development， 2017， 27（5）： 192⁃195.[4] 何宾，张艳辉.Xilinx Zynq⁃7000嵌入式系统设计与实现[M].北京：电子工业出版社，2016.HE Bin， ZHANG Yanhui. Design and implementation of Xilinx Zynq⁃7000 embedded system [M]. Beijing： Publishing House of Electronics Industry， 2016.[5] 陸佳华，潘祖龙，彭竞宇.嵌入式系统软硬件协同设计实战指南[M].北京：机械工业出版社，2016.LU Jiahua， PAN Zulong， PENG Jingyu. Practical guide for hardware and software collaborative design of embedded systems [M]. Beijing： China Machine Press， 2016.[6] 梁新宇.基于ZYNQ的行人检测系统软硬件协同实现[D].大连：大连海事大学，2016.LIANG Xinyu. Implementation with software and hardware of pedestrian detection system based on ZYNQ [D]. Dalian： Dalian Maritime University， 2016.[7] Xilinx Inc. Vivado design suite tutorial： high?level synthesis [EB/OL]. [2017⁃12⁃20]. http：///support/documentation/sw_manuals/xilinx2017_4/ug871⁃vivado⁃high⁃level⁃sy nthesis⁃tutorial.pdf.[8] Xilinx Inc. AXI video direct memory access v6.3： LogiCORE IP product guide [EB/OL]. [2017⁃10⁃04]. http：///support/documentation/ip_documentation/axi_vdma/v6_3/pg020_axi_vdma.pdf.[9] 毛星云，冷雪飞.OpenCV3编程入门[M].北京：电子工业出版社，2015.MAO Xingyun， LENG Xuefei. Getting started with OpenCV3 programming [M]. Beijing：Publishing House of Electronics Industry， 2015.[10] 沈德海，侯建，鄂旭，等.基于Sobel的多方向算子模板边缘检测算法[J].现代电子技术，2015，38（4）：91⁃93.SHEN Dehai， HOU Jian， E Xu， et al. Sobel⁃based edge detection algorithm formulti⁃direction template [J]. Modern electronics technique， 2015， 38（4）： 91⁃93.。
