基于FPGA的立体视频转换系统

Ｅｍｂｅｄｄｅｄ　Ｔｅｃｈｎｏｌｏｇｙ　

基于ＦＰＧＡ的立体视频转换系统　

张金龙　，王元庆　，张兆扬　

（１．南京大学电子科学与工程学院，江苏南京２１００９３；　

２．上海大学通信与信息工程学院，上海２０００７２）　

摘要：给出了以ＦＰＧＡ为核心、针对自由立体显示器的立体视频格式转换系统的设计与实现方　

法。详细介绍了系统的硬件构成和ＦＰＧＡ逻辑设计，包括ＤＶＩ控制、视频格式转换以及数据缓冲系　

统等。　

关键词：自由立体显示；ＦＰＧＡ；ＤＶＩ；左右格式；ＳＤＲＡＭ　

中图分类号：ＴＮ８７３　文献标识码：Ａ　文章编号：０２５８－７９９８（２０１０）０９－００３９－０４　

Ｖｉｄｅｏ　ｃｏｎｖｅｒｓｉｏｎ　ｓｙｓｔｅｍ　ｂａｓｅｄ　ｏｎ　ＦＰＧＡ　ｆｏｒ　３Ｄ　ｄｉｓｐｌａｙ　

ＺＨＡＮＧ　Ｊｉｎ　Ｌｏｎｇ‘，ＷＡＮＧ　Ｙｕａｎ　Ｑｉｎｇ’，ＺＨＡＮＧ　Ｚｈａｏ　Ｙａｎｇ２　

（１．Ｓｃｈｏｏｌ　ｏｆ　Ｅｌｅｃｔｒｏｎｉｃ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｎａｎｊｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ　２１００９３，Ｃｈｉｎａ；　２．Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｕｉｎｉｃａｔｉｏｎ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｈａｎｇｈａｉ　Ｕｎｉｖｅｍｉｔｙ，Ｓｈａｎｇｈａｉ　２０００７２，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｔｈｉｓ　ｐａｐｅｒ　ｉｎｔｒｏｄｕｃｅｓ　ｔｈｅ　ｄｅｓｉｇｎ　ａｎｄ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　ｔｈｅ　ｖｉｄｅｏ　ｃｏｎｖｅｒｓｉｏｎ　ｓｙｓｔｅｍ　ｆｏｒ　ａｕｔｏ—ｓｔｅｒｅｏｓｃｏｐｉｃ　ｄｉｓｐｌａｙ．　Ｄｅｔａｉｌｓ　ｏｆ　ｔｈｅ　ｓｙｓｔｅｍ　ｈａｒｄｗａｒｅ　ａｎｄ　ＦＰＧＡ　ｌｏｇｉｃ　ｄｅｓｉｇｎ，ｉｎｃｌｕｄｉｎｇ　ｔｈｅ　ｃｏｎｔｒｏｌ　ｏｆ　ＤＶＩ，ｃｏｎｖｅｒｓｉｏｎ　ｏｆ　ｖｉｄｅｏ　ｆｏｒｍａｔ　ａｎｄ　ｄａｔａ　ｂｕｆｆｅｒｉｎｇ　

ａｒｅ　ｉｎｔｍｄｕｃｅｄ．　Ｋｅｙ　ｗｏｒｄｓ：ａｕｔｏ－ｓｔｅｒｅｏｓｃｏｐｉｃ；ＦＰＧＡ；ＤＶＩ；ｓｉｄｅ－ｂｙ－ｓｉｄｅ　ｆｏｒｍａｔ；ＳＤＲＡＭ　

自由立体显示器是一种无需佩戴辅助装置就能观　

看三维立体效果的显示器。由于立体显示器能够真实还　

原三维信息，因此在军事、商业、医疗等领域有着广阔的　

发展前景Ｉｌ１。　

随着立体显示器研究的不断发展，自由立体显示技　

术日趋成熟，不断涌现出各种新型的立体显示技术　。　

其中基于视差的立体图像显示技术以实现方便和技术　

成熟的优点被广泛应用【２】。传统的立体图像源通常不能　

直接用于新型立体显示器显示，为立体显示器提供合适　

的图像源成为立体显示研究的一个重要环节。本文介绍　

一种基于视差原理的立体显示器的视频转换系统，它能　够将已有的立体视频格式转换成所需的视频格式。　

基于视差的立体显示器需要在屏幕上同时显示一　

对立体图像，因此显示器所需的图像格式也不同于平面　

显示器。本文将以输入左右格式（Ｓｉｄｅ—ｂｙ—Ｓｉｄｅ）的视频　

信号为例，详细描述该信号格式转换为一种液晶立体显　示器格式的设计与实现。该系统以ＦＰＧＡ为核心，采用　

全数字的数字视频口ＤＶＩ（Ｄｉｇｉｔａｌ　Ｖｉｓｕａｌ　Ｉｎｔｅｒｆａｃｅ）作为　

液晶显示器的视频接口，并且使用一片ＤＤＲ　ＳＤＲＡＭ构　建了高速的帧缓存系统，保证了数据的实时处理。系统　

可以工作在２Ｄ和３Ｄ模式下，实现显示器的平面，立体　

兼容，在１　２８０ｘ１　０２４＠６０　Ｈｚ的１９寸立体显示器上工作　

稳定，满足系统要求，通用性很好。　１系统设计　

１．１目标视频格式　目前存在大量左右格式的立体图像和视频。所谓的　

左右格式，就是在一幅完整的图像上，将一对立体图像　

平行放置在图像的左半边和右半边，如图１（ａ）所示。观　

看者左眼只看到左边的图像，右眼只看到右边的图像时　

就能看到立体图像。一种基于液晶和视差原理的自由立　

体显示器，将左右图像分别放在亚像素列的偶数列和奇　

数列。以屏幕分辨率为１　２８０￣１　０２４为例，原图第０—６３９　

・基金项目：国家自然科学基金重点项目资助（Ｎｏ．６０８３２００３）；　新型显示技术及应用集成教育部重点实验室（上海大学）资助（Ｉ＂２００９０２）　

《电子技术应用》２０１０年第３６卷第９期　

３９　Ｅｍｂｅｄｄｅｄ　Ｔｅｃｈｎｏｌｏｇｙ　

（ａ）左右格式图像　

像素０　像素１　像素２　像素３　

Ｌ　Ｒ　Ｌ　Ｒ　Ｌ　Ｒ　Ｌ　Ｒ　Ｌ　Ｒ　Ｌ　Ｒ　

；　（ｂ）立体显示器图像格式示意图　

图１立体格式转换示意图　

列为左图，６４０～１　２７９为右图，则第Ｏ列和第　

６４０列像素组成变换后图像的第０列和第１　

列；第１列和第６４１列组合为第２第３列　

……依次类推。组合的方式为交换对应像素　

的绿色分量。合成后的效果如图１（ｂ）所示，　

左右图像的亚像素在水平方向间隔排列。　１．２硬件系统设计　

系统的硬件框图如图２所示。该系统采　

用ＤＶＩ作为视频输人输出接口。ＤＶＩ作为一　

种全数字的接口标准，已经成为液晶显示器　

必备的一种接口。与ＶＧＡ相比，它的优点在　左图　

｛　ｌ右图　较为丰富的资源，并且成本较低。为了满足视频数据存　

储的需要，该系统还配备了一组位宽为３２　ｂｉｔ、容量为　

６４　ＭＢ的ＤＤＲ　ＳＤＲＡＭ存储芯片。当系统工作在２Ｄ模　

式时，ＦＰＧＡ采集由ＤＶＩ输入的视频数据，经ＳＤＲＡＭ缓　存后发送给ＤＶＩ输出芯片；当系统工作在３Ｄ模式时，　

ＦＰＧＡ先对读人的数据实时进行格式转换后再写入　

ＳＤＲＡＭ，然后从ＳＤＲＡＭ读出转换好的数据发送给ＤＶＩ　输出芯片，立体显示器接收到的即是对应的立体格式的　

数据。该设计利用ＤＶＩ输人输出时序上的特点，分时利　

用一组ＳＤＲＡＭ实现了类似“乒乓操作”的帧缓存功能，　

充分利用了系统资源。　

２　ＦＰＧＡ逻辑设计　

系统设计的主要任务是完成ＦＰＧＡ对各个模块的控　

制，包括ＤＶＩ数据的输入输出、ＳＤＲＡＭ的读写控制、数　

据的缓存以及各模块之间的协调等。其中，数据的缓存　

是整个系统设计的关键。ＦＰＧＡ内部的模块划分如图３　

所示，虚线左边的模块采用视频的像素时钟作为工作时　

钟，频率取决于分辨率；右边的模块采用系统自身生成　的时钟作为工作时钟，频率最高为１６６　ＭＨｚ。　

地　Ｉ　

于采用数字信号传输，没有Ａ／Ｄ、Ｄ／Ａ二次转换带来的　

信号损失。其中输入输出分别采用ＴＩ公司的ＴＦＰ４０１和　

ＴＦＰ４１０芯片，该芯片支持最高１６５　ＭＨｚ的像素时钟，即　

对应１　６００×１　２００＠６０　Ｈｚ的分辨率。ＦＰＧＡ芯片采用　

Ｘｉｌｉｎｘ公司的Ｓｐａｒｔａｎ３Ｅ系列的ＸＣ３Ｓ１６００Ｅ，该芯片具有　

图２系统硬件框图　

４０　欢迎网上投稿ＷＷＷ．ｃｈｉｎａａｅｔ．ｃｏｍ　ＲＧＢ　数据　ＳＤＲＡＭ　主控制　模块　

ＲＧＢ数据　

图３　ＦＰＧＡ内部模块划分及信号　

２．１　ＤＶＩ输入输出　

ＤＶＩ输人输出控制，一方面根据同步信号采集视频　

数据；另一方面要根据输入信号生成输出信号，包括行　

同步（ＨＳＹＮＣ）、场同步（ＶＳＹＮＣ）、数据有效信号（ＤＥ）等。　以输入视频信号１　２８０×１　０２４＠６０Ｈｚ为例，根据ＶＥＳＡ　

ｒ　Ｖｉｄｅｏ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｓｔａｎｄａｒｄｓ　Ａｓｓｏｃｉａｔｉｏｎ）标准，此时像素　

时钟　＝１０８　ＭＨｚ，每一行信号期间，当ＤＥ信号为高电　

平时，数据有效。于是可以在检测到ＤＥ信号的上升沿　

后开始采集数据，而在ＤＥ转为低电平后停止数据的　

采集。采集的数据写入ＳＲＡＭ，ＳＲＡＭ地址由同步信号　

解码产生。　

为了精确生成输出ＤＶＩ的同步信号，需要在采集　

ＤＶＩ输入数据的同时统计输入信号各个特征脉冲维持　

的时钟数。图４所示为以行为单位统计场同步信号的参　

数。输出端在根据统计参数生成ＤＶＩ同步信号的同时，　

《电子技术应用》２０１０年第３６卷第９期　Ｅｍｂｅｄｄｅｄ　Ｔｅｃｈｎｏｌｏｇｙ　

ＶＳＹＮＣ　

ＨＳＹＮＣ　ｒ］几『＿１　ｎ　…－－ｎ几几ｎ『－１　

ＤＥ　丁　…』　

图４同步数据及参数统计示意图　

当输出信号的ＤＥ为高电平时，从输出ＳＲＡＭ读取相应　

的数据送到数据总线。　

２．２数据缓冲　

数据缓冲是整个设计的关键。数据的存储缓冲是信　

号处理中通常会遇到的问题。视频信号的缓冲，由于其　

数据量大，使得对存储器的容量和速度都提出了比较高　

的要求。当系统工作在１　６００ｘＩ　２００＠６０　Ｈｚ的最大分辨率　

时，存储一帧数据所需的容量是ｄｏ＝１　６００Ｘ１　２００Ｘ３　Ｂ＝　

５．４９　ＭＢ，此时的数据率为ｄ＝ｄｏｘ６０＝３２９．５９　ＭＢ／ｓ，这要　

求存储器具有大容量和足够快的速度。常用的数据缓冲　

方法有ＦＩＦＯ、双端口ＲＡＭ和乒乓操作３种。　

ＦＩＦＯ的使用非常简单，缺点是只能顺序读写，并且　容量较小。双端口ＲＡＭ可以做随机存取，且速度很快，　

然而ＳＲＡＭ的价格昂贵，容量通常在几百Ｋｂｉｔ到几Ｍｂｉｔ　大小，所以也不适合做大容量的存储。而ＳＤＲＡＭ有容量　

大且速度较快的优点，所以采用ＳＤＲＡＭ的乒乓操作既　

可以满足视频数据大容量的要求，又能满足速度上的要　

求，是一种较好的方案。　

综合以上方案，同时根据输入输出数据时序上的相　

似性特点，本文提出了一种时分复用单片ＳＤＲＡＭ的方　

案。该方案用一组ＳＤＲＡＭ实现类似“乒乓操作”的帧缓　

冲效果。　

整个存储缓冲的结构如图５所示。输入输出均采用　两级缓存的方式。其中第一级缓存可以存储一行数据，　

采用ＦＰＧＡ片内双端口ＳＲＡＭ实现；二级缓存是可以存　

放完整两帧数据的ＤＤＲ　ＳＤＲＡＭ，作为主存储器。　

当某一帧数据到来时，输入端的数据不停地从双端　

口ＲＡＭ的一个端口写入ＳＲＡＭ＿Ｒｘ。每当检测到ＤＥ的　下降沿，说明已经有一行的数据写入完毕，则从另外一　

个端口将ＳＲＡＭ．Ｒｘ的数据写入ＤＤＲ用于保存当前帧　８０ｏ×８　ｂｉｔＸ３　８（）０×８　ｂｉｔ×３　ＲＡＭ一　一ｒ　ＲＡＭ　Ｔ　ｒ　ＲＡＭ—Ｒｘ＿ｇ　ＲＡＭ＿　ｒｘ＿ｇ　ＲＡＭ　Ｒｘ　ｂ　ＲＡＭ　ｘ　

一一一－＿』三二三二　一一一一　

ｌ　Ｌｌ　Ｌ１　Ｉ　Ｌ２　Ｌ２　Ｉ　Ｌ３　Ｌ３　

［二二　二］［二二　二］　

Ｆｒａｍ＿ｏ　

图５缓冲区结构示意图　

数据的存储区。写入一行结束时，输入端要等到下一个　

ＤＥ下降沿到来才会再次有读写ＳＤＲＡＭ的需求。也就是　

说ＳＤＲＡＭ此时处于空闲期，于是马上从之前保存好的　

上一帧数据中读出相应的一行数据写入ＳＲＡＭ＿Ｔｘ，输出　

端则在写入ＳＲＡＭ＿Ｔｘ一行完毕后从ＳＲＡＭ＿Ｔｘ的另一个　

端口读出数据。这样一直到一帧结束。当下一帧数据到　

来时，交换读写所指向的帧存储区，这样保证了原视频　

信号的帧率不变。　

为了使设计简单，ＤＤＲ控制器模块ＤＤＲ＿ＩＦ使ＤＤＲ　

工作在ＢＬ（Ｂｕｒｓｔ　Ｌｅｎｇｔｈ）即数据突发长度等于２的状　

态『４】，并且以行为单位完成一次读写流程。每次要写入　

或者读出一行数据时，主控制模块ＭＡＩＮ—ＣＴＬ向　ＤＤＲ＿ＩＦ发送读写请求，然后发送一行数据所需要传送　

的突发长度的数量ＢＬ＿ＣＮＴ，以及该行数据要存入ＤＤＲ　

的ｂａｎｋ地址、行起始地址、列起始地址。之后，　

ＭＡＩＮ—ＣＴＬ和ＤＤＲ＿ＩＦ进入读写流程。一行数据读写操　作的Ｍｏｄｅｌｓｉｍ时序仿真如图６所示，图中以一行数据有