当前位置：文档之家 › HEVC帧内重构预测的硬件架构设计与实现

HEVC帧内重构预测的硬件架构设计与实现

  • 格式：pdf
  • 大小：1.85 MB
  • 文档页数：5

32《有线电视技术》 2019年第4期 总第352期1 引言随着视频质量的不断提升，高清、超高清视频逐渐应用于我们的生活，AVC 视频压缩技术越来越难以满足视频压缩的需求[1]。

新一代视频编码技术HEVC 的提出很好地解决了这个问题。

HEVC 是上一代视频编码标准AVC 的继承，与AVC 相比，在相同视频质量的情况下，HEVC 视频压缩技术能够节省大约50%的比特率。

然而HEVC 编码器的复杂程度要比上一代标准AVC 复杂多倍，导致HEVC 编码起的硬件实现困难倍增。

帧内预测作为新一代视频编码标准中重要的一环，其灵活的四叉树结构以及35种预测方向，对基于硬件的HEVC 帧内预测模块设计产生了很大的影响[5]。

近年来，针对快速帧内编码硬件实现的各种方法被相继提出。

参考文献[2]提出了针对帧内4×4预测块的高效预测VLSI 架构，但是它仅适用于4×4块大小的预测块。

参考文献[3]采用软硬件结合的方案，通过8个并行的硬件计算单元加速帧内预测处理速度，但是该架构仅支持4×4与8×8大小的块，并且无法对Plana 模式进行预测。

本文提出一种以16×16个像素点为基本块大小的帧内重构预测架构，适用于16×16及以下的TU （Transform Unit，变换单元）大小和所有35种模式。

为了使整个重构系统能实现流水线操作，该架构采用按行输出的方式，使后续的DCT 变换能实现流水操作；为实现该架构，本文通过观察预测时所需参考像素的位置之间的规律，并将该规律以及权重值分别存放于2个ROM 中，以减少选择电路与计算电路的面积。

本文提出了一种重构值存储的方案，以便于邻块TU 预测所需参考像素的获取；在进行参考像素的滤波时，本文采取根据模式和块大小选取出所需的参考像素后再滤波，减少滤波电路的面积。

2 重构帧内预测过程帧内重构预测过程，是已知TU 块的划分模式及TU 块的预测方向的情况下将当前TU 块左边和上面的重构像素作为参考像素进行的预测。

HEVC 的帧内重构预测过程包括参考像素的获取、参考像素的滤波以及预测值的计算。

2.1 获取参考像素由于HEVC 中TU 块的参考像素来自与当前块的左边与上面块的重构像素，若当前TU 处于图像的边界，或者条带（Slice）、矩形区域（Tile）的边界，则相邻参考像素可能会不存在或不可用。

当参考像素不存在或不可用时，HEVC 标准会使用最邻近的像素进行填充。

如图1所示，A、B、C、D、E 为重构当前块大小为N ×N 的TU 时所需的参考像素。

在某些情况下可能出现A 与E 所处的TU 块尚未完成重构，此时A、E 处的参考像素不可获取，则A 处的参考像素全部用B 的最HEVC 帧内重构预测的硬件架构设计与实现＊陈界光 杨秀芝 郑静宜 福州大学摘要：新一代视频编码标准HEVC 在视频质量相同情况下，相较于上一代标准AVC 的压缩效率提高了50%，但同时带来的是算法复杂度的提高。

本文针对HEVC 帧内重构预测提出了一种新的硬件架构，该架构以16×16块大小为基本处理单元，支持TU（Transform Unit，变换单元）块大小为16×16、8×8、4×4的情况，并且35种预测模式都按行预测；同时提出了一种重构值存储的方案，方便下一块TU 预测时获取参考像素，减少了选择电路的面积。

本文提出的硬件架构面积较小，能够满足高清1080P 视频的实时显示要求。

关键词：视频编码 HEVC 帧内重构预测 硬件＊本文受福建省重大科技项目资助，项目编号：2017H600933下方的像素值b 进行填充，E 处则用D 的最右边的像素值d 进行填充。

若A、B、C、D、E 处的参考像素都不可获取，则用固定值128来进行填充（针对8bit 序列）。

2.2 参考像素的滤波为了更好地利用邻近像素之间的相关性，提高预测精度，去除预测块之间的边界效应，HEVC 针对不同大小的TU 选择不同数量的模式进行滤波。

当TU 大小为4×4或者TU 选择的模式为DC 模式时，都无需进行参考像素的滤波。

当TU 大小为16×16时，除了9、10、11、25、26、27模式无需滤波外，其余模式都要滤波。

当TU 大小为8×8时，仅对2、18、34以及Plana 模式进行参考像素滤波。

滤波方式是使用3抽头系数分别为1/4、1/2、1/4的平滑滤波器进行滤波。

滤波方式如图2中公式（1）、公式（2）、公式（3）所示。

其中，x 代表该像素对应的列，y 代表该像素对应的行，x 和y 的取值在-1到2N-1之间，如图3所示。

2.3 预测值的计算HEVC 帧内预测预测值的计算包含了35种方向的预测，其中包括33种角度模式、DC 模式和Plana 模式。

HEVC 中的角度帧内预测旨在对通常存在于视频和图像内容中的不同方向结构进行有效地建模,当角度模式被选用时，则采用图2中公式（4）来计算TU 块中的预测像素值。

其中，Offset（Mode）是角度模式Mode 对应的角度偏移值，取值范围为{0、±2、±5、±9、±13、±17、±21、±26、±32}，Idx 是指预测目前像素点所需参考像素在数组ref 中的索引。

Plana 模式即模式0，适用于像素变化缓慢的区域，当前块的预测值可认为是两个线性预测的平均值。

当预测模式为Plana 模式时，则利用图2中公式（5）来计算预测像素值。

DC 模式用模式1表示，适用于平坦区域的预测。

当预测模式选择DC 模式时，TU 块中的预测值都用一个常量dcVal 来填充。

dcVal 的值如图4中公式（6）所示。

对于TU尺寸小于图1 重构TU所需的参考像素的位置图3 重构TU所需的参考像素的相对坐标图234《有线电视技术》 2019年第4期 总第352期32×32的亮度分量，预测块的左上角、第一行与第一列的像素需要进行滤波处理，如图4中公式（7）、公式（8）、公式（9）。

该部分产生的预测值与经过变换量化和反量化反变换后的残差值相加得到的重构像素值，将会成为下一个帧内TU 块的参考像素。

3 帧内重构硬件架构由于HEVC 中帧内预测的复杂度很高，导致该部分的硬件实现具有很大的挑战性，本文设计了一种能够以流水的方式工作并且周期数较少的帧内重构预测电路。

本文提出一种以16×16个像素点为基本块大小的帧内重构预测硬件架构，每个周期输出的预测值与残差值点数根据TU 块大小而定，支持16及以下的TU 块大小。

本文的帧内重构预测硬件架构主要包含四个模块：一是重构像素值存储模块，二是获取重构像素作为参考像素与参考像素填充模块，三是参考像素滤波模块，四是预测插值模块。

本文的硬件架构图如图5所示。

3.1 重构像素值的存储模块由于当前TU 块的预测时所需要的参考像素来自于该TU 块已重构的邻块，如图6所示，对当前TU 块进行帧内预测所需的参考像素来自左下方和左侧TU 的最后一列，上方和右上方TU 的最后一行以及左上方TU 的最后一个像素点。

所以要对已重构块的最右边一列和最下方一行的重构值进行存储，来用于下一TU 块的重构预测。

HEVC 中块划分是基于四叉树的结构，所以当前TU 块的左侧和上方的块可以是任何深度的任何大小。

但由于PU 块的最小尺寸为4×4，所以将尺寸为16×16的CTU 分割成16个尺寸为4×4的块，并按照Zig-Zag 的编码顺序对其进行0~15的编号，该编号用于说明TU 在CTU 中的位置索引（用idx 表示），本文提出了以4×4为基本块大小来存储图6中阴影部分已完成重构的重构像素，将其分别存图5 帧内重构预测硬件框架图435储在refx_RAM 与refy_RAM 中，其中refx_RAM 用于存储已重构TU 块的最后一行重构值，refy_RAM 用于存储已重构TU 块的最后一列重构值。

对于CTU，本文将该CTU 所需的左侧16个参考像素存在寄存器ctu_refy 中。

因为HEVC 中CTU 的重构编码顺序是按照光栅顺序的，所以该CTU 的左下方TU 一定还未完成重构，因此只需保存其左侧16个参考像素。

对于上方的参考像素与左上角的参考像素，本文将从存重构像素的RAM 读取后存入寄存器ctu_refx 中。

3.2 参考像素的获取与填充模块根据CTU 及TU 在CTU 中的位置，重构TU 时所需的参考像素，将从寄存器ctu_refx、ctu_refy 或者refx_RAM、refy_RAM 中获取。

为实现该模块电路的复用，将ctu_refx、ctu_refy、refx_RAM 与refy_RAM 作为模块的输入。

根据当前TU 的idx，推断出该TU 的上方参考像素、左侧参考像素和左上角参考像素所处的idx，并将其idx 分别作为地址送入refx_RAM 与refy_RAM 中，取得对应的参考像素值。

若其中有参考像素不存在则按照HEVC 中参考像素填充规则进行填充。

为了减小电路的面积减少选择器的使用。

同一个idx 可能对应不同的TU 尺寸，则按最大尺寸来获取参考像素。

例如idx=8，对应的TU 大小为4×4或者8×8，则按照8×8的TU 大小来获取参考像素，输出的上方与左侧参考像素都为（16×8）bit，其中16为参考像素个数，8为像素点的比特深度，由于模块的最终输出位（32×8）bit，所以其余的（16×8）bit 用0填充。

左上角的参考像素单独输出。

3.3 参考像素的滤波模块本文提出的滤波模块的设计，为减少滤波模块的面积，会根据TU 块的预测方向及块大小对所需要进行滤波的参考像素进行预处理。

如图7所示，预测当前N ×N 大小的TU 所需的参考像素的所在区域为Z0~Z4。

但在帧内角度预测过程中，不同的预测模式所需要的参考像素会略有差异。

模式2~9所需的参考像素只有Z0、Z3、Z4；模式27~34所需的参考像素只有Z0、Z1、Z2；模式10~26和0、1只会用到Z0、Z3、Z1的参考像素。

根据此特性，只需将特定区域的参考像素送入滤波模块，已达到节省电路面积的目的。

3.4 预测插值模块在预测插值前，首先应根据当前TU 块的方向信息从已滤波的参考像素中挑选出预测该TU 块所需的参考像素，即参考像素的投影过程。

若方向为正角度方向即模式2~10和模式26~34，则无需投影，直接将已滤波的参考像素存入ref_pr 中，因为滤波前已经挑选完成。

若方向为负角度方向，即模式11~25，则还需从已滤波的参考像素中挑选出预测该TU 所有行所需的参考像素并存入寄存器ref_pr 中。

合集下载

H.264帧内预测解码器的优化与硬件实现的开题报告

H.264帧内预测解码器的优化与硬件实现的开题报告

H.264帧内预测解码器的优化与硬件实现的开题报告【导言】随着高清视频流媒体服务的兴起，视频编解码技术发展越来越快，成为一个备受关注的领域。

在视频编解码技术中，H.264是当前应用最广泛的一种技术。

H.264编码器的性能得到了极大的改善，现在已经能够满足各种不同的应用场景。

但随着使用场景的扩大，解码器的性能也成为了制约应用的瓶颈之一。

因此，本文将从H.264帧内预测解码器优化和硬件实现两个方面进行研究。

【研究背景】随着高清视频应用的广泛普及，解码器的性能也成为了一个关键问题。

在目前市场上，H.264解码器很常见，但解码速度较慢的问题也时常出现。

为了解决这个问题，本文选取H.264解码器中最耗时的部分——帧内预测算法进行优化，从而提高其解码速度。

此外，为了提高优化效果，本文还对此算法进行了硬件实现，进一步提高了解码速度。

【研究内容】（1）H.264帧内预测算法的分析和优化措施在H.264解码器中，帧内预测算法是耗时最久的部分之一。

为了提高解码速度，本文将分析和优化这一算法。

具体措施包括以下几个方面：- 视频像素访问方式的优化- 提高相关系数的处理速度- 提高内存访问效率- 去除冗余计算（2）H.264解码器的硬件实现为了更好地发挥H.264解码器的性能，本文将对解码器进行硬件实现。

具体包括以下内容：- 硬件平台的选择和搭建- 系统设计与实现- 硬件解码器的优化措施【预期研究成果】通过本文的研究，期望能够实现对H.264帧内预测算法的优化和硬件实现，并提高解码速度。

同时，本文也会对优化和硬件实现的效果进行评估，以验证其实用性和可行性。

最终，本文的成果可望为H.264解码器的发展做出贡献。

【研究计划】（1）H.264帧内预测算法的分析和优化措施- 研究现有H.264解码器的实现细节，判断耗时最多的部分- 分析H.264帧内预测算法的性能瓶颈- 针对瓶颈点提出优化措施（2）H.264解码器的硬件实现- 选择硬件平台并进行搭建- 根据H.264帧内预测算法的特点设计硬件实现方案- 实现硬件解码器并进行优化（3）系统测试和性能评估- 利用不同分辨率和比特率的视频进行测试- 测试结果分析和性能评估- 根据评估结果进行调整和完善【结论】通过对H.264帧内预测解码器的优化和硬件实现，本文旨在提高其解码速度，为高清视频应用提供更好的服务。

一种H.264帧内预测解码部件的设计与验证的开题报告

一种H.264帧内预测解码部件的设计与验证的开题报告

一种H.264帧内预测解码部件的设计与验证的开题报告一、选题背景及意义随着互联网技术的不断发展和网络带宽的提升，视频传输和存储已成为现代社会中不可或缺的一部分。

H.264/AVC 是一种广泛使用的视频编码标准，采用基于帧内预测的压缩机制，在实现高压缩比的同时，保证了视频质量。

H.264/AVC 视频编解码器通常由多个模块组成，其中帧内预测模块在编解码的过程中起着至关重要的作用。

因此，对帧内预测模块进行优化和设计是提高视频编解码器性能的必要步骤。

此外，对帧内预测模块进行的设计和优化也为今后更高效的视频编解码技术的研发奠定了基础。

二、研究目标本课题旨在设计一种基于 H.264/AVC 标准的帧内预测解码部件，实现高效、高精度的视频解码。

三、研究内容1、研究H.264/AVC 帧内预测技术原理，对视频帧进行预测和压缩，并掌握解码流程。

2、实现 H.264/AVC 帧内预测解码部件的设计，包括解码器输入输出接口、处理单元的架构设计、电路设计、时序设计等。

3、通过 FPGA 在实验室进行验证，测试课题设计的部件实现的视频编解码效果。

四、研究方法1、资料调研法：通过参考学术论文、项目文献、网络搜索等多种途径，了解 H.264/AVC 标准的帧内预测技术相关内容。

2、仿真设计法：采用 VHDL 等语言，基于 Xilinx 平台设计帧内预测解码部件。

通过对设计结果进行时序分析、逻辑仿真和综合后的功能仿真，验证部件的正确性和可行性。

3、物理实验法：将源码下载到 FPGA 开发板中，通过实验验证部件的性能和有效性，结果进行性能测试和比较分析。

五、论文结构第一章绪论1.1 选题的背景和意义1.2 研究目标1.3 研究内容1.4 研究方法1.5 论文结构第二章相关技术和理论2.1 H.264/AVC 帧内预测技术原理2.2 H.264/AVC 可逆离散余弦变换2.3 FPGA 硬件设计语言 VHDL第三章系统设计和实现3.1 帧内预测解码器设计3.2 芯片设计3.3 芯片验证和测试第四章结果分析和讨论4.1 系统性能分析4.2 实验分析第五章结论5.1 研究成果5.2 不足之处与展望参考文献附录：源代码及实验数据。

简述hevc帧内预测流程

简述hevc帧内预测流程

简述hevc帧内预测流程英文回答：Intra Frame Prediction in HEVC.Intra frame prediction (IFP) is a key component of the High Efficiency Video Coding (HEVC) standard. It is used to predict the pixels of a current frame from the pixels of previously decoded frames, thereby reducing the amount of data that needs to be transmitted.The IFP process in HEVC is based on a hierarchical coding structure. The frame is first divided into coding tree units (CTUs), which are then further divided into coding units (CUs). The CUs are predicted using a variety of prediction methods, which are selected based on the characteristics of the CU.The most common prediction method is the intra directional prediction (IDP) method. The IDP methodpredicts the pixels of a CU from the pixels of a neighboring CU that is located in the same direction. The direction of the prediction is determined by the motion vector of the neighboring CU.Other prediction methods that can be used include the intra planar prediction (IPP) method, the intra angular prediction (IAP) method, and the intra luma/chroma prediction (ILP) method. The IPP method predicts the pixels of a CU from the pixels of a neighboring CU that is located in the same plane. The IAP method predicts the pixels of a CU from the pixels of a neighboring CU that is located at an angle. The ILP method predicts the luma and chroma components of a CU from the luma and chroma components of a neighboring CU.The IFP process in HEVC is a complex process that involves a number of different steps. However, it is an effective process that can significantly reduce the amount of data that needs to be transmitted.中文回答：HEVC帧内预测流程。

基于可重构硬件的系统设计及实现

基于可重构硬件的系统设计及实现

基于可重构硬件的系统设计及实现一、可重构硬件介绍可重构硬件（Reconfigurable Hardware）指的是一类硬件设计中，可以通过编程修改其硬件电路的可编程芯片。

与传统的固定功能芯片相比，可重构硬件的电路可以被重新配置为执行不同的功能。

可重构硬件比传统的基于固定逻辑的芯片更为灵活，在计算机科学和电子工程领域中，广泛用于数字信号处理、高性能计算和嵌入式系统等领域。

二、可重构硬件系统设计及实现1. 系统设计可重构硬件系统设计中，主要包括硬件架构设计和软件部分，硬件架构设计包括芯片选型、电路设计、系统总线设计等部分，软件部分则包括编程工具、编程语言和SDK等软件开发工具。

2. 系统实现系统实现过程中，可以利用现有的可重构芯片（如FPGA、CPLD等）进行设计和实现。

在硬件设计方面，需要考虑系统的架构、电路连接等方面；在软件方面，可以利用编程工具来开发并测试系统的性能。

三、可重构硬件的应用1. 数字信号处理可重构硬件在数字信号处理领域应用广泛。

通过可重构硬件的编程，可以快速而高效地实现数字信号处理的算法，比如数字滤波、傅里叶变换和压缩编码等。

2. 高性能计算可重构硬件在高性能计算领域的应用也非常广泛，可重构硬件的处理速度比传统的固定功能芯片更快，在科学计算、金融分析以及三维视觉处理等领域起到了重要的作用。

3. 嵌入式系统随着物联网的发展，嵌入式系统在我们日常生活中越来越常见。

作为一种高灵活性的技术，可重构硬件也在嵌入式系统中得到了广泛的应用，可以用于处理机器视觉、智能控制、通信处理等。

四、可重构硬件的未来发展趋势1. 高性能和低功耗可重构硬件在未来的发展方向中，将更加注重高性能和低功耗的设计，例如在数字信号处理方面，可以通过优化算法并且使用更加低功耗的芯片来实现。

2. 虚拟化技术在可重构硬件的未来发展中，虚拟化技术极有可能成为下一个技术趋势，基于虚拟化技术可以将多个可重构硬件器件进行集成，通过虚拟化技术来实现更加高效的算法优化。