当前位置：文档之家 › Video coding using a deformation compensation algorithm based on adaptive matching pursuit

Video coding using a deformation compensation algorithm based on adaptive matching pursuit

  • 格式：pdf
  • 大小：102.25 KB
  • 文档页数：4

VIDEOCODINGUSINGADEFORMATIONCOMPENSATIONALGORITHMBASEDON

ADAPTIVEMATCHINGPURSUITIMAGEDECOMPOSITIONS

OscarDivorraEscodaandPierreVandergheynst

SignalProcessingInstitute(ITS)

SwissFederalInstituteofTechnologyinLausanne(EPFL)

Ecublens,1015Lausanne,Switzerland

Email:{oscar.divorra,pierre.vandergheynst}@epfl.ch

ABSTRACT

Today’svideocodecsemploymotioncompensatedpredictionin

combinationwithblockmatchingtechniques.Thesetechniques,

althoughachievingsomelevelofadaptivityintheirlatestversions

[1],continuetorelyonthedecompositionofframesonasetof

artificialprimitives:blocks.Thispaperpresentsanewapproach

tovideocoding.Ageometricallyadaptiveimagedecomposition

schemeusinganover-completebasisisusedtorepresentthescene.

UsingMatchingPursuit(MP),weareabletoexpresslocalfeatures

suchasposition,anisotropicscaleandorientationintermsofaset

ofspatio-frequentialprimitives.Inordertoperformframepre-

diction,onlythechangesintheparametersthatdeterminethese

functionsfromframetoframewillhavetobecoded.Suchanap-

proach,inadditiontobeingabletocatchdisplacementsinimages

dealsaswellinanaturalwaywithlocalscaledeformationsand

localrotations.

1.INTRODUCTION

Classicallyusedseparablebasesarenotabletorepresentoptimally

2Dpiecewisesmoothsignalssuchasimages,thereforeagrowing

interesthasappearedinthefieldofapproximationtheoryinfinding

betterapproximatingbasesforedgelikesingularities[2,3,4,5].

Inthefieldofvideocoding,interestingideashavebeenintroduced

inthisdirection[6]bycodingtheresidualmotionpredictioner-

rorwithfunctionscapableofexploitingredundancyinitsstruc-

ture.Anyway,thisapproachislimitedbythefactthatstateofthe

artmotioncompensationdoesnotnecessarilyrespectthenatural

structuresofimages.

Aninterestingapproachistousemoreflexiblerepresentation

techniquesthatwouldallowformoreefficientcodingofnatural

structures(i.eedges,texturesorevenmotion).Ourmotivationin

thispaperistouseanadaptiverepresentationofspatialprimitives

andcorrectlytrackitsevolutionthroughtimeinordertoperform

somehigherordermotioncompensation,thatcouldbecalledde-

formationcompensation.Oneofthemaininterestsofourtech-

niquewithrespecttostateoftheartinmotioncompensationbased

onblockmatching(BM)orwarpingproceduresisitsabilitytoef-

ficientlyrepresentvisualprimitiveswithoutimposinganadhoc

partition.

Thepaperisstructuredinthefollowingway:Insec.2useof

over-completefunctionbasesforadaptedimagerepresentationis

ThisworkwassupportedbytheSwissFederalOfficeforEducationandTechnologygrantnumber6044.1KTS.reviewedfollowedbyitspossibleextensiontoapredictivescheme

forframecompensation.Insec.3adescriptionoftheproposed

algorithmcanbefoundfollowedbysomeresultdiscussionsand

theconclusions.

2.MATCHINGPURSUIT:FROMIMAGETOVIDEO

REPRESENTATION

Expansionsongeneralover-completedictionariesoffunctionsisa

problemwithaninfinitenumberofsolutions[7].Findingthebest

N-termexpansionisnormallyNP-hard,thoughforsomedictionar-

iesconvexoptimizationprocedures(BasisPursuits)yieldthecor-

rectoptimum.Withoutrestrictionsonthedictionary,sub-optimal

approacheshavetobefollowed.

Matchingpursuit(MP)isoneofthesub-optimalapproaches

thatiterativelyapproximatesthesolution[8].Itcomputesoneco-

efficientoftheexpansionateveryiterationsuchthatthenormof

theresidualisminimized.Accordingtothis,theN-termexpansion

canbeexpressedas:

f=N−1󰀃

n=0󰀉gγn,Rnf󰀊·gγn+RNf,(1)

wheregγnisthefunctionselectedfromtheredundantdictionary

andRnftheremainingresidualofthefunctionbeingapproxi-

matedatiterationn.

2.1.2DSignalRepresentationThroughMatchingPursuits

Studiesconcerning2Dedgerepresentationshowtheimprovement

andnear-optimalitythattheuseofanisotropicorientedfunctions

canbringinsomecases[2,3,4].FurtherstudiesbyFiguerasetal.

[5]haveaswellunderlinedtheimportanceofbeinggeometrically

adaptiveinthechoiceofthesetoffunctionsthatwillapproximate

the2Dpiecewisesmoothsignal.

Accordingtothis,itcanbeconcludedthatadictionaryof

anisotropicallyscaledandorientedfunctionsshouldbeusedfor

imageexpansions.InthepreviousworkdonebyVandergheynst

andFrossard[9],thisbasisledtotheuseofMPtogetherwitha

dictionaryoffunctions(atoms)thatweresmoothinonedirection

andbehavedasawaveletintheorthogonalone.Suchfunctions,

abletorepresentefficientlycontourlikesingularitiesin2D,form

aredundantdictionarybuiltbyapplyingtranslations,rotationsand

anisotropicscalingtothefollowinggeneratingfunction:

g(x,y)=󰀁4x2−2󰀂exp󰀁−󰀁x2+y2󰀂󰀂.(2)

合集下载

svp4参数

svp4参数

svp4参数

SVP4参数是一种用于视频编码的参数，它在视频压缩和传输中起到了重要的作用。本文将介绍SVP4参数的定义、作用以及在视频编码中的应用。

SVP4参数是指Scalable Video Coding (SVC) Extension for the

H.264/MPEG-4 AVC Video Coding Standard的第4部分。它是一种可扩展视频编码标准，能够根据网络带宽和终端设备的性能，动态地调整视频的质量和分辨率，从而实现更高效的视频传输和播放。

SVP4参数的主要作用是提供一种灵活的视频传输方案，使视频能够适应不同的网络环境和设备性能。通过对视频进行分层编码，SVP4参数可以根据需要选择不同的编码层进行传输，从而实现对视频质量和分辨率的动态调整。这种灵活性使得视频在不同的网络带宽和终端设备上都能够得到最佳的播放效果。

在视频编码中，SVP4参数的应用非常广泛。首先，它可以用于实时视频传输，例如视频会议和实时监控等场景。在这些场景下，网络带宽可能会有所波动，而SVP4参数可以根据网络情况动态地调整视频的质量和分辨率，确保视频的流畅播放和清晰度。

SVP4参数还可以用于视频点播和流媒体服务。在这些场景下，视频需要根据用户的需求进行传输，而SVP4参数可以根据用户设备的性能和网络带宽，选择合适的编码层进行传输，以达到最佳的播放效果。这种动态调整的能力使得视频点播和流媒体服务能够提供更好的用户体验。

SVP4参数还可以用于视频存储和传输，例如视频监控和视频广告等场景。在这些场景下，视频需要进行存储和传输，而SVP4参数可以根据存储和传输的需求，选择合适的编码层进行压缩，以减少存储和传输的成本。

SVP4参数是一种重要的视频编码参数，它通过分层编码和动态调整的方式，实现了视频的灵活传输和播放。在实时视频传输、视频点播、流媒体服务、视频存储和传输等各种场景中，SVP4参数都发挥着重要的作用，为用户提供了更好的视频体验。

视频编码技术在VR视频播放中的应用(八)

视频编码技术在VR视频播放中的应用(八)

视频编码技术在VR视频播放中的应用

随着虚拟现实（VR）技术的不断发展和普及，VR视频的需求也越来越大。VR视频是一种逼真的沉浸式体验，可以让观众感受到身临其境的感觉。然而，由于VR视频的巨大数据量和高画质要求，传统的视频编码技术已经无法满足其需求。因此，开发出适用于VR视频播放的视频编码技术变得十分重要。

VR视频的特点是具有高分辨率和高帧率，以及广角拍摄的特殊视角，这使得VR视频的数据量大大增加。对于普通的2D视频，我们可以使用或等传统的视频编码格式进行压缩和解码，以减少数据量。但是，这些编码格式对于VR视频来说并不适用，因为它们没有考虑到VR视频对于高画质和快速传输的要求。

因此，VR视频需要一种更高效的视频编码技术来满足其调高带宽和流畅播放的需求。在过去几年里，我们已经看到了一些新的视频编码标准的出现，如Versatile Video Coding（VVC）和AV1。这些新的编码标准采用了许多先进的技术，如无损压缩、预测编码和多层编码等，以提供更好的视频质量和更高的压缩率。

以VVC为例，它采用了一种名为Fractional Motion Estimation（FME）的技术，可以更准确地估计视频帧之间的运动信息，从而减少运动估计误差，提高编码效率。此外，VVC还引入了自适应量化和变形，可以根据不同的场景和内容进行编码参数的优化，从而进一步提高视频质量和压缩率。这些新的技术和算法为VR视频的编码和播放提供了更好的性能。

除了改进的视频编码技术，VR视频播放还需要具备更高的传输和解码能力。由于VR视频的数据量大，传输过程中可能会出现延迟和卡顿的问题。为了解决这个问题，我们可以使用流媒体技术来实现视频的分片传输和自适应码率调整。流媒体技术可以根据用户的带宽和设备性能，动态地调整视频的码率和分辨率，以保证流畅的播放体验。

此外，硬件解码器的使用也是提高VR视频播放性能的重要因素。传统的软件解码器需要较高的计算资源才能解码高分辨率的VR视频，这可能会导致卡顿和能效低下。而硬件解码器可以利用专门的硬件加速器来解码视频，从而提供更高的解码性能和更低的功耗。

av1编码原理

av1编码原理

av1编码原理

AV1 是一种由 Alliance for Open Media (AOMedia) 开发的开放式、免费的视频编码标准。它旨在提供更高的视频压缩率，以及更好的视频质量，同时保持开放、免费和无专利费的特性。AV1编码技术采用了多种先进的技术，包括变换、预测、运动补偿、内容自适应、熵编码等，下面将详细介绍AV1编码原理。

1. 变换

在视频编码中，变换技术被广泛应用于对视频帧进行频域变换。AV1采用了一种名为Discrete Cosine Transform (DCT) 的变换技术，用于将视频帧从空域变换到频域。这样做的目的是为了去除视频帧中的冗余信息，从而实现更高的压缩率。AV1还采用了一种名为二维-DCT的变换技术，来对视频帧的每个块进行变换，以进一步提高压缩率。

2. 预测

预测技术是视频编码中非常重要的一部分，它通过对视频帧中的像素值进行预测，来减小需要编码的信息量。AV1采用了一种名为Intra Prediction的预测技术，用于在视频帧内部进行像素值的预测。此外，AV1还采用了一种名为Inter Prediction的预测技术，用于在视频帧之间进行像素值的预测。这些预测技术可以有效地减小视频帧的信息量，从而提高压缩率。

3. 运动补偿

运动补偿是视频编码中用于处理视频帧中运动信息的一种技术。AV1采用了一种名为Global Motion Compensated Prediction的运动补偿技术，用于对视频帧进行全局的运动补偿。此外，AV1还采用了一种名为Local Motion Compensated Prediction的运动补偿技术，用于对视频帧进行局部的运动补偿。这些运动补偿技术可以有效地减小视频帧的信息量，从而提高压缩率。

4. 内容自适应

内容自适应是视频编码中用于根据视频内容的复杂性来调整编码参数的一种技术。AV1采用了一种名为Content Adaptive Encoding的内容自适应技术，用于根据视频内容的复杂性来调整变换、预测、运动补偿等各个模块的编码参数。这样做可以提高视频压缩率，并且保持视频质量。

高光谱图像异常检测(PCA,K-SVD,OMP)

高光谱图像异常检测(PCA,K-SVD,OMP)

高光谱图像异常检测

刚做的一个题目，免费分享给同道们

对一个待检测像元，首先利用主成分分析提取高光谱数据的主特征，建立目标主成分空间，在主成分空间内构造基于 K-SVD 算法的训练字典;采用正交匹配算法OMP重构主成分分量，利用主成分分析逆变换得到待检测像元重构光谱，增强了高光谱图像的局部异常特性;最后，基于重构误差异常特性实现高光谱图像异常检测。并根据目标光谱重构误差的局部异常特性进行阈值分割；最后，遍历整个图像即可得到异常检测结果。

图像数据

sub_anomaly_image.mat和gt_100_100.mat分别是两张图片的高光谱图

程序+图像数据文件下载链接

https:///s/1kBfb6uj16RGfhjAw2ZC0Rg 提取码：92xy

完整代码：（要对所有高光谱图做分析，写个循环遍历即可）

clear

load sub_anomaly_image.mat

img=sub_data(:,:,1); %选择mat文件中的第 个高光谱图做分析

%img=rgb2gray(img);

figure(1),subplot(131),imshow(img,[]);title('原图');

[M N] = size(img);

f = double(img);

bs = 2; %图像块尺寸

p = bs; %保留的维数

% PCA图像压缩

g = im2col(f, [bs bs], 'distinct'); %将图像块转换成列矢量表示

g_m = ones(size(g,1),1)*mean(g); %计算每个块的灰度均值

g = g - g_m; %计算每块的灰度均值差

[E D]=fun_pca(g); %pca降维

E_proj = E(:,1:p); %取最大的p个特征值所对应的特征矢量进行降维

g_proj = g'*E_proj; %从bs*bs维映射到p维（矩阵数列）