下载文档原格式
VR全景图片：Photoshop制作虚拟现实全景图的技巧VR（Virtual Reality）虚拟现实是一种通过计算机技术模拟人类感官的沉浸式体验，而VR全景图片则是通过拍摄或合成的方式展现360度全方位的环境。
在现实生活中，我们身处在一个三维空间，但传统的摄影只能捕捉到一个特定的角度，而VR全景图片则能让我们身临其境地体验到全方位沉浸的感觉。
本文将介绍在Photoshop软件中制作VR全景图片的技巧。
首先，在制作VR全景图片之前，我们需要准备一套适合的素材。
这些素材可以是通过一台特殊的相机拍摄得到的，也可以是通过合成多张角度不同的照片得到的。
无论是哪一种方式，都需要确保每张照片的角度相隔相等，以便后续的合成处理。
将照片导入到Photoshop软件中后，我们需要打开“图像”菜单下的“自动设置”功能，以确保每张照片的曝光度和白平衡保持一致。
这样做可以提高全景图片的质量，并减少后续处理的工作量。
接下来，我们需要将每张照片进行裁剪和调整，以便合成为一个整体的全景图。
在Photoshop软件中，选择“裁剪工具”并将模式设置为“透视”，然后根据需要调整每张照片的裁剪区域。
确保每张照片的边缘对齐，并注意保持透视的一致性，以避免在合成过程中出现不自然的效果。
完成裁剪后，我们需要使用Photoshop软件中的“图像”菜单下的“自动对齐图层”功能来将每张照片进行对齐。
这样做可以消除由于手持拍摄或不稳定的相机设置而导致的轻微晃动。
在对齐图层之后，我们可以选择合适的“自动融合图层”功能来消除照片之间的缝隙和边缘问题。
随后，我们可以根据需要使用Photoshop软件中的“编辑”菜单下的“内容感知填充..”功能来修复合成过程中可能存在的缺陷。
这个功能可以自动根据周围的图像内容，智能地填充缺失的部分。
通过细致的调整和修复，可以使合成后的全景图效果更加自然和完美。
最后，我们可以应用其他Photoshop软件中的各种滤镜和调整层来增强全景图的色彩、对比度和细节。
国防科学技术人学研究生院学位论文然后他用泛函求导方法导出高斯函数的一阶导数，此即为该最佳函数的最好近似，且有简便的计算方法。
在进行处理前，Ｃａｎｎｙ算法先用高斯平滑滤波器来平滑图像用来除去噪声，即用高斯平滑滤波器与图像作卷积。
滤波的目的是为了消除噪声，因为图像中的噪声在图像傅旱叶变换中对应着高频部分，所以要在频域中削弱噪声的影响，就要设法减弱这部分的频率分量。
实际工作中，人们常常采用低通滤波器来实现。
然而大多数滤波器在降低噪声的同时也导致了边缘强度的损失（边缘也对应着高频部分）。
因此，需要在边缘与噪声之间作一个折衷，采用高斯平滑滤波器是一个较好的折衷方案。
增强边缘是将邻域（或局部）强度值有显著变化的点突出来，它一般通过计算梯度幅值来完成的，Ｃａｎｎｙ分割算法采用一阶偏导的有限差分来计算梯度的幅值和方向。
对一个边缘来说，其一阶导数在边界处存在一个向上的阶跃或者其二阶导数过零点。
导数的计算对噪声很敏感，而一般的边缘检测也正是利用求导数来实现的。
在处理过程中，Ｃａｎｎｙ算法还将经过一个非极大值抑制（ＮｏｎｍａｘｉｍａｌＳｕｐｐｒｅｓｓｉｏｎ）的过程。
最后，Ｃａｎｎｙ算法将采用两个阈值来连接边缘。
非极大值抑制是为了保证边缘线被细化为一个象素的宽度，Ｃａｎｎｙ算子采用边缘梯度方向的非极大抑制方法。
如果在４５度和１３５度边缘方向的每边区域的狄度值是相同的，这种方法容易产生厚边缘。
如图２．１所示，其原因是这些边界象素点在边缘方向上没有邻接边界点。
我们可以用这种方法消除这种厚边缘，对边缘方向为４５度和１３５度的象素点与它的水平或垂直方向的邻接边界点作比较，如果它的水平或垂直方向的邻接边界点也有同样的边缘方向，则删除它的邻接边界点，显然这种方法可以消除这种厚边缘。
鼬２．１１３５度厚边缘示意ｌ璺Ｉ２．２．２边界线断点填充用Ｃａｎｎｙ算子来提取图像的边界一个最大的优点就是很容易把边缘细化为单象素宽度，而且效果也较好，但是在边缘细化过程中在边界上容易产生断点，而且随高斯函数的口系数的不同及两个阈值参数的不同，产生的断点的个数与断点间隔长度也不同，因此我们必须对断点进行填充，国防科学技术入学研究生院学位论文圈２．４新算法实验结＿聚图ｌ（ｂ）ＳＵＳＡＮ酗２．５新算法实验结果幽２（ａ）Ｈａｒｒｉｓ（ｂ）ＳＵＳＡＮ（ｃ）ｎｅｗａｌｇｏｒｉｔｈｍ图２６新算法实验结果倒３（ｂ）ＳＵＳＡＮ（ｃ）ｎｅｗａｌｇｏｒｉｔｈｍ幽２７新算法实验结果幽４国防科学技术人学研究生院学佟论文其中ｋ为一个尺度因子系数。
虚拟现实中基于图形与图象的混合建模技术
虚拟现实中基于图形与图象的混合建模技术是指将计算机图形技术和图像处理技术相结合，利用其各自的优势，将真实的图像信息嵌入到虚拟场景中，以实现更加真实自然的虚拟现实体验。
具体而言，基于图形与图象的混合建模技术主要包括以下几个方面：
建模与渲染：在虚拟场景中，我们需要对真实世界的物体进行建模。
利用计算机图形学技术，可以将一些三维模型渲染出来，以实现更加真实的视觉效果。
同时，利用图像处理技术，可以将真实世界中的图像信息转化为模型纹理贴图，使得虚拟物体更加逼真。
立体重构：在图像处理中，可以使用计算机视觉技术进行立体重构，即从不同角度的图像中还原出物体的三维形状信息。
将立体重构后的物体融合到虚拟场景中，可以大大提高虚拟现实体验的真实性。
匹配与融合：将真实世界中的图像信息与虚拟场景进行匹配融合，可以实现更加自然的虚拟现实体验。
例如，将真实世界中的人物图像嵌入到虚拟场景中，可以实现更加逼真的游戏场景。
总之，基于图形与图象的混合建模技术可以使虚拟现实体验更加真实、
自然。
随着计算机技术的不断发展，该技术也将不断完善，拥有更加广泛的应用前景。
如何利用图像处理技术进行多视角图像融合图像融合是计算机视觉领域中的重要技术之一，它能够将多个视角的图像信息融合为一个更为准确和完整的图像。
图像融合技术在许多应用领域具有广泛的应用，例如航空航天、地质勘探、医学影像等。
其中，利用图像处理技术进行多视角图像融合是一种常见且有效的方法。
本文将介绍如何利用图像处理技术进行多视角图像融合。
多视角图像融合的基本原理是通过对多幅图像进行配准和融合，从而得到更为准确和全面的图像信息。
图像配准是指将多幅图像进行对齐，使得它们在相对位置和尺度上保持一致。
图像融合是指将多幅配准后的图像进行加权或融合，得到一幅综合的图像。
下面将逐步介绍多视角图像融合的具体过程。
第一步是图像配准。
图像配准可以采用特征点匹配的方法，通过检测图像中的特征点，并找出它们之间的对应关系。
常用的特征点包括角点、斑点、边缘等。
一旦找到了特征点的对应关系，就可以通过应用几何变换，如仿射变换或投影变换，将图像进行对齐。
图像对齐后，它们的尺度、旋转和平移关系将一致，为后续的图像融合奠定基础。
第二步是图像融合。
在图像融合过程中，可以采用像素级融合或特征级融合的方法。
像素级融合是指通过调整图像的亮度、对比度和颜色等属性，使得它们在空间上平滑过渡，并融合为一幅全新的图像。
常用的像素级融合方法包括加权平均、Laplace金字塔融合和小波变换融合等。
特征级融合是指将图像中的特征提取出来，再进行融合。
常用的特征级融合方法包括特征加权融合、特征匹配融合和特征拼接融合等。
在进行图像融合时，还需要考虑到图像质量的评估和优化。
图像质量评估是指通过一些客观的指标，如均方误差、峰值信噪比和结构相似性指标等，对融合后的图像进行质量评估。
根据评估结果，可以对融合过程进行优化，以得到更好的图像融合效果。
除了基本的图像处理技术，还有一些高级的技术可以用于多视角图像融合。
例如，通过深度学习方法，可以学习图像的特征表示和融合权重，以得到更准确和自然的图像融合结果。
了解计算机视觉技术中的图像拼接与全景图生成算法计算机视觉技术在现代社会中扮演着重要的角色，其中图像拼接与全景图生成算法是其重要的应用之一。
本文将介绍图像拼接与全景图生成算法的基本原理、常见方法以及应用领域。
图像拼接是指将多张部分重叠的图像组合成一张完整的图像的过程。
它在许多领域有广泛的应用，如摄影、遥感、虚拟现实等。
图像拼接算法的核心任务是找到合适的图像拼接变换，并将图像融合在一起，使得拼接后的图像具有自然的过渡效果。
图像拼接算法通常包含以下几个步骤：1. 特征提取与匹配：首先，从每张输入图像中提取特征点。
这些特征点可以是角点、边缘点或区域特征。
然后，通过匹配这些特征点，确定图像之间的相对位置关系。
2. 配准与变换：在特征匹配的基础上，需要计算图像之间的几何变换关系，包括平移、旋转、缩放和仿射变换等。
通过这些变换，将输入图像对齐到一个参考坐标系中，以便进行后续的融合操作。
3. 图像融合：在经过配准和变换后，需要将输入图像进行融合，使得拼接后的图像具有自然的过渡效果。
常见的融合方法包括像素级融合、图像块级融合和多重分辨率融合等。
4. 修复与优化：在完成图像拼接后，可能会存在一些拼接不完整或不连续的区域。
为了解决这些问题，需要进行图像修复和优化操作。
修复方法可以利用图像修补或图像重建算法，补全缺失的区域，使得拼接后的图像更加完整和平滑。
全景图生成算法是图像拼接的一个特例，其目标是将多个图像无缝拼接成一个具有广角视角的全景图像。
全景图的生成过程与图像拼接类似，但更加复杂。
全景图生成算法通常包括以下几个步骤：1. 图像对齐与配准：首先，将输入的多个图像进行对齐和配准。
这一步骤的目标是估计每幅图像之间的几何变换关系，以便在后续的拼接过程中保持图像的连续性和一致性。
2. 图像拼接：对于全景图生成来说，图像拼接是最关键的一步。
通常采用多图像融合的方式，将多个图像按照一定的顺序进行融合，在保持图像连续性的同时，尽量减少拼接痕迹的出现。
实景合成原理及应用实例实景合成(Image-based Rendering) 是指根据已有的场景图像或模型信息，通过计算机算法生成新的合成图像的过程。
实景合成技术在计算机图形学、计算机视觉、虚拟现实等领域得到广泛应用。
实景合成的原理主要分为两种方法：基于图像的实景合成和基于模型的实景合成。
1. 基于图像的实景合成：基于图像的实景合成是在已有的一组图片上进行合成。
这种方法利用图像的纹理和颜色信息，通过对图像进行几何和光照的变换，生成新的合成图像。
常用的方法包括纹理映射(Texure Mapping)和视图插值(View Interpolation)。
- 纹理映射：纹理映射是将一个图片的纹理映射到另一个几何模型上的过程。
通过将源图像中的纹理信息根据新的几何模型进行变换，可以生成一个新的合成图像。
纹理映射广泛应用于计算机游戏、虚拟现实、电影特效等领域。
- 视图插值：视图插值是在已知的多个角度或视角的图像上生成新的视角图像。
通过计算不同视角图像之间的差异，再根据新的视角位置生成中间视角的图像。
视图插值在视频压缩、视频合成等领域中得到广泛应用。
2. 基于模型的实景合成：基于模型的实景合成是在已有的三维模型或场景信息的基础上进行合成。
这种方法利用已知的几何、光照和材质等信息，通过渲染算法生成新的合成图像。
常用的方法包括光线追踪(Ray Tracing)和辐射传输方程(Radiosity)。
- 光线追踪：光线追踪是一种模拟光线在场景中的传播和反射的算法。
通过追踪反射、折射和阴影等现象，计算光线最终到达像素的颜色和亮度。
光线追踪可以生成高质量的合成图像，但计算复杂度较高，常用于电影特效和产品设计等领域。
- 辐射传输方程：辐射传输方程是描述光在物体表面上的传播和散射的方程。
通过求解辐射传输方程，可以计算物体表面上每个点的颜色和亮度。
辐射传输方程常用于室内场景的光照计算和逼真的渲染。
实景合成技术在多个领域都有广泛应用。
基于图像处理的虚拟现实场景建模与仿真虚拟现实（Virtual Reality, VR）是一种利用计算机技术创造出的全新交互体验方式。
通过模拟现实世界的感官输入和输出，虚拟现实可以让用户身临其境地感受到一个通过计算机生成的虚拟环境。
在虚拟现实技术中，虚拟场景的建模与仿真是至关重要的一环，而图像处理技术在其中发挥着重要的作用。
基于图像处理的虚拟现实场景建模与仿真技术是一种利用计算机图像处理和计算机视觉技术，将真实世界中的场景转换成可供虚拟现实系统重现的虚拟环境。
该技术利用计算机对图像进行分析、处理和合成，以及三维几何建模技术，使虚拟现实系统能够生成高度逼真的虚拟现实场景。
在基于图像处理的虚拟现实场景建模与仿真中，首先需要获取真实世界的图像数据。
利用摄像机设备或者激光扫描仪可以获取真实场景的三维结构和颜色信息。
接下来，利用图像处理技术对这些图像数据进行分析和处理，提取出场景的几何形状、表面材质和纹理等特征。
同时，由于摄像机或激光扫描仪获取的数据可能存在噪声和失真，图像处理技术也可以用来对数据进行滤波和校正，提高场景的准确度和真实感。
在场景的建模中，需要利用图像处理技术将真实场景的数据转换为计算机可识别和处理的形式。
一种常见的方法是三维重建，即根据摄像机或激光扫描仪获取的图像数据，通过三维重建算法生成场景的三维几何模型。
该算法利用图像处理技术对图像进行立体视觉分析，恢复场景中物体的三维位置和形状，并进行点云数据的重建。
另外，对于需要精确表达物体外观的场景，还可以利用纹理映射技术将真实场景的颜色信息贴到模型表面，从而增强场景的真实感。
在虚拟现实场景的仿真过程中，图像处理技术被广泛应用于图像生成、纹理合成和光照模拟等方面，以实现对虚拟现实场景特性的准确仿真。
通过图像处理技术，可以生成逼真的虚拟图像，包括物体的外观、纹理和颜色等。
纹理合成技术可以根据真实场景的纹理信息，自动生成逼真的纹理图像，并将其应用于虚拟场景中的物体表面。
在Blender中制作全景图和VR场景的方法Blender是一款功能强大的开源3D建模和渲染软件，可以用于创建各种令人惊叹的视觉效果。
除了用于创建静态图像和动画，Blender还可以制作全景图和虚拟现实(VR)场景，让用户在虚拟的环境中感受身临其境的体验。
在本教程中，我们将讨论如何在Blender中制作全景图和VR场景。
首先，我们需要准备一个合适的3D场景。
你可以选择使用现有的模型，或者自己设计一个场景。
确保你的场景具有足够的细节和真实感，这将增强最终的全景图和VR体验。
在开始之前，我们需要在用户首选项中启用Blender的渲染引擎。
默认情况下，Blender使用Cycles引擎，但在本教程中，我们将使用Eevee引擎，它专门为实时渲染和虚拟现实设计。
在渲染选项中选择Eevee引擎，并确保“Viewport Shading”设置为“Rendered”以获得实时渲染结果。
接下来，我们需要设置相机。
在3D视图中，选择一个合适的视角并添加一个相机。
调整相机的位置和旋转，直到你获得满意的视角。
请注意，相机的设置将决定最终的全景图和VR体验，所以花些时间来调整它是值得的。
一旦相机设置好了，我们可以开始制作全景图。
选择相机，进入渲染选项卡，并将“Panorama”设置为“Equirectangular”。
这将告诉Blender 生成一个全景图。
接下来，我们需要调整渲染设置以获得最佳的全景图效果。
在渲染选项卡中，设置输出分辨率为合适的宽高比。
提高采样率以增加渲染质量，并调整光线追踪和全局照明设置以获得逼真的结果。
当所有设置完成后，点击渲染按钮开始生成全景图。
渲染可能需要一些时间，具体取决于你的计算机性能和场景复杂度。
当渲染完成后，你可以在图像编辑器中预览全景图或将其保存为图像文件。
制作VR场景需要将全景图转换为适用于虚拟现实设备的格式。
在Blender中，你可以使用第三方插件来完成这个任务。
例如，你可以使用“Cycles to Marmoset”插件将全景图转换为Marmoset Viewer支持的格式，然后在VR设备上查看。
第３４卷㊀第１期２０１９年１月㊀㊀㊀㊀㊀㊀㊀液晶与显示㊀㊀㊀C h i n e s e J o u r n a l o fL i q u i dC r y s t a l s a n dD i s p l a ys ㊀㊀㊀㊀㊀V o l ．３４㊀N o ．１㊀J a n ．２０１９㊀㊀收稿日期:２０１８Ｇ０８Ｇ０２;修订日期:２０１８Ｇ１０Ｇ２２．㊀㊀基金项目:国家自然科学基金(N o ．６１６０１３４９)S u p p o r t e db y Na t i o n a lN a t u r a l S c i e n c eF o u n d a t i o no fC h i n a (N o ．６１６０１３４９)㊀㊀∗通信联系人,E Ｇm a i l :jz c h e n １９９３＠s t u ．x i d i a n ．e d u ．c n 文章编号:１００７Ｇ２７８０(２０１９)０１Ｇ００６３Ｇ０７基于视角方向的全景虚拟视图合成陈剑钊∗,陈㊀莹,宋佳润(西安电子科技大学综合业务网理论及关键技术国家重点实验室,陕西西安７１００７１)摘要:针对３D O F ＋视频搭建了一套基于视角方向的全景视频虚拟视图合成系统,利用极少视点位置的视频信息即可准确渲染任意视点位置的视频内容,从而为用户提供真实的观看体验.将所合成的新视点位置视图与相机采集的真实视图进行比较.实验结果表明,所合成的虚拟视图平均客观指标P S N R 为２３d B 左右,主观质量良好,较为真实且能够提供良好的交互性与视觉体验.关㊀键㊀词:虚拟现实;全景视频;虚拟视点合成;视觉体验中图分类号:T N ２７㊀㊀文献标识码:A㊀㊀d o i :１０．３７８８/Y J Y X S ２０１９３４０１．００６３P a n o r a m i c v i d e o v i r t u a l v i e ws y n t h e s i s b a s e d o nv i e w i n g a n gl e C H E NJ i a n Ｇz h a o ∗,C H E N Y i n g,S O N GJ i a Ｇr u n (S t a t eK e y L a b o r a t o r y o f I n t e g r a t e dS e r v i c eN e t w o r k s ,X i d i a nU n i v e r s i t y ,X i a n ７１００７１,C h i n a )A b s t r a c t :I n o r d e r t o p r o v i d e u s e r sw i t h a t r u e v i e w i n g e x p e r i e n c e ,a p a n o r a m i c v i d e o v i r t u a l v i e ws yn Ｇt h e s i ss y s t e m b a s e d o n v i e w a n g l ef o r３D O F＋v i d e o w a sb u i l t ,w h i c h c o u l da c c u r a t e l y re n d e r a r b i t r a r y v i e w p o i n t p o s i t i o nb y u s i n g v i d e o i nf o r m a t i o nw i t h f e wv i e w p o i n t p o s i t i o n s ．C o m p a r i ng th e s y n t h e s i z e dn e wv i e w p o i n t p o s i t i o nv i e w w i t h t h e r e a l v i e wc o l l e c t e db y t h e c a m e r a ,t h e e x pe r i m e n t a l r e s u l t s s h o wt h a t t h e s y n t h e s i z e d o b j e c t i v e v i e wh a s a n a v e r a g e o b je c t i v e i n d e xP S N Rof a b o u t ２３d B ,g o o d s u b j e c t i v e q u a l i t y ,a n d i s r e a l i s t i c a n d c a n p r o v i d e g o o d i n t e r a c t i v i t y a n dv i s u a l e x p e r i e n c e ．K e y wo r d s :v i r t u a l r e a l i t y ;p a n o r a m i c v i d e o ;v i e ws y n t h e s i s ;v i s u a l e x p e r i e n c e １㊀引㊀㊀言㊀㊀随着虚拟现实技术和计算机图形学的不断发展,全景视频作为沉浸式媒体的重要表现形式,在虚拟现实领域扮演着重要的角色[１],受到了广泛地追捧.凭借其良好的临场感和沉浸感[２],全景视频可以带给用户真实的观看体验.目前,全景视频已在影视娱乐㊁教育教学㊁工业仿真㊁医学研究等众多领域广泛应用.传统的全景视频借助头戴显示设备,允许用户在视点位置不变的情况下通过头部旋转运动自由地改变视角,观看不同视角的视频内容.但这种视频无法为用户展现视点位置变化时对应的视频内容.对此,国际标准化组织M P E G在M P E GＧI[３]标准中提出了一种能够反映视点位置变化的３D O F＋视频.这类视频允许用户的视点在一定范围内移动,同时提供视点运动带来的视差效果,让用户能够观看到任意视点下的全景视频内容.当用户视点发生移动,对应视角下的视频内容也会相应地发生变化,但由于拍摄条件和网络传输带宽限制,通常情况下无法获得任意视点位置上的全景视频内容.如何利用有限视点的全景视频信息来获得任意视点下的视频内容是当前３D O F＋视频需要解决的关键问题.基于深度图像的虚拟视点合成技术(D I B R)[４]是预测虚拟视点视频内容的一种最重要的技术.利用３DＧW a r p i n g投影,视图融合,插值等技术可直接生成虚拟视点处的图像.这种方法的绘制速度快,且生成的虚拟图像较为真实.传统的基于图像的绘制技术针对的是普通平面视频,而对于全景视频,由于其映射方式[５Ｇ８]不同于平面视频,已有的算法无法直接应用于全景视频.基于D I B R的算法框架,文献[９]提出了全景视频的虚拟视点合成方法,但这种算法的局限性在于只能对相同视角方向的全景视频进行虚拟视点合成,并且,该算法要求的输入必须是经过拼接处理的完整全景视频.但全景视频的拼接算法[１０]复杂度较大,且拼接过程往往会带来视频质量的损失.为了能够渲染任意视点的全景视频,本文设计了一套基于视角方向的全景虚拟视图合成系统,该系统能够利用极少视点位置的视频信息,根据用户视点与视角的变化的对应关系合成出相应的虚拟视图,进行渲染显示,提供给用户更好的临场感与观看体验.２㊀全景视频虚拟视图合成系统针对视点位置变化的情况,本文设计搭建了一套基于视角方向的全景虚拟视图合成系统,该系统能够在用户的视点发生运动的情况下,提供新视点位置的观看视角朝向下的视频内容,给用户以更强的沉浸感和更好的交互体验.该系统主要包括了虚拟视图生成模块和渲染显示模块.其中,虚拟视图生成模块使用基于深度图像的绘制技术,生成用户新视点观看视角下的视频内容.渲染显示模块负责对生成的虚拟视图进行效果增强与显示,借助头戴式显示设备提供给用户观看.２．１㊀全景视频虚拟视图生成２．１．１㊀视频源为了响应M P E GＧI关于３D O F＋视频源的要求,文献[１０]提供了多种不同相机排列分布下采集得到的视频源序列.如何合理且有效地利用这些视频源实现３D O F＋视频成为了一个热门的话题.在本文设计的全景视频虚拟视图合成系统中,直接使用文献[１１]提供的F a c e b o o k公司的３６０ʎ相机S u r r o u n dＧ３６０ＧX２４采集获得的E R P (E q u i r e c t a n g u l a rP r o j e c t i o n)格式[１１]的纹理图与深度图来构建用户新视点位置观看视角下的视频内容.整个相机的结构如图１所示,其可以采集２４个不同视角朝向的视频内容,每个视角的视域范围为１８０ʎˑ１８０ʎ,其中各视角下的相机姿态如表１所示,(α,β,γ)表示欧拉角,用来反映与相机姿态对应的视角朝向.图２给出了不同用户视角下的视频源样本,其中(a)为５号相机采集得到的,(b)为８号相机采集得到的.可以看到,不同视角对应的视频内容具有明显的差异.图１㊀S u r r o u n dＧ３６０ＧX２４相机结构F i g．１㊀S u r r o u n dＧ３６０ＧX２４c a m e r a s t r u c t u r e表１㊀S u r r o u n dＧ３６０ＧX２４相机姿态４６㊀㊀㊀㊀液晶与显示㊀㊀㊀㊀㊀㊀第３４卷㊀续表(a )５号相机拍摄内容(a )V i e wc a p t u r e db y ca m e r a ５(b )８号相机拍摄内容(b )V i e wc a p t u r e db y c a m e r a ８图２㊀视频源样本F i g ．２㊀V i d e o s o u r c e s a m pl e ２．１．２㊀视频源的视角映射特性用户所能观看的全景视频内容取决于其观看视角朝向.S u r r o u n d Ｇ３６０ＧX ２４相机能够采集具有不同视角朝向㊁视域为１８０ʎˑ１８０ʎ的视频内容,如图３所示,R 和V 分别表示不同用户视角.借助旋转变换,可以将R 视角下的视频内容映射至V 视角下的视频内容.接下来,将详细分析各视角之间的映射特性.图３㊀视角映射特性示意图F i g ．３㊀V i e wa n g l em a p p i n g ch a r a c t e r i s t i c s 用户的视角朝向与相机姿态一一对应,而相机姿态通常采用欧拉角[１２Ｇ１３]来描述.如图４所示,在右手笛卡尔坐标系下,欧拉角(α,β,γ)分别描述了绕X 轴旋转的俯仰角(p i t c h ),绕Y 轴旋转的偏航角(y a w )以及绕Z 轴旋转的翻滚角(r o l l ).当相机分别绕X 轴旋转α角度,绕Y 轴旋转β角度,绕Z 轴旋转γ角度时,分别对应的旋转矩阵R x (α),R y (β),R z (γ)分别如公式(１),(２),(３)所示.５６第１期㊀㊀㊀㊀㊀㊀㊀陈剑钊,等:基于视角方向的全景虚拟视图合成图４㊀欧拉角示意图F i g．４㊀E u l e r a n g l e s d i a g r a mR xα()＝１０００c o sα－s i nα０s i nαc o sαæèçççöø÷÷÷,(１)R yβ()＝c o sβ０s i nβ０１０－s i nβ０c o sβæèçççöø÷÷÷,(２)R zγ()＝c o sγ－s i nγ０s i nγc o sγ０００１æèçççöø÷÷÷．(３)S u r r o u n dＧ３６０ＧX２４中每个相机的姿态(０,β,γ)是由基准姿态(０,０,０)先绕Y轴旋转β角度再绕Z轴旋转γ角度这样的组合旋转生成的.且不同的相机姿态可通过两次旋转操作进行转换,先旋转至基准姿态,再旋转至目标相机姿态.具体过程如下:假设相机姿态为E r(０,β,γ),基准姿态为E b(０,０,０),目标相机姿态为E t(０,β１,γ１).参考相机先绕Z轴旋转γ角度,再绕Y 轴旋转β角度,即可恢复至基准姿态E b,该过程的旋转矩阵记为R１,如公式(４)表示.再由基准姿态先绕Y轴旋转β１角度,再绕Z轴旋转γ１角度,即可转换至目标相机姿态,该过程的旋转矩阵记为R２,如公式(５)表示.R１＝R v－β() R z－γ(),(４)R２＝R zγ１() R zβ１()．(５)㊀㊀通过相机姿态的旋转即可完成用户视角的变换,由此可用于构建任意用户视角的视频内容,为下一步生成用户新视点位置观看视角下的虚拟视图奠定了基础.２．１．３㊀虚拟视图生成算法当用户的视点位置发生变化,其观看视角下的视频内容也相应变化.为了提供给用户在新视点位置观看视角下的虚拟视图,本系统中设计了一种基于视角方向的全景虚拟视图生成算法.该算法主要利用D I B R技术,借助参考视点位置的视图及其深度信息,通过E R P投影,３DＧW a r p i n g等技术直接生成目标视点处的虚拟视图.算法的流程如图５所示,接下来将重点介绍各个环节的实现原理及主要步骤.图５㊀虚拟视图生成算法框图F i g．５㊀B l o c kd i a g r a mo f v i r t u a l v i e w g e n e r a t i o n a l g oＧr i t h m２．１．３．１㊀参考视图的三维投影参考视图三维投影的目标是将获得的参考视图中每个像素投影至其三维空间点P(X,Y,Z).如图６所示,对于分辨率为WˑH的E R P格式视频,左上角为原点,像素坐标用(m,n)表示,m Î[０,W),nÎ[０,H),通过公式(６)投影至球面经纬度坐标(φ,θ).再借助深度图(m,n)坐标对应值,得到真实深度z,通过公式(７)可得到参考视图对应的空间坐标系下三维点P(X,Y,Z).φ＝mW－０．５æèçöø÷２πθ＝０．５－n Hæèçöø÷πìîíïïïï,(６)X＝z c o sθ() c o sφ()Y＝z s i nθ()Z＝－z c o sθ() s i nφ()ìîíïïïï．(７)图６㊀参考视图的三维投影示意图F i g．６㊀３D p r o j e c t i o no f t h e r e f e r e n c e v i e wd i a g r a m ２．３．１．２㊀虚拟视图的空间坐标计算虚拟视图的空间坐标计算的主要任务是将参６６㊀㊀㊀㊀液晶与显示㊀㊀㊀㊀㊀㊀第３４卷㊀考视图的三维点P (X ,Y ,Z )变换到虚拟视图对应的三维点P １(X １,Y １,Z １).首先,通过旋转变换使参考视图对应的空间坐标系与世界坐标系对齐.参考视点位置的视角用其相机姿态E r (０,β,γ)表示,虚拟视点位置的视角用虚拟相机姿态用E v (０,β１,γ１)表示,基于视频源的视角映射特性,借助旋转矩阵R １,将点P (X ,Y ,Z )旋转至P ᶄ(X ᶄ,Y ᶄ,Z ᶄ).该过程可用公式(８)来表示:P ᶄ＝R １ P ．(８)然后,如图７所示,虚拟相机与参考相机在世界坐标系下的偏移量T (T x ,T y ,T z ).通过公式(９)即可获得世界坐标系下虚拟视点下空间点P ᵡ(X ᵡ,Y ᵡ,Z ᵡ).X ᵡ＝X ᶄ＋T xY ᵡ＝Y ᶄ＋T y Z ᵡ＝Z ᶄ＋T z ìîíïïïï．(９)图７㊀空间坐标映射示意图F i g ．７㊀S p a t i a l c o o r d i n a t em a p p i n g d i a gr a m 最后,借助旋转矩阵R ２,将点P ᵡ(X ᵡ,Y ᵡ,Z ᵡ)旋转至P １(X １,Y １,Z １),即获得了虚拟视图对应的坐标系下的三维空间坐标,如公式(１０)所示.P １＝R ２ P ᵡ．(１０)２．３．１．３㊀虚拟视图的投影变换虚拟视图的投影变换是将获得的虚拟视图对应的坐标系下的三维点P １(X １,Y １,Z １)投影回像素平面.首先,通过公式(１１),将三维空间坐标投影至球面经纬度坐标(φᶄ,θᶄ).再通过公式(１２),将球面经纬度坐标(φᶄ,θᶄ)映射至二维图像坐标(m ᶄ,n ᶄ).φᶄ＝a r c t a n －Z １X １æèçöø÷θᶄ＝a r c s i n Y １X ２１＋Y ２１＋Z ２１æèçöø÷ìîíïïïïï,(１１)m ᶄ＝ϕᶄ２π＋０．５æèçöø÷ Wn ᶄ＝０．５－θᶄπæèçöø÷ H ìîíïïïï．(１２)通过以上几个步骤,即可生成用户在新视点位置观看视角下的虚拟视图.２．２㊀渲染显示通过上述的算法,能够通过一个参考视点的信息来直接生成虚拟视点位置用户视角下的视图.但是只使用一个视点位置的信息往往会来带来许多的空洞.这些空洞,可能是由遮挡造成的,也可能是由投影过程像素坐标取值造成的.为了增强虚拟视图的渲染显示质量,通常选用处于虚拟视点两侧的左右视点作为参考视点共同生成虚拟视图,这是由于一个视点的遮挡区域在另一个视点中未必被遮挡.通过参考多个视点上的信息,绝大数由于遮挡引起的空洞都能利用不同参考视点的像素互相填充.本文直接采用文献[１４]提出了基于视点基线距离的视图融合方法,对于左右视点映射变换得到的公共部分可通过虚拟视点与参考视点之间的距离进行加权,确定最后的像素值.融合得到的视图仍会存在一些无法填充的空洞,通常是由于参考视点上没有捕获到其对应的像素信息.对于这些空洞,一般将其认为是背景,借助视图融合后的深度图,搜索该空洞附近的背景像素进行填充[１５].在完成空洞填补之后,就可以将合成的虚拟视图进行渲染显示了.本文设计的全景视频虚拟视图合成系统的显示模块[１６]直接使用O pe n G L ㊁S D L 以及O p e n V R 等相应功能函数来完成对合成的虚拟视图的显示与渲染.用户可以借助头戴显示设备进行观看.３㊀合成效果与实验分析本文采用运行W i n d o w s１０６４位操作系统的主机作为测试平台,展示系统的虚拟视图合成效果.测试平台的相关配置参数如表２所示.７６第１期㊀㊀㊀㊀㊀㊀㊀陈剑钊,等:基于视角方向的全景虚拟视图合成表２㊀测试平台硬件配置T a b．２㊀T e s t p l a t f o r mh a r d w a r e c o n f i g u r a t i o n硬件参数配置显卡型号N V I D I A G e F o r c eG T X９７０处理器型号I n t e l i７６７００K４．００G H z操作系统W i n d o w s１０６４位显示器分辨率３８４０´２１６０本文搭建的全景视频虚拟视图合成系统,其系统输入有:参考视点的纹理图与深度图,参考视点的相机参数,其中相机参数包括外部参数和内部参数.外部相机参数主要为相机的位置和相机的姿态,即视点的坐标信息和用户视角信息,相机的内部参数主要有相机的焦距和主点偏移.下面给出该系统合成效果的示例图.使用S u r r o u n dＧ３６０ＧX２４中的５号相机与８号相机采集得到的纹理图与深度图,合成６号相机视角中的视频内容.其中,５号和８号相机采集样本如图２所示,如图８所示,(a)为该系统合成的６号相机视点位置的虚拟视图,(b)对应的是６号相机采集到的真实视图.同时,为了衡量当前系统合成算法的性能,本文对合成的视图进行了客观质量P S N R以及主观质量评分,其中主观质量采取５分制的评分系统,１~５分分别对应于视频显示质量 很差 ㊁ 差 ㊁ 一般 ㊁ 好 ㊁ 很好 .本文列举了４组作为示例,如表３所示.实验结果表明,所合成的虚拟视图平均客观指标P S N R为２３d B左右,但主观质量均能达到３分及以上,较为良好.综述所示,通过观察与比较可以看出,本文提表３㊀质量评价T a b．３㊀Q u a l i t y e v a l u a t i o n参考视图合成视图P S N R/d B主观评价/分５㊁８６２３．１９７４１０㊁１１９２２．９５２３２３㊁１９１４２２．９２３３１２㊁１３２２２３．８１９４出的基于视角方向的全景视频视图合成算法可合成新视点位置的用户视角方向上的虚拟视图.(a)系统合成视图(a)S y s t e ms y n t h e s i s v i ew(b)６号相机拍摄内容(b)V i e wc a p t u r e db y c a m e r a６图８㊀系统合成效果示意图F i g．８㊀E x a m p l e o f p a n o r a m i c v i r t u a l v i e ws y n t h e s i s s y sＧt e m４㊀结㊀论针对当前V R全景视频无法应对视点位置变化问题,本文从用户观看全景视频的情景出发,提出了一种基于视角方向的全景视频虚拟视图合成算法,同时设计搭建了一套完整的全景虚拟视图合成系统.该系统允许用户不仅可以在相同视点位置上更换视角观看视频内容,而且可以移动视点位置来观看相应视角内的视频内容,让用户与视频内容有了一定的交互,提供给用户更好的临场感与观看体验.８６㊀㊀㊀㊀液晶与显示㊀㊀㊀㊀㊀㊀第３４卷㊀参㊀考㊀文㊀献:[１]㊀Q I A NF ,HA N LJ ,G O P A L A K R I S HN A N V．O p t i m i z i n g ３６０v i d e od e l i v e r y ov e rc e l l u l a r n e t w o r k s [C ]//P r o Ｇc e e d i n g so f t h e ５t hW o r k s h o p o nA l l T h i n g sC e l l u l a r :O p e r a t i o n s ,A p p l i c a t i o n s a n dC h a n l l e n g e s ．N e w Y o r k :A C M ,２０１６:１Ｇ６．[２]㊀C UMM I N G SJ J ,B A I L E N S O NJN．H o wi mm e r s i v e i s e n o u g h ?A m e t a Ｇa n a l ys i so f t h e e f f e c t o f i mm e r s i v e t e c h Ｇn o l o g y o nu s e r p r e s e n c e [J ]．M e d i aP s y c h o l o g y ,２０１６,１９(２):２７２Ｇ３０９．[３]㊀C HAM P E L M L ,K O E N E N R ,L A F R U I T G ,e t a l ．W o r k i n g D r a f t ０．２o fT R :T e c h n i c a l r e po r t o na r c h i t e c t u r e s f o r i mm e r s i v em e d i a [R ]．I S O /I E CJ T C １/S C ２９/WG １１,D o c ．M P E G Ｇ２０１７N １６９１８,H o b a r t ,２０１７．[４]㊀F E HN C ．D e p t h Ｇi m a g e Ｇb a s e dr e n d e r i n g (D I B R ),c o m p r e s s i o n ,a n dt r a n s m i s s i o nf o ran e w a p pr o a c ho n３D ＧT V [C ]//S t e r e o s c o p i cD i s p l a y s a n dV i r t u a l R e a l i t y S y s t e m sX I ．I n t e r n a t i o n a l S o c i e t y f o rO p t i c s a n dP h o t o n i c s ,２００４,５２９１:９３Ｇ１０５．[５]㊀S Z E L I S K IR ,S HUM H Y．C r e a t i n g f u l l v i e w p a n o r a m i c i m a g em o s a i c s a n de n v i r o n m e n tm a p s [C ]//P r o c e e d i n gs o f t h e ２４t ha n n u a l c o n f e r e n c e o nC o m p u t e r g r a p h i c s a n di n t e r a c t i v e t e c h n i q u e s ．N e w Y o r k :A C M P r e s s /A d d i s o n ＧW e s l e y P u b l i s h i n g Co ．,１９９７:２５１Ｇ２５８．[６]㊀N G K T ,C HA NSC ,S HUM H Y．D a t ac o m p r e s s i o na n dt r a n s m i s s i o na s pe c t sof p a n o r a m i cv i d e o s [J ]．I E E E T r a n s a c t i o n s o nC i r c u i t s a n dS y s t e m s f o rV i d e oT e c h n o l og y ,２００５,１５(１):８２Ｇ９５．[７]㊀HU A N G KC ,C H I E NPY ,C H I E NCA ,e t a l ．A３６０Ｇd e g r e e p a n o r a m i c v i d e o s y s t e md e s i g n [C ]//P r o c e e d i n gs o f T e c h n i c a lP a p e r s o f ２０１４I n t e r n a t i o n a lS y m p o s i u mo nV L S ID e s i g n ,A u t o m a t i o na n dT e s t ．T a i w a n ,C h i n a :I E E E ,２０１４:１Ｇ４．[８]㊀F U C W ,WA NL ,WO N GTT ,e t a l ．T h e r h o m b i c d o d e c a h e d r o nm a p :a n e f f i c i e n t s c h e m e f o r e n c o d i n g pa n o r a m Ｇi c v i d e o [J ]．I E E E T r a n s a c t i o n s o n M u l t i m e d i a ,２００９,１１(４):６３４Ｇ６４４．[９]㊀W E G N E R K ,S T A N K I E W I C Z O ,D Z I E M B OW S K IA ,e ta l ．O m n i d i r e c t i o n a l ６ＧD o F /３ＧD o F＋r e n d e r i n g [R ]．M P E G ＧI v i s u a l o f I T U ＧTS G １６W P ３a n d I S O /I E CJ T C １/S C ２９/WG １１．M P E GD o c ．m ４０８０６,２０１７:１Ｇ６．[１０]㊀Z HA N GF ,L I U F ．C a s u a l s t e r e o s c o p i c p a n o r a m a s t i t c h i n g [C ]//P r o c e e d i n gs o f ２０１５I E E EC o n f e r e n c e o nC o m Ｇp u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n ．B o s t o n ,MA ,U S A :I E E E ,２０１５:２００２Ｇ２０１０．[１１]㊀W i k i p e d i a ．E q u i r e c t a n g u l a r p r o j e c t i o n [E B /O L ]．(２０１８Ｇ０２Ｇ２１)[２０１８Ｇ３Ｇ３０]．h t t p s ://e n ．w i k i p e d i a ．o r g/w i k i /E q u i r e c t a n g u l a r _p r o j e c t i o n ．[１２]㊀贾瑞才．重力/地磁辅助的欧拉角无迹卡尔曼滤波姿态估计[J ]．光学精密工程,２０１４,２２(１２):３２８０Ｇ３２８６．J I A R u i Ｇc a i ．A t t i t u d ee s t i m a t i o nb a s eo n g r a v i t y /m a g n e t i ca s s i s t e dE u l e ra n g l eU K F ．[J ]．O p t i c sa n d P r e c i s i o n E n g i n e e r i n g ,２０１４,２２(１２):３２８０Ｇ３２８６．[１３]㊀王永,姚太克,周烽,等．望远镜副镜的三自由度并联支撑构型研究与运动分析[J ]．光学精密工程,２０１３,２１(１１):２８６０Ｇ２８６９６．WA N G Y ,Y A O T K ,Z HO UF ,e t a l ．T y p e s y n t h e s i s o f ３ＧD O F p a r a l l e l s u p p o r t s y s t e mf o r t e l e s c o p e s e c o n d a r ym i r r o r [J ]．O p t i c s a n dP r e c i s i o nE n g i n e e r i n g ,２０１３,２１(１１):２８６０Ｇ２８６９．[１４]㊀S T A N K I E W I C ZO ,W E G N E R K ,T A N I MO T O M ,e t a l ．E n h a n c e dv i e ws yn t h e s i s r e f e r e n c e s o f t w a r e (V S R S )f o r f r e e Ｇv i e w p o i n t t e l e v i s i o n [R ]．I S O /I E CJ T C ,２０１３,１:５３３Ｇ５４１．[１５]㊀L E EC ,HO YS ．C o mm o n Ｇh o l e f i l l i n g f o rb o u n d a r y n o i s e r e m o v a l i nV S R S [R ]．M P E G ２０１０/M １８５１４,G u a n gＧz h o u ,C h i n a ２０１０．[１６]㊀汪泽伟,于有光,杨付正．基于H T C V i v e 的全景视频显示质量评估[J ]．液晶与显示,２０１８,３３(１):８５Ｇ９１WA N GZ W ,Y U YG ,Y A N GFZ ．P a n o r a m i c v i d e o d i s p l a y q u a l i t y as s e s s m e n t b a s e d o nH T CV i v e [J ]．C h i n e s e J o u r n a l o f L i q u i dC r y s t a l s a n dD i s p l a y s ,２０１８,３３(１):８５Ｇ９１．作者简介:㊀陈剑钊(１９９３－),男,福建泉州人,硕士研究生,２０１７年于西安电子科技大学获得学士学位,主要从事计算机图形学与虚拟现实的研究.E Ｇm a i l :jz c h e n １９９３＠s t u ．x i d i a n ．e d u ．c n .９６第１期㊀㊀㊀㊀㊀㊀㊀陈剑钊,等:基于视角方向的全景虚拟视图合成。
