基于图像的绘制技术

1.什么叫虚拟现实技术虚拟现实技术（Virtual Reality 简称VR) 是一种模拟人类视觉、听觉、力觉、触觉等感知行为的高度逼真的人机交互技术，是在数字图像处理、计算机图形学、多媒体技术、人—机接口技术、计算机仿真技术及传感器技术等许多信息技术基础上发展起来的一门多学科的交叉技术。

2.虚拟现实系统的构成典型的虚拟现实系统主要是由计算机、应用软件系统、输入输出设备、用户和数据库等组成。

如图：3.虚拟现实技术的特征虚拟现实技术有3个主要特征：沉浸性（Immersion）、交互性（Interactivity）和想像性（Imagination）。

(1)沉浸性沉浸性（Immersion）又称临场感，指用户感到作为主角存在于模拟环境中的真实程度。

(2) 交互性交互性（Interactivity）的产生，主要借助于VR系统中的特殊硬件设备（如数据手套、力反馈装置等），使用户能通过自然的方式，产生同在真实世界中一样的感觉。

(3) 想像性想像性（Imagination）指虚拟的环境是人想像出来的，同时这种想像体现出设计者相应的思想，因而可以用来实现一定的目标。

4.虚拟现实系统的分类在实际应用中，根据虚拟现实技术对沉浸程度的高低和交互程度的不同，将虚拟现实系统划分为以下4种类型:(1) 桌面式VR系统它是利用个人计算机或图形工作站等设备，采用立体图形、自然交互等技术，产生三维立体空间的交互场景，利用计算机的屏幕作为观察虚拟世界的一个窗口，通过各种输入设备实现与虚拟世界的交互。

桌面式VR系统具有以下主要特点：①缺少完全沉浸感，参与者不完全沉浸，因为即使戴上立体眼镜，仍然会受到周围现实世界的干扰。

②对硬件要求极低③应用比较普遍，因为它的成本相对较低(2) 沉浸式VR系统它利用头盔式显示器或其它设备，把参与者的视觉、听觉和其它感觉封闭起来，并提供一个新的、虚拟的感觉空间，并利用位置跟踪器、数据手套、其它手控输入设备、声音等使得参与者产生一种身在虚拟环境中、并能全心投入和沉浸其中的感觉。

基于图像绘制的虚拟现实的实现方法张菊【摘要】虚拟现实的实现方法有基于图形的和基于图像的.介绍了基于图像绘制的实现方法,并对这些方法做了介绍和比较.【期刊名称】《黑龙江科技信息》【年(卷),期】2010(000)034【总页数】1页(P107)【关键词】虚拟现实;图像绘制;全景图【作者】张菊【作者单位】辽宁省交通高等专科学校,辽宁,沈阳,110122【正文语种】中文虚拟现实技术包括沉浸式与非沉浸式虚拟现实技术。

通常沉浸式虚拟现实技术是主要依赖特殊硬件来实现的，而非沉浸式虚拟现实技术是依赖专门的软件来实现的。

采用非沉浸式虚拟现实技术较为经济实用。

尽管是借助键盘、鼠标、显示器等标准外设来营造一个窗口式的虚拟环境，但还是可以应用软件技术使其尽可能接近较理想的虚拟现实环境。

它可采用基于图形（几何建模）的方法或基于图像的方法实现。

由于基于传统的计算机图形学方法建立虚拟现实有明显的缺点，近年来出现了利用实际拍摄图像来建立虚拟现实环境的方法，即基于图像的建模和绘制技术。

基于图像的绘制方法是一种可实时生成真实感图像，且生成图像的质量独立于场景复杂度的方法。

它主要分为以下几类：Lippman制作的Movie-map[1]系统是最早的基于图像的绘制系统之一。

该系统还可以围绕固定的视点左右、上下的摇动镜头，或者将景物拉近、推远，Movie-map方法可以解释为基于表的方法，大多数基于图像的系统都具有这种类似数据库的结构。

导航电影是另一种电影图方法，它除了提供上述功能外，还可以实现参与者绕着场景中某个实体的经度和纬度方向观察。

图像变形技术（Image Morphing）是指如何有效的从两幅给定图像通过形状和色彩的2D插值产生中间图像，达到从一幅图像变形到另一幅图像的技术，美国斯坦福大学与威斯康星大学是这一领域的领先者。

该技术已广泛应用于影视特效。

Beier[2]提出了基于特征的变形，这种变形技术的优势在于操作者可灵活的定义特征对应关系，变形按照操作者的意图进行，但计算量以及在指定特征之外的区域无法控制。

国防科学技术人学研究生院学位论文然后他用泛函求导方法导出高斯函数的一阶导数，此即为该最佳函数的最好近似，且有简便的计算方法。

在进行处理前，Ｃａｎｎｙ算法先用高斯平滑滤波器来平滑图像用来除去噪声，即用高斯平滑滤波器与图像作卷积。

滤波的目的是为了消除噪声，因为图像中的噪声在图像傅旱叶变换中对应着高频部分，所以要在频域中削弱噪声的影响，就要设法减弱这部分的频率分量。

实际工作中，人们常常采用低通滤波器来实现。

然而大多数滤波器在降低噪声的同时也导致了边缘强度的损失（边缘也对应着高频部分）。

因此，需要在边缘与噪声之间作一个折衷，采用高斯平滑滤波器是一个较好的折衷方案。

增强边缘是将邻域（或局部）强度值有显著变化的点突出来，它一般通过计算梯度幅值来完成的，Ｃａｎｎｙ分割算法采用一阶偏导的有限差分来计算梯度的幅值和方向。

对一个边缘来说，其一阶导数在边界处存在一个向上的阶跃或者其二阶导数过零点。

导数的计算对噪声很敏感，而一般的边缘检测也正是利用求导数来实现的。

在处理过程中，Ｃａｎｎｙ算法还将经过一个非极大值抑制（ＮｏｎｍａｘｉｍａｌＳｕｐｐｒｅｓｓｉｏｎ）的过程。

最后，Ｃａｎｎｙ算法将采用两个阈值来连接边缘。

非极大值抑制是为了保证边缘线被细化为一个象素的宽度，Ｃａｎｎｙ算子采用边缘梯度方向的非极大抑制方法。

如果在４５度和１３５度边缘方向的每边区域的狄度值是相同的，这种方法容易产生厚边缘。

如图２．１所示，其原因是这些边界象素点在边缘方向上没有邻接边界点。

我们可以用这种方法消除这种厚边缘，对边缘方向为４５度和１３５度的象素点与它的水平或垂直方向的邻接边界点作比较，如果它的水平或垂直方向的邻接边界点也有同样的边缘方向，则删除它的邻接边界点，显然这种方法可以消除这种厚边缘。

鼬２．１１３５度厚边缘示意ｌ璺Ｉ２．２．２边界线断点填充用Ｃａｎｎｙ算子来提取图像的边界一个最大的优点就是很容易把边缘细化为单象素宽度，而且效果也较好，但是在边缘细化过程中在边界上容易产生断点，而且随高斯函数的口系数的不同及两个阈值参数的不同，产生的断点的个数与断点间隔长度也不同，因此我们必须对断点进行填充，国防科学技术入学研究生院学位论文圈２．４新算法实验结＿聚图ｌ（ｂ）ＳＵＳＡＮ酗２．５新算法实验结果幽２（ａ）Ｈａｒｒｉｓ（ｂ）ＳＵＳＡＮ（ｃ）ｎｅｗａｌｇｏｒｉｔｈｍ图２６新算法实验结果倒３（ｂ）ＳＵＳＡＮ（ｃ）ｎｅｗａｌｇｏｒｉｔｈｍ幽２７新算法实验结果幽４国防科学技术人学研究生院学佟论文其中ｋ为一个尺度因子系数。

虚拟现实技术研究背景及国内外现状1课题的研究背景目前，虚拟漫游技术在实现方法上可分为两种，主要是按照虚拟场景的构造方来区分，一种是传统的基于几何图形绘制(Graph——based Rendering，GBR)的虚拟漫游技术，另一种是新兴的基于图像绘制(Image——based Rendering，IBR)的虚拟漫游技术。

传统的漫游主要使用成熟的几何建模技术，通过手工方法实时建立场景的三维模型，这种方法需要花费大量时间建模，而且对硬件性能的要求很高，其漫游场景是由计算机根据一定的光照模型绘制的，色彩层次没有实际的自然景观丰富，带有明显的人工痕迹。

为此，近几年来国际上开始出现基于图像绘制技术来构造虚拟空间的方法，它利用照相机采集的离散图像或摄像机采集的连续视频作为基础数据，经过图像处理生成全景图并对其进行时间或空间的关联，从而建立起具有空间操纵能力的虚拟场景。

虚拟实景漫游是对现实世界中的景物虚拟漫游，与一般传统的或计算机动画的虚拟漫游相比，它具有以下特点:(l)一般的漫游对象往往是通过创作或设计想象出来的，以人工环境为主，而虚拟实景漫游的对象则是在现实世界中客观存在的;(2)一般的漫游环境中的视觉效果通常是由人工设计出来的，允许与实际情况不完全吻合，而虚拟实景漫游中的视觉效果则要求尽可能的与实际的视觉效果相一致，才能给人以身临其境的视觉感。

基于图像的虚拟现实系统具有场景逼真、交互方便和无需特殊的硬件等优点，目前已用于虚拟旅游和娱乐、虚拟训练、医疗领域和虚拟制造等方面，还可用于科学可视化和系统仿真等方面。

由此可以看出，基于图像的虚拟现实技术具有极大的应用前景和研究意义。

2 国内外研究现状虚拟现实技术的产生与发展，就虚拟实现本身而言，它主要设计到三个研究领域：1.通过计算机图形方式建立实施的三维视觉效果。

2.建立对虚拟世界的观察面。

3.使用虚拟现实技术加强诸如科学计算技术方面的应用。

目前，建立虚拟现实技术已引起了人们的普遍关注，目前，在国内外有许多政府部门，公司，大学，研究所正在致力于这方面的研究。

本技术提供一种基于影像图绘制数字线划地形图的方法，其中所述的绘制数字线划地形图的步骤为：采用软件互联网下载影像图，标注出下载范围；确定坐标基准，求取坐标转换参数，采用坐标转换软件计算坐标转换七参数或四参数，采用ArcGIS软件进行影像图坐标转换；采用谷地地理信息系统提取高程数据，确定高程数据提取范围，提取高程数据的，转换高程数据坐标；影像图导入CASS软件，提取控制点坐标，纠正影像图；绘制数字线划地形图；外业调绘；优点为：本技术通过软件系统互联网下载影像图，减少资金成本及时间消耗；不需野外布设、测量像控点，根据测区坐标转换参数，就能通过软件对影像图进行坐标转换；提高工作效率。

技术要求1.一种基于影像图绘制数字线划地形图的方法，其特征在于：所述的绘制数字线划地形图的步骤为：第一步，影像图下载：1）影像图下载软件的确定，采用软件互联网下载所需影像图；2）下载范围的确定，在软件互联网中标注出下载范围的区域，应覆盖工程区域全部范围；3）下载工程区域影像图，点击切换地图，选择数据源，点击拉框选择，选择注出的下载范围的区域，双击后弹出下载对话框，选择存储目录、下载影像级别、叠加道路地名信息及高程数据等；第二步，影像图坐标转换：1）坐标基准确定，根据设计要求平面坐标为1980西安坐标系（1954年北京坐标系或者2000国家大地坐标系），高斯投影，高程基准采用1985高程基准；2）坐标转换参数的求取，未有工程区域坐标转换参数时，通过控制点的平面坐标1980西安坐标系（1954年北京坐标系或者2000国家大地坐标系）及WGS-84坐标，采用坐标转换软件计算坐标转换七参数或四参数；3）影像图坐标转换软件的确定，采用ArcGIS软件进行影像图坐标转换；4）影像图坐标转换，应用ArcGIS软件中ArcToolbox数据管理工具模块下投影和转换中的投影栅格功能，将影像图使用的WGS-84坐标转换为1980西安坐标系（1954年北京坐标系或者2000国家大地坐标系）；第三步，高程数据的提取：1）高程数据提取软件的确定，采用谷地地理信息系统（GoodyGIS）进行高程数据的提取；2）高程数据提取范围的确定，在GoodyGIS软件中输入左上角和右下角两个点坐标，点击菜单栏绘制图形，下拉菜单选择矩形，根据提示点击右键在两个对角点，绘制成矩形，矩形范围要保证覆盖整个工程区域；3）高程数据的提取，点击左边工具栏高程提取，下面选择对象-单个对象（点线面），左键单击绘制的矩形，可看到左边工具栏对象名称、对象类型、可否提取，对象数目有了相应变化，点击高程数据提取，选择采样点间距，弹出的对话框点击计算高程点数，点击开始提取，提取完成后保存提取的数据文件；4）高程数据坐标转换，提取的数据文件格式为.csv,用Excel打开后，只保留经度、纬度和高程3列数据，然后保存为.txt的文本文档，通过坐标转换软件，转换为含有X、Y和高程的DAT文件；第四步，影像图导入CASS软件并进行影像图纠正：1）影像图导入CASS软件，在CASS软件中，点击工具菜单下插入图像，选择所需影像地图进行导入；2）控制点坐标的提取，在ArcGIS软件中提取影像图上明显特征的控制点坐标，根据影像图覆盖范围，提取4个以上控制点，要求控制点均匀覆盖工程区域，并且保证影像图纠正精度；3）影像图纠正，在CASS软件中，点击选取插入的影像图，点击工具菜单下纠正图像，在图像纠正对话框中，选择拾取至少四个图面控制点坐标，输入控制点实际坐标，并选择一种纠正方法（如线性变换）进行影像图纠正；第五步，数字线划地形图绘制：1）生成高程点，在CASS软件菜单栏中选择绘图处理，点击展高程点，选择提取的高程数据文件，生成工区高程点；2）地形图绘制，在CASS软件中，根据需要由高程点生成等高线并进行编辑，对影像图进行判读，绘制道路、站厂、房屋、桥梁、水系、植被等地物地貌，初步生成1∶10,000数字线划地形图；第六步，外业调绘：1）依据内业绘制的线划图进行调绘，调绘人员校对线划图与实际信息是否一致，对电力线、植被类型、地名等内业无法判清、错判的地理信息进行补测、改正；2）内业成图，将外业调绘成果下载到电脑上，导入CASS软件进行编辑，生成1∶10,000数字线划地形图。

计算机图形学学科研讨会基于图像绘制（IBR）技术综述（A Survey on Image-based Rendering Techniques）石教英浙江大学计算机学院计算机辅助设计与图形学国家重点实验室2005年5月目录一、基于图像绘制（IBR）技术定义二、典型IBR技术演示1、Panorama Mosaics2、Tour-Into-Picture3、Light Field4、Feature-based Morphing三、IBR技术理论基础-Plenoptic Funciton1、An introduction2、how to handle with plenoptic fuction四、IBR技术发展1、Image Matting2、Digital PhotoMontage3、High-Dynamic-Range Image Display4、Plenoptic photography五、基于图像绘制技术定义的扩展TransformRasterization(& Lighting)¾Computer Vision methods to recover models.Image-Based Rendering& ModelingRendering& Modeling VolumeRendering一、基于图像绘制（IBR）技术定义z Problems of triangle-based graphics:•Always starts from scratch.•Millions of sub-pixel triangles.一、基于图像绘制（IBR）技术定义¾Definition of IBR (by Sing Bing Kang)image-based rendering techniques rely on interpolation using the original set of input images or pixel reprojection from source images onto the target image in order to produce a novel virtual view一、基于图像绘制（IBR）技术定义¾Definition of IBR (by Cha Zhang & Tsuhan Chen of CMU) Given a continuous plenoptic function that describes a scene, image-based rendering is a process of two stages: –sampling and rendering. In the sampling stage, samples are taken from the plenoptic function for representation and storage. In the rendering stage, the continuous plenopticfunction is reconstructed with the captured samples.二、典型IBR技术演示¾Paronoma MosaicsDemo二、典型IBR技术演示¾Tour-Into-Picture二、典型IBR技术演示Lightfield Video二、典型IBR技术演示Feature-based Morphing三、IBR技术理论基础-Plenoptic Funciton1. An Introductionz Two ways of describing the world:• A source description: ——The world can be described bygeometric models, texture maps, refection models, lightingand shading models.•An appearance description: ——The world can be describedby the dense array of light rays filling the space, which canbe observed by posing eyes or cameras in the space. Thelight rays can be represented through the Plenoptic function.z The traditional model-based rendering approachadopts the source description method.z The image-based rendering approach adopots theplenoptic function to describe the world.三、IBR 技术理论基础-Plenoptic Funciton ¾IBR: An Old Storyz Plenoptic function z As pointed out by Adelson and Bergen (1991):The world is made of three -dimensional objects, but these objects do not communicate their properties directly to an observer. …The plenoptic function serves as the sole communication link between the physical objects and their corresponding retinal images. It is the intermediary between the world and the eye.),,,,,,(t Z Y X f λφθ三、IBR技术理论基础-Plenoptic Funciton ¾7D Plenoptic Function三、IBR技术理论基础-Plenoptic Funciton2. How to Handle Plenoptic Function?z Two Stages•sampling and reconstruction of sampled signals z Two directions for simplication•Restrain the viewing space of the viewersz View pointz Perceptual•Introduce some source descriptions into IBRz Geometryz Depth三、IBR 技术理论基础-Plenoptic Funciton ¾Restraining in View Spacez Assumption 1: Wavelength•Constant wavelength•RGB•Almost all the practical representations of IBR make this assumption.),,,,,,(t Z Y X f λφθ三、IBR 技术理论基础-Plenoptic Funciton ¾Restraining in View Spacez Assumption 2: Air•Air is translucent•Radiances along a light ray through empty space remain constant.),,,,,,(t Z Y X f λφθ三、IBR 技术理论基础-Plenoptic Funciton ¾Restraining in View Spacez Assumption 3: Time•Static scene•Images captured at different time and positions can be used together to render novel views.•Too large size for dynamic scene),,,,,,(t Z Y X f λφθ三、IBR 技术理论基础-Plenoptic Funciton ¾Restraining in View Spacez Assumption 4: Viewpoint•The viewer is constrained to be on a surface•Acceptable:zHuman eyes are usually at a certain height -level z Human eyes are less sensitive to vertical parallax and lighting changes),,,,,,(t Z Y X f λφθ三、IBR 技术理论基础-Plenoptic Funciton ¾Restraining in View Spacez Assumption 5: Viewpoint•The viewer moves along a certain path.•Reduces 2dimensions from the full plenoptic function.•Too large size for dynamic scene),,,,,,(t Z Y X f λφθ三、IBR 技术理论基础-Plenoptic Funciton ¾Restraining in View Spacez Assumption 6: Viewpoint•The viewer has a fixed position.•Reduces the dimension of the plenoptic function by 3.•No 3D effects can possibly be perceived.•Similarity to regular images and videos.),,,,,,(t Z Y X f λφθ三、IBR技术理论基础-Plenoptic Funciton ¾Various Representations三、IBR技术理论基础-Plenoptic Funciton¾6D –The Surface Plenoptic Function z Assumption 2. As we discussed, whenradiance along a light ray through emptyspace remains constant.z6D•Position on the surface (2D)•Light ray direction(2D)•Time (1D) and wavelength (1D).三、IBR技术理论基础-Plenoptic Funciton¾Examplez The surface light field couldbe considered asdimension-reduced versionof SPF.D. N. Wood, D. I. Azuma, K.Aldinger, B. Curless, T.Duchamp, D. H. Salesinand W. Stuetzle, “Surfacelight fields for 3Dphotography”, ComputerGraphics (SIGGRAPH’00),July 2000.三、IBR技术理论基础-Plenoptic Funcitonz5D –Plenoptic Modeling and Light field Video Plenoptic modeling, which is a 5D function•3D for the camera position, 2D for the cylindricalimage.L. McMillan and G. Bishop, “Plenoptic modeling: animage-based rendering system”, ComputerGraphics (SIGGRAPH’95), August 1995,三、IBR技术理论基础-Plenoptic Funciton¾Plenoptic Modelingz To render a novel view from the 5D representation, the close-by cylindrical projected images are warped to the viewingposition based on their epipolar relationship and some visibility tests.三、IBR技术理论基础-Plenoptic Funciton¾4D –Light field / Lumigraphz Assumption 1, 2 and 3z Trickily parameterize ray space to 2-plane representation.uf(t sv),,,三、IBR技术理论基础-Plenoptic Funciton三、IBR技术理论基础-Plenoptic Funciton¾3D –Concentric Mosaicsz Assumption 1, 2, 3 and 4Tripodz Center camera => panoramaz Off-centered cameras => motion parallax…...Top view三、IBR技术理论基础-Plenoptic Funciton¾2D –Image Mosaicingz Composes one single mosaic with multipleinput imagesz In most cases, the light rays recorded in the mosaic share the same center-of-projection(COP) -Panoramic mosaic or panorama三、IBR技术理论基础-Plenoptic Funciton ¾Examples三、IBR技术理论基础-Plenoptic Funciton¾2D –Image Mosaicingz In the more general scenario, the cameras of the input images can move in free form andthe resultant mosaic has MCOPsz Manifold Mosaic.三、IBR技术理论基础-Plenoptic Funciton ¾Examples三、IBR技术理论基础-Plenoptic Funciton¾Quicktime VRz Using environmentalmaps•Cylindrical•Cubic•sphericalz At a fixed point,sample all the raydirections.z Users can look in bothhorizontal and verticaldirections三、IBR技术理论基础-Plenoptic Funciton ¾Mars Pathfinder Panorama三、IBR技术理论基础-Plenoptic Funciton ¾IBR with Various Source Descriptions三、IBR技术理论基础-Plenoptic Funciton ¾Correspondence between Images三、IBR技术理论基础-Plenoptic Funciton ¾Example 1: View Morphing(SIGGRAPH 96) Steve Seitz etc.三、IBR技术理论基础-Plenoptic Funciton ¾Dense Depth MapViewing RegionSprite withDepthLDIEnvironment Map三、IBR技术理论基础-Plenoptic Funciton¾Layered Depth Imagesz Idea:•Handle disocclusion•Store invisible geometry in depth images三、IBR技术理论基础-Plenoptic Funciton¾Texture Map (+ Scene Geometry) z Image based modelingz View dependent texture mapping三、IBR技术理论基础-Plenoptic Funciton¾Reflection Models (+ Scene Geometry) z Image based relighting。

虚拟现实及相关技术1 虚拟现实技术与虚拟现实系统虚拟现实(Virtual Reality)是一种可以创建和体验虚拟世界(Virtual World)的计算机系统。

它的基本特征：· 沉浸感(Iimmersion)是指用户作为主角存在于虚拟环境中的真实程度。

理想的虚拟环境应该达到使用户难以分辨真假的程度(例如可视场景应随着视点的变化而变化)，甚至超越真实，如实现比现实更逼真的照明和音响效果等。

· 交互性(Iinteraction)是指用户对虚拟环境内的物体的可操作程度和从环境得到反馈的自然程度(包括实时性)。

例如，用户可以用手直接抓取虚拟环境中的物体，这时手有触摸感，并可以感觉物体的重量，场景中被抓的物体也立刻随着手的移动而移动。

· 想象力(Imagination )是指用户沉浸在多维信息空间中，依靠自己的感知和认知能力全方位地获取知识，发挥主观能动性，寻求解答，形成新的概念。

虚拟现实是一门直接来自于应用的涉及众多学科的新的实用技术，是集先进的计算机技术、传感与测量技术、仿真技术、微电子技术等为一体的综合集成技术。

在计算机技术中，虚拟现实技术的发展又特别依赖于人工智能、图形学、网络、面向对象、Client/Server、人机交互和高性能计算机技术。

虚拟现实是多种技术的综合，其关键技术和研究内容包括以下几个方面：· 环境建模技术。

虚拟环境的建立是虚拟现实技术的核心内容，环境建模的目的是获取实际三维环境的三维数据，并根据应用的需要，利用获取的三维数据建立相应的虚拟环境模型。

· 立体声合成和立体显示技术。

在虚拟现实系统中，如何消除声音的方向与用户头部运动的相关性已成为声学专家们研究的热点。

同时，虽然三维图形生成和立体图形生成技术已经较为成熟，但复杂场景的实时显示一直是计算机图形学的重要研究内容。

· 触觉反馈。

在虚拟现实系统中，产生深临其境效果的关键因素之一是让用户能够直接操作虚拟物体并感觉到虚拟物体的反作用力。