虚拟演播室系统及其关键技术
- 格式:doc
- 大小:79.50 KB
- 文档页数:7
xr虚拟演播室的构成
XR虚拟演播室是一种基于扩展现实(XR)技术的虚拟现实演播室,主要由以下几个组成部分构成:
1. XR摄像机:采用XR摄像机进行拍摄,这是虚拟演播室的基础。
XR摄像头可以在实时捕捉演员的动作和表情,将其转化为数字化的三维模型。
2. XR追踪系统:用于追踪演员的位置和动作,将其实时传输到虚拟环境中。
通过追踪系统,摄像机可以准确地捕捉到演员的移动和姿势。
3. XR计算机:负责处理和渲染虚拟环境的计算机系统。
XR计算机需要具备强大的计算和图形处理能力,以实时渲染高质量的虚拟场景,并将演员的实时图像融合到场景中。
4. XR眼镜:演员佩戴XR眼镜,可以在虚拟环境中直接观察和与虚拟场景进行交互。
XR眼镜通过头显设备向演员提供虚拟景象,使其看到与实际环境不同的虚拟场景。
5. XR交互设备:用于演员与虚拟环境进行互动,例如手柄、手套等。
这些设备可以追踪演员的手部动作,并将其实时传输到虚拟环境中。
6. XR场景生成和渲染软件:用于创建和编辑虚拟场景,并实时渲染虚拟场景和演员的图像。
这些软件可以根据演员的动作和位置实时调整场景,并将实际摄像机的拍摄内容与虚拟场景进行融合。
以上是XR虚拟演播室的基本构成,通过这些技术和设备的结合,可以实现真实演员与虚拟场景的交互,为观众呈现出逼真的虚拟体验。
虚拟演播室系统虚拟演播室系统(The Virtual Studio System,简称VSS)是近年来随着计算机技术飞速发展和色键技术不断改进而出现的一种新的电视节目制作系统。
其原理是将摄像机拍摄的前景图像通过色键技术融入随摄像机镜头变化的虚拟场景中,以扩展电视节目制作的空间。
一、虚拟演播室系统构成典型的虚拟演播室系统是由摄像设备、摄像机位置参数分析和控制、图形计算机、背景材料库和图像合成等设备组成。
虚拟演播室节目制作系统构成的简单框图下图所示。
虚拟演播室节目制作系统构成在蓝背景中的主持人由前景摄像机(真实摄像机)拍摄,而上图所示的背景图像记录及生成系统称为虚拟摄像机。
真实的和虚拟的摄像机始终是锁定的。
因此,需要确定真实摄像机的位置参数,包括摄像机在演播室中的空间位置,摄像机的运动参数(倾斜、转动、翻转),摄像机镜头设置参数(变焦、聚焦、光圈)。
所有这些数据都被送入计算机中进行分析,实时生成与前景图像保持正确透视关系的背景图像。
然后,前景图像(包括主持人和真实场景、道具)与计算机生成的背景图像通过色键控制器进行合成。
输出的图像可以直接播出或存储。
二、虚拟演播室关键技术虚拟演播室技术包括摄像机跟踪技术、计算机虚拟场景设计和蓝背景技术、灯光技术和色键技术等。
1.摄像机跟踪技术摄像机跟踪技术是虚拟演播室中一项关键技术,它可以获取摄像机在演播室中的实际位置参数和动作参数,从而判断摄像机、主持人、计算机虚拟场景之间的相对位置关系,帮助系统实现真实摄像机与虚拟摄像机的锁定。
目前,摄像机跟踪技术主要有图形识别和机械传感两种方式。
(1)图形识别法图形识别实际上是一种"运动估测算法",它可以对运动画面进行精确的计算,获得摄像机的各项运动参数。
实际应用一般采用有浅蓝色网格图案的深蓝色背景板,拍摄时,系统会对网格进行定位追踪,通过对每一幅画面中许多像素点亮度信号进行计算,可以得出画面的移动和比例的变化,用这个测量值和运动参数建立一个关于像素子集的联立方程。
电视虚拟演播室的跟踪技术及选择路径电视虚拟演播室(Virtual Studio)是一种基于计算机图像处理技术实现的电视节目制作技术。
它通过对摄影机拍摄的画面进行实时渲染和合成,将现场拍摄的人物、物品等图像与虚拟场景进行无缝融合,从而创造出逼真的影像效果。
这种技术已经广泛应用于体育赛事、新闻报道、娱乐节目等领域。
虚拟演播室的核心技术是对人物、物品等进行跟踪识别,并将其与虚拟环境进行精确的对接。
常见的跟踪技术有以下几种:1. 光流法光流法是一种通过计算邻近两帧图像中像素的运动,来预测下一帧图像中各个像素的位置和运动状态的技术。
光流法适用于速度较慢且像素数量较少的场景,如新闻演播室等。
2. 特征点跟踪特征点跟踪是一种通过提取图像中显著、易于区分的特征点,并在不同帧之间进行匹配,从而实现物体跟踪的技术。
该技术适用于速度较快、像素数量较多的场景,如体育赛事等。
3. 色彩跟踪色彩跟踪是一种通过对图像中某种颜色的像素进行跟踪,以实现物体跟踪的技术。
该技术的优点是简单易用,但缺点是受场景光照、背景色等因素影响较大。
除了以上跟踪技术外,虚拟演播室还需要选择合适的虚拟环境和渲染方式。
虚拟环境的选择应该根据节目类型和主题进行,需考虑环境的逼真度、效果和实时性等因素。
常用的虚拟环境包括街景、森林、城市等。
渲染方式可以选择基于图像遮挡的Alpha合成技术、基于物理光线追踪的Global Illumination等。
需要注意的是,虚拟演播室技术虽然能够创造出逼真的场景与效果,但在使用中还需特别注意不要影响真实拍摄的相关要素。
同时,虚拟演播室的使用不应该成为引导观众去相信虚假事实的手段,或者暗示不真实的情况。
电视虚拟演播室的跟踪技术及选择路径电视虚拟演播室是指利用计算机技术和虚拟现实技术在电视节目制作中模拟真实场景的一种技术手段。
它通过虚拟场景生成器、追踪设备和计算机软件等组成,可以实现电视节目中幕后人员与虚拟场景进行互动。
在电视虚拟演播室中,跟踪技术起到了至关重要的作用,它可以追踪参与节目的演员、主持人等对象的位置和动作,从而实现与虚拟场景的交互。
目前,常见的电视虚拟演播室跟踪技术主要有以下几种:1. 光学跟踪技术:利用红外线或激光等光学设备追踪演员的位置和动作。
红外线跟踪技术是最为常见的一种,通过安装在摄像设备上的红外发射器和接收器,可以实时获取演员的位置信息。
这种技术准确度较高,但受到光照等环境因素的影响。
2. 视频跟踪技术:利用摄像机对演员进行实时拍摄,并通过计算机软件对图像进行处理和分析,从而获取演员的位置和动作信息。
这种技术主要依靠图像识别和运动追踪算法,可以实现对多个演员的同时跟踪,并可通过多个摄像机的组合提高准确度。
3. 惯性传感器跟踪技术:利用内置在演员身上的惯性传感器,如加速度计、陀螺仪等,实时获取演员的姿态和运动状态。
这种技术不受环境光照等因素的影响,具有较高的准确度,但对于演员的动作范围有一定要求。
在选择电视虚拟演播室跟踪技术时,需要考虑以下几个方面:1. 准确度:跟踪技术的准确度是评判其是否合适的重要指标。
在选择技术时,需要考虑其在不同场景下的追踪效果,并对比各种技术的准确度。
2. 实时性:电视节目制作通常需要实时完成,因此跟踪技术需要具备较高的实时性,能够实时获取演员的位置和动作信息,并及时反馈给虚拟场景生成器。
3. 稳定性:跟踪技术的稳定性对于节目的顺利进行非常重要。
在选择技术时,需要考虑其在长时间使用和不同环境条件下的稳定性,以避免技术故障导致节目制作中断。
4. 成本与可行性:不同的跟踪技术具有不同的成本和可行性,需要根据实际情况进行选择。
光学跟踪技术虽然准确度较高,但设备成本较高;视频跟踪技术相对成本较低,但对硬件设备和计算机软件要求较高。
虚拟演播室解决方案一、背景介绍虚拟演播室是一种基于虚拟现实技术的创新解决方案,它通过模拟真实的演播室环境,使用户能够在虚拟空间中进行各种演播活动,如主持节目、新闻播报、电视剧拍摄等。
虚拟演播室具有节省成本、提高效率、增强创意等优势,因此在广播电视、影视制作、网络直播等领域得到了广泛应用。
二、虚拟演播室解决方案的组成部分1. 虚拟场景建模与渲染技术为了实现真实的演播室效果,虚拟演播室解决方案需要借助虚拟场景建模与渲染技术。
通过对演播室的各个元素进行三维建模,并利用高级渲染技术进行真实感的呈现,可以使用户在虚拟环境中获得身临其境的体验。
2. 虚拟主持人技术虚拟主持人技术是虚拟演播室解决方案的核心之一。
通过使用人工智能技术和语音合成技术,可以实现虚拟主持人的自动化生成和实时互动。
虚拟主持人可以模拟真实主持人的表情、语调和动作,与观众进行互动,提供更加生动和有趣的演播体验。
3. 虚拟摄像机技术虚拟摄像机技术是虚拟演播室解决方案中的重要组成部分。
通过利用虚拟摄像机技术,可以实现对虚拟演播室中各个角度的拍摄和切换。
用户可以通过虚拟摄像机自由选择不同的拍摄角度,实现多角度的演播效果,增强观众的观看体验。
4. 虚拟特效技术虚拟特效技术是虚拟演播室解决方案中的关键技术之一。
通过利用虚拟特效技术,可以实现对演播室中各种特效的添加和调整。
例如,可以在虚拟演播室中添加虚拟背景、虚拟道具、虚拟人物等,营造出丰富多样的视觉效果,提升演播质量。
三、虚拟演播室解决方案的应用场景1. 广播电视行业虚拟演播室解决方案在广播电视行业中得到了广泛应用。
通过虚拟演播室,电视台可以节省搭建真实演播室的成本,同时可以实现更加灵活和多样化的演播效果,提高电视节目的观赏性和娱乐性。
2. 影视制作行业虚拟演播室解决方案在影视制作行业中也有广泛的应用。
通过虚拟演播室,电影制片厂可以在不同的场景中进行拍摄,无需搭建真实的演播室,节省了制作成本。
同时,虚拟演播室还可以实现对虚拟特效的添加和调整,为影视作品增添更多的艺术效果。
视界观 OBSERVATION SCOPE VIEW372虚拟演播室技术概述王建波(烟台广播电视台,山东,烟台 264003)摘 要:虚拟演播室技术的出现,使电视节目的制作流程以及节目的视觉效果都发生了相当程度的变化。
本文主要介绍了虚拟演播室的组成与关键技术。
关键词:虚拟演播室 电视节目 关键技术1、概述虚拟演播室克服了传统布景费用昂贵、不宜随便搬动、灵活性差、场地不能重复利用等缺点,采用虚拟演播室技术,可以制作出任何想象中的布景和道具。
无论是静态的,还是动态的,无论是现实存在的,还是虚拟的,这只依赖于设计者的想象力和三维软件设计者的水平。
许多真实演播室无法实现的效果,对于虚拟演播室来说,确是“小菜一碟”。
虚拟演播室的产生,给视频节目制作带来了一场革命。
2、虚拟演播室组成虚拟演播室主要由摄像机跟踪系统、虚拟场景生成系统及视频合成系统组成。
虚拟演播室的基本工作原理是利用摄像机跟踪技术将摄像机拍摄到的以蓝幕为背景的视频图像传到色键合成器,并将采集到的真实摄像机的运动参数进行处理后传给图形图像发生器,图形图像发生器根据真实摄像机的运动参数生成与前景保持正确透视关系的虚拟场景和外键信号,为了对虚拟场景生成系统生成虚拟背景所需的延时进行补偿,前景信号的输出必须经过延时器进行相应的延时,再由视频合成系统的色键器将前景、虚拟场景形成完全一致的三维透视关系,使前景中的人物、景物看起来完全融合于虚拟场景中,避免了不真实、不自然的感觉。
3、虚拟演播室关键技术虚拟演播室系统关键在于如何生成虚拟背景并将其与前景融合,其中摄像机参数的跟踪、虚拟场景的生成和图像的合成是虚拟演播室技术的关键。
3.1 摄像机跟踪系统摄像机跟踪技术是虚拟演播室中的一项关键技术,它可以获取摄像机在演播室中的未知参数及动作参数,为图形渲染引擎提供准确、及时的数据,从而判断摄像机、演员、主持人及计算机虚拟场景之间的相对位置关系,帮助系统实现真实摄像机与虚拟摄像机的锁定。
电视虚拟演播室的跟踪技术及选择路径电视虚拟演播室是一种利用虚拟技术和计算机图像合成技术在电视制作中实现背景虚拟化的技术。
它通过将演员放置在一个绿幕(或蓝幕)背景前,利用图像合成软件实时替换背景,从而使其看起来像是在一个完全不同的场景中表演。
为了实现这个效果,需要使用一种跟踪技术来精确地跟踪演员的位置和动作。
1. 光学跟踪技术:通过使用红外摄像头和红外标记来跟踪演员的位置和动作。
演员身上穿着特殊的服装或带有红外标记,摄像头会捕捉红外标记的位置信息,并发送给图像合成软件进行处理。
2. 视频跟踪技术:通过使用摄像头捕捉演员的视频画面,利用计算机视觉算法来实时分析画面中演员的位置和动作。
这种技术可以根据具体需求选择合适的算法,如机器学习算法、人体姿态估计算法等。
3. 惯性跟踪技术:通过使用惯性传感器(如陀螺仪、加速度计等)来跟踪演员的位置和动作。
这种技术适用于需要更高精度的跟踪,如虚拟现实和增强现实应用中的交互操作。
1. 精度:不同的跟踪技术具有不同的精度,从而影响最终的合成效果。
需要根据具体的应用需求选择适合的精度水平。
2. 实时性:电视制作通常需要实时合成效果,因此跟踪技术需要具备足够的实时性能。
需要选择能够在实时场景下进行跟踪的技术。
3. 成本:不同的跟踪技术具有不同的成本,包括设备成本、软件成本和维护成本等。
需要根据可承受的成本范围选择适合的技术。
4. 应用场景:电视虚拟演播室的应用场景多种多样,有些场景可能对跟踪技术有特殊要求,如追踪速度较快的运动员或拥有特殊动作的舞蹈演员等。
需要选择适合特定场景需求的技术。
电视虚拟演播室的跟踪技术选择应根据精度、实时性、成本和应用场景等因素进行评估和选择。
尽可能选择能够提供高精度、实时性能好且成本适中的技术,以满足电视制作对虚拟演播室的需求。
电视虚拟演播室的跟踪技术及选择路径1. 引言1.1 介绍电视虚拟演播室的概念电视虚拟演播室是利用虚拟现实技术将实际场景与虚拟环境相结合,创造出一种虚拟的演播空间。
在传统的电视制作中,演播室往往需要通过搭建复杂的实际场景和布置专业设备来实现不同场景的拍摄,这不仅造成了场地和设备的浪费,还限制了节目制作的灵活性和创造性。
而电视虚拟演播室则能够在虚拟环境中实现各种场景的切换和定制,极大提升了节目制作的效率和质量。
通过电视虚拟演播室,制作人员可以在虚拟环境中随意调整布景、灯光等各项元素,实现对演播空间的完全控制。
观众也可以通过电视画面看到各种精美的虚拟效果,增强了观赏体验。
电视虚拟演播室还可以实现对实景演播室无法实现的视角切换和特效表现,为节目制作带来更多可能性。
电视虚拟演播室是电视节目制作中一种新颖且高效的技术手段,能够为节目制作带来更多的创意和可能性。
通过将实际场景转化为虚拟环境,实现了对演播空间的完全控制,提高了节目制作的质量和观赏体验。
1.2 探讨电视虚拟演播室跟踪技术的重要性电视虚拟演播室是一种利用虚拟现实技术,在实际拍摄过程中将演员与虚拟场景实时融合的影视制作技术。
在这一技术中,跟踪技术起着至关重要的作用。
跟踪技术可以追踪演员及摄像机的实时位置和姿态,使得虚拟场景能够准确地与现实场景进行交互,从而实现视觉效果的完美呈现。
电视虚拟演播室的跟踪技术对于提高影视作品的视觉效果质量具有重要意义。
通过跟踪技术,摄影师可以更精准地控制摄像机拍摄角度和视角,使得虚拟场景与实际演员的动作完美契合,为观众呈现出更为逼真的视听体验。
跟踪技术的高精度和高稳定性可以确保虚拟场景的实时跟随,避免出现画面抖动或错位等影响观赏体验的问题,提升了制作效率和作品质量。
电视虚拟演播室的跟踪技术是影视制作中不可或缺的重要环节,它在提升作品视觉效果和实现虚拟与实际场景的无缝融合方面发挥着重要作用。
通过不断的技术创新和发展,跟踪技术将会在电视虚拟演播室的应用中扮演越来越重要的角色,为影视作品的制作带来更多可能性和创新。
虚拟演播室解决方案虚拟演播室是一种基于虚拟现实技术的创新解决方案,通过使用计算机生成的虚拟环境和增强现实技术,可以实现远程演播室的功能。
它为广播、电视、电影、演讲等领域提供了一种全新的方式,使得参与者可以在虚拟环境中进行真实感觉的演播活动。
虚拟演播室解决方案的主要组成部分包括硬件设备、软件平台和系统集成。
下面将详细介绍每个部分的功能和特点。
1. 硬件设备:虚拟演播室的硬件设备包括计算机、显示器、摄像机、麦克风、音频设备和触控设备等。
计算机是整个系统的核心,负责处理虚拟环境的生成和渲染。
显示器用于显示虚拟环境,摄像机和麦克风用于捕捉演播者的动作和声音。
音频设备用于提供高质量的音频输出,触控设备用于与虚拟环境进行交互。
2. 软件平台:虚拟演播室的软件平台是实现虚拟环境生成和演播功能的关键。
它包括虚拟现实引擎、图形渲染引擎、音频处理引擎和交互控制引擎等。
虚拟现实引擎负责生成虚拟环境,图形渲染引擎负责将虚拟环境渲染到显示器上,音频处理引擎负责处理音频输入和输出,交互控制引擎负责接收和处理用户的交互指令。
3. 系统集成:虚拟演播室的系统集成是将硬件设备和软件平台进行有机组合的过程。
系统集成的关键是确保各个组件之间的协同工作和数据传输的稳定性。
在系统集成过程中,需要进行硬件设备的连接和配置,软件平台的安装和调试,以及系统的测试和优化。
虚拟演播室解决方案的应用场景广泛,可以用于电视节目制作、在线直播、虚拟会议、虚拟演讲等。
它的优势主要体现在以下几个方面:1. 实时互动:虚拟演播室可以实现多人实时互动,参与者可以在虚拟环境中进行实时交流和互动,增加了参与感和沉浸感。
2. 节约成本:相比传统的演播室,虚拟演播室无需搭建实际的场景和道具,大大降低了制作成本。
同时,虚拟演播室可以实现远程演播,节省了人员和设备的运输成本。
3. 创意自由:虚拟演播室可以根据需要随时调整虚拟环境的场景和效果,提供了更多的创意空间和自由度。
虚拟演播室关键技术之跟踪与定位+锁定
跟踪与定位
跟踪与定位
在虚拟演播室节⽬制作过程中,确定摄像机的状态信息⾮常关键。
虚拟演播室专⽤数字摄像机通常为⼆到三个,摄像机配有运动检测和识别系统,即摄像机跟踪器。
其跟踪⽅式有光学识别系统和机械传感式系统两种。
其原理是将检测到的摄像机的推、拉、摇、移、聚焦、变焦乃⾄升降等传感部位的运动数据,通过⼀个“传感器”装置传输到“校准器”,这样,理想情况下,现场摄像机与虚拟演播室中“虚拟”的摄像机被相对地锁定在⼀个位置上。
当现场演播室摄像机运动时,虚拟摄像机受跟踪器的控制可以实时地与现场摄像机保持同步。
锁定
锁定
虚拟演播室的另⼀重要⽽独有的问题是摄像机之间的位置关系。
虚拟摄像机与真实摄像机的初始位置并⽆直接关系,它可以放在虚拟空间的任意位置,当演播室有两台以上摄像机进⾏切换时,必须保持实际演员和景物在虚拟演播室中的位置不变,也就是与虚拟景物的关系不变。
否则在切换时,观众会看到演员从背景中某个地⽅跳到另⼀个地⽅,在视觉上会造成不真实的效果。
由于真实物体与演员是由真实摄像机给出,背景由虚拟摄像机给出,所以必须对虚拟摄像机进⾏位置锁定,即虚拟摄像机之间的距离必须与真实摄像机之间的距离相等,且推拉、摇移的初始量(原位⽮量)与真实摄像机的位置⽅向关系保持⼀致,才能进⾏切换。
多功能一体化虚拟演播室系统技术要求参数:★系统要求采用无轨虚拟演播技术,无须移动或者操作真实摄像机,即可实现节目制作过程中镜头推,拉,摇,移,及旋转的效果。
实现所有这些镜头特效效果,无需借助传感器或网格等其他设备测量。
★系统须保证是国外原装进口国际品牌、要求质量保证且具有至少提供一个国际获奖证书,须通过FCC、CE认证,并提交相关证书。
同时,虚拟系统所有设备接口(包括视频,音频接口)必须为广播级标准,虚拟系统以及信号指标必须通过国家广电总局检测,并提交国家广播电影电视总局广播电视计量检测中心提供的测试通过报告。
★虚拟演播室系统要求能实现3路实时高清和5路实时标清的混合同步输入输出,可根据实际需要来实现自适应上下变换的高标清信号输出★系统必须支持8个或以上不同的虚拟摄像机位,并可实现多个虚拟摄像机位之间的快速切换及推拉摇移慢动作的切换运动拍摄效果,且摄像机运动过程的时长可以由用户通过系统自定义和修改。
整个前景、虚拟场景等多种虚拟节目成份能在同帧内切换完成,确保多机位切换时前后景同步、画面平滑、不抖动、无撕裂。
★系统必须采用2路硬件色键器,提供可独立运行的色键。
可同时分别对每路视频信号进行单独色键处理。
色键器提供至少2种不同级别的颜色设定,可有效去除背景上的阴影,无颜色溢出或空间影响,同时,色键器还必须提供环境色调节功能,可根据不同场景文件的变化,而增加不同前景色反射在人物身上的色泽效果,以增强人物的真实感,使制作出来的效果更逼真。
还能实现人物真实影子的效果,而不仅仅是实现由系统模拟出来的虚假影子效果。
★系统必须支持Autodesk 3D Studio Max 、Autodesk Maya或Cinema 4D 等软件制作虚拟场景渲染图片,不需要复杂的3D建模,仅通用PS图片层即可轻松完成场景的变换制作★系统须支持拖拽式三维物件场景自定义,无需设计即可完成三维场景模板的变换。
★系统须支持场景图片分层导入,每一层均可单独设置不同的运动轨迹,以实现场景内分层物体在同一时间段内的相对运动效果。
多年来,演播室的节目录制经常使用色键抠像技术,将在蓝背景前录制的前景画面(如播音员、主持人)与事先制作好的背景画面经色键器合成,产生所需的节目画面供播出或录制。
使用这种传统的抠像技术最大的缺点是在前景和背景合成时,前景和背景的图像没?quot;锁定",也就是说摄像机运动时(变焦、移动、转动),背景无法随之变化。
这样就造成前景与背景的相对位置关系不正确,合成的图像生硬,播音员好像在背景上漂浮,不符合人们的视觉习惯。
为了避免这种情况,就需要对前景与背景在空间上"锁定",即调整或移动背景使之与摄像机的运动同步。
虚拟演播室(V irtual Studio)可以说是应运而生,成为节目制作人员关注的焦点。
一、虚拟演播室系统构成典型的虚拟演播室系统是由摄像设备、摄像机位置参数分析和控制、图形计算机、背景材料库和图像合成等设备组成。
虚拟演播室节目制作系统构成的简单框图如图1所示。
在蓝背景中的演员由前景摄像机(真实摄像机)拍摄,而如图1所示的背景图像记录及生成系统称为虚拟摄像机。
真实的和虚拟的摄像机始终是锁定的。
因此,需要确定真实摄像机的位置参数,包括摄像机在演播室中的空间位置,摄像机的运动参数(倾斜、转动、翻转),摄像机镜头设置参数(变焦、聚焦、光圈)。
所有这些数据都被送入计算机中进行分析,实时生成与前景图像保持正确透视关系的背景图像。
然后,前景图像(包括演员和真实场景、道具)与计算机生成的背景图像通过色键控制器进行天衣无缝的合成。
输出的图像可以直接播出或记录在存储媒介上。
图1虚拟演播室节目制作系统构成二、虚拟演播室关键技术虚拟演播室技术包括摄像机跟踪技术、计算机虚拟场景设计和蓝背景技术、灯光技术和色键技术等。
1.摄像机跟踪技术摄像机跟踪技术是虚拟演播室中一项关键技术,它可以获取摄像机在演播室中的实际位置参数和动作参数,从而判断摄像机、演员或主持人、计算机虚拟场景之间的相对位置关系,帮助系统实现真实摄像机与虚拟摄像机的锁定。
摄像机跟踪要求有足够的精度。
以变焦比为20倍、60万像素的2/3英寸CCD摄像机为例,假定水平有效像素数为850,最小水平视角3°~5°,为保持±1/2像素的图像精确度并考虑镜头特性,要求角度定位精度和分辨率达到0.001°数量级。
目前,摄像机跟踪技术主要有图形识别和机械传感两种方式。
(1)图形识别法图形识别实际上是一种"运动估测算法",它可以对运动画面进行精确的计算,获得摄像机的各项运动参数。
实际应用一般采用有浅蓝色网格图案的深蓝色背景板,拍摄时,系统会对网格进行定位追踪,通过对每一幅画面中许多像素点亮度信号进行计算,可以得出画面的移动和比例的变化,用这个测量值和运动参数建立一个关于像素子集的联立方程。
为了减少计算误差,可以选择一个基准帧,以之为基准对每幅画面进行计算。
同时为了达到实时处理,要求计算机的图像处理速度达到50帧/秒。
为了避免摄像机快速进行左右、俯仰摇动时,画面中网格图案变得模糊而影响跟踪效果,摄像机应使用电子快门。
电子快门的速度越快,允许摄像机运动的速度就越快。
同时,演播室整个蓝色幕布(蓝箱)的布光要尽量均匀。
当摄像机的光圈为5.6,电子快门速度为1/120时,网格图案的信号电平应达到70%左右,这样可获得最稳定的跟踪效果。
(2)机械传感法基于传感器的摄像机跟踪系统最精确,传感器被安装在摄像机三角架、基座、升降摇臂的摇摄轴、俯仰轴上和镜头的变焦、聚焦环上以及滑轨、推车上。
它采集摄像机位置和透视数据,编码量化后通过RS-232端口或RS-422端口传送给计算机。
(3)两种跟踪方式的比较无论是图形识别方式还是传感器方式各有其优缺点。
图形识别方式的优势在于:不需要对摄像机进行改造,无需镜头校准,便于摄像师操作,摄像机可以不用轨道进行移动;一个跟踪器可同时用于多个摄像机。
其不足之处在于:要对每幅画面进行大数据量分析和计算,加大了视频延时量;为了精确的跟踪,必须使网格图案保持清晰,这使得摄像机景深范围受到限制;只有当画面中含有一定数量的网格图案时,系统才能进行测量计算,使得演员的活动范围受到一定的限制,无法拍摄一些特写镜头;由于背景有深浅两种蓝色,对演播室布光要求比较严格,对色键器的质量要求很高。
机械传感方式可以弥补上述图形识别方式的不足,测量摄像机运动参数非常精确,旋转角度可以达到.001°,移动距离可以达到0.01毫米的精确度;摄像机运动不受限制,演员在蓝色布景范围内的活动自由度大。
但其缺点在于:每台摄像机必须有一个跟踪器;摄像机移动不便,定位、镜头校准复杂困难。
图形识别和机械传感是虚拟演播室常用的两种获得摄像机运动参数的技术,各有千秋。
为了更方便用户使用,目前较为流行的几种虚拟演播室系统,在以某种跟踪技术为主的同时还融入了另外一种以及更为先进的技术,如红外线跟踪技术、超声波跟踪技术、辅助摄像机技术。
2.计算机虚拟场景生成虚拟演播室中的场景、道具通常都由计算机产生。
在常规演播室中不可能做到的复杂而庞大的背景,甚至许多现实生活中人们不可能见到的景观,都可以在虚拟演播室中得以实现。
随着PC机的计算能力、绘图能力和视频处理能力的极大提高,结束了SGI Onyx图形工作站独霸虚拟演播室主机应用的时代,这样就给用户有更大的选择空间。
三维虚拟场景可以由两种不同的方式产生。
(1)预生成三维方式这种方式需先在三维建模工具中建立布景模型,预先生成每台虚拟摄像机的视图画面,作为各自对应的真实摄像机的虚拟背景。
一旦场景模型建立,摄像机的位置也就确定,不能再随意移动。
这种方式可以产生比较真实的三维虚拟背景,也称为"二维半"。
其图像的水平和垂直像素值有一定的限制,只能使用256、512、1024、1536、2048这几种数值。
(2)真三维方式采用这种方式建立三维模型,模型中的虚拟摄像机与演播室中的摄像机互相对应,当真实摄像机的镜头或位置参数变化时,虚拟摄像机产生同样变化,并实时生成视图作为虚拟背景。
在真三维方式下,所有摄像机在演播室中都可以任意移动。
真三维方式与二维半方式的最大区别在于是否实时读取场景源文件并对源文件实时渲染。
二维半采用事先生成背景和遮挡掩膜的图片文件,而真三维是读取3D Max、Maya、Softimage等三维建模软件制作的场景源文件。
二维半系统的场景生成比较简单,按照摄像机机位的参数对背景图和遮挡掩膜进行处理后生成演播室背景信号。
而真三维系统包括场景调度、物体运动、灯光调节、特殊效果调节等模块,功能更为强大。
从场景设计角度来看,由于二维半系统事先生成场景图片,采用贴图的方式进行前后景的合成,因此在场景设计方面不受局限,可以设计无限精细和无限复杂的场景。
真三维系统是对场景源文件实时渲染,场景精细度和复杂度受系统硬件和软件的限制较大。
二维半虚拟演播室更适于对实效性要求高的节目制作。
而真三维虚拟演播室更适于对灵活性要求高的节目。
3.色键技术虚拟场景不仅有背景,还有前景,如桌子、讲台等,演员甚至可以进入一个虚拟物体中去。
画面中真实的、虚拟的物体间的关系比较复杂,要想实现完美自然的叠加,就需要具有特殊功能的高级色键技术,因此,产生了一种被称为Z轴深度键的新技术。
目前主要有基于层次级和像素级的深度键。
层次级深度键技术将物体分别归类到数目有限的深度层中去,所以,演员在虚拟场景中的位置无法连续变化。
像素级深度键技术把构成虚拟场景中的每一个像素都赋予相应的Z轴深度值。
虚拟物体、真实物体和演员可以动态地相互遮挡,从而增加了虚拟场景的真实感。
虚拟演播室色键还要关注的一个问题是"消蓝"。
由于使用蓝幕背景,因此环境反光会造成前景物体和演员身上有一些蓝色的干扰成分,对透明或半透明物体更易造成干扰。
这时,就需要对前景进行非常复杂的消蓝控制,即遏制削弱蓝色成分,同时,又不使前景产生颜色失真。
现在,高质量的数字色键针对视频三个分量(Y、B-Y、R-Y)的每一路进行处理,分别产生一个线性键,并用自动跟踪代替手动切换,这种方法允许保留更多的图像细节。
例如,Ultimatte的400型数字色键,它对前后景作混合而不是切换,对前后景分别处理后相叠加产生合成画面,这样不会限制整体信号。
它用特有的算法产生遮罩(Matte)信号,可以更好地从前景物体中区分背景。
而且它在用抑制衬底及消蓝的特殊算法处理前景的同时,允许在前景上再现蓝色阴影。
虚拟演播室技术的发展是和数字视频技术、计算机技术及其他相关尖端技术的发展息息相关的,它在实践中不断成熟,虚拟演播室系统类型也得到不断完善,能满足不同层次的需要,同时还出现了一些能实现特殊功能的类型,如虚拟出席、移动场景及适应高清晰度电视的HD虚拟演播室系统。
虚拟演播室已不仅仅在电视台应用,许多气象台、企业、学校也引进了虚拟演播室,我们相信,它将会成为一种最为有力的节目制作工具。
1、虚拟背景渲染主机:天创UCX 3D虚拟演播工作原理完成虚拟背景的渲染输出工作,同时采集传感跟踪系统摄像机的运动参数,最终的渲染输出相应的包括背景信号和作为前景遮挡的键信号。
控制摄像机切换模块,当虚拟背景进行不同视角背景切换的时候,同时发出控制信号给摄像机切换模块,切换至相应视角的前景摄像机。
控制色键,通过计算机软件调整和保存色键的状态各项参数。
2、摄像机传感跟踪系统:采用机械光电传感跟踪方式,采集摄像机平摇、俯仰、镜头推拉六个方位的动作信息。
3、色键:完成摄像机前景和虚拟背景的实时合成输出。
4、切换器:完成摄像机前景信号的切换工作,受控于渲染主机串口信号。
5、同步信号分配器:完成外来同步信号的分配,分别将同步信号分配给背景渲染引擎、色键、切换模块以及预留给用户摄像机的三个同步信号输出口。
6、延时器:对前景信号进行延时一帧的处理,使得前景信号和渲染主机生成的背景信号同步。
虚拟演播室系统虽然不局限于抠蓝,但蓝色有几个优点:一是蓝色能更好地保护人体的皮肤颜色;其次,物体周围的蓝边弱色调没有绿边弱色调显眼;三是演员们在蓝色环境中工作要比绿或红色环境中愉快。