服务热线 13600071039余生

13802964856吕生

前沿技术

虚拟现实技术在电视节目制作领域中的应用

一、引言

    虚拟现实技术早先应用于军事和航空领域,应用成本相当昂贵。它通过计算机仿真技术模拟出虚拟的现实世界,再利用某种人机交互手段使人感到置身于真实世界。比如飞行模拟训练器:受训人员可以观察驾驶舱屏幕,通过驾驶盘、操纵杆等传感系统来控制飞机的起飞、降落。在机舱中看到的则是计算机模拟的向后飞驶的逼真的机场环境、各种各样的仪表和指示灯,听到的则是计算机模拟的机舱环境声,感觉到的则是计算机模拟的机舱相对于跑道的运动和驾驶盘、操纵杆所具有的真实触觉。通过视觉、听觉、触觉等感觉器官的功能,把人带入一个虚拟现实环境,仿佛使人感到走进了一个真实的世界。利用计算机生成的虚拟环境可以是具体或抽象的三维世界,通过与虚拟环境进行交互作用,即能实时地操纵和改变这种环境。这便是虚拟现实技术的概貌。随着计算机技术的发展,软硬件的代价相对降低,虚拟现实技术才有望于用到建筑、医疗、教育、影视、娱乐等领域。

    虚拟演播室则是近年来虚拟现实技术和传统的色键抠像技术的结合在电视节目制作领域中的应用。由此引起了电视节目制作领域内的一场革命。使我们摆脱了传统的空间环境和真实物体的约束,进入了一个无限的想象空间,以实现各种新颖、奇特的创意。从而极大地提高了电视台的节目创作和制作能力,同时可满足广大观众对电视节目内容质量日益增长的需求。
.虚拟演播室简介
1.色键抠像原理
    假如图像A是风景,图像B是具有蓝色背景的人像,色键抠像技术通过色键信号发生器将图像B中的蓝色背景选出来形成键信号,即人像为白背景为黑的黑白图像。再用此黑白键信号去控制图像AB,使图像A对应于人像部分变成黑电平,图像B对应于蓝色背景部分变成黑电平(注意黑电平的电压值为零)。然后两图像信号相加把图像B中的人像嵌入图像A中形成合成图像,至此完成色键抠像的整个过程。由此可见,当拍摄前景图像B的摄象机作推、拉、摇、移等运动时,合成图像中的背景图象A是不会同时相应地运动的,从而产生了前景图像在背景图像上浮动的感觉,缺乏真实感。作为色键抠像用的两摄像机(或其他信号源)由于没有同步动作的装置,通常在工作时由于两台摄像机中的各参数不能改变,合成图像的前景与背景是相对固定的。据说有人想设计一种同步装置将两台摄像机保持同步动作,但由于种种原因而没有成功。色键抠像技术虽然给电视节目制作带来了新的创意,但在实际使用时还是受到一定的局限性。
2.虚拟演播室原理

    虚拟演播室是虚拟现实技术和传统色键抠像技术结合的产物。它与传统的色键抠像技术最根本的区别在于引入了虚拟现实技术中的信息交互技术。利用摄像机跟踪技术所获取的真实摄像机运动参数来控制计算机中的虚拟摄像机相应的运动参数,使真实摄像机和虚拟摄像机保持同步运动,使得虚拟摄像机拍摄的虚拟背景与真实摄像机在蓝幕前拍摄的人物前景通过色键抠像技术完美地合成在一起。当拍摄前景的真实摄像机运动时,其合成画面的背景也同时相应地运动,始终保持相应的透视角度,合成效果仿佛是从实景中拍摄所得。这样就解决了传统抠像技术中背景不能随前景运动的局限性。既然背景可以用计算机制作,那就给我们创造了无限的创作空间,可以是真实世界的模拟,也可以是想象出的虚拟世界,使我们彻底摆脱了传统演播室的束缚。
3.当前虚拟演播室的种类

    当前虚拟演播室的产品主要有美国ACCOM公司的ELSET系统、美国E&S公司的MINDSET系统、以色列ORAD公司的CYBERSET系统和以色列RT-SET公司的LARUS系统。国内主要有大洋公司的大洋虚拟演播室系统、索贝公司的新视野虚拟场景合成系统、奥维迅公司的新闻虚拟演播室和北大方正公司的方正虚拟布景系统。由于其丰厚的利润,还有许多公司也正将加入虚拟演播室的开发行列。然而虚拟演播室是近几年才流行起来的一种电视节目制作手段,还未进入成熟阶段,各公司的产品难免存在这样、那样的缺点。但应相信随着科学技术的发展,虚拟演播室技术一定能逐趋完善。使人感到欣慰的是国内公司也有同类的产品,预计国产虚拟演播室产品有望象国产字幕机一样占领国内市场。

    虚拟演播室按摄像机运动参数的采集方式,主要可分为基于传感器方式和网格识别方式两大类。摄像机运动参数包括镜头参数:变焦、聚焦、光圈,机头运动参数:摇移、俯仰,摄像机空间位置参数:(XYZ)。根据参数采集的多少可分为二维虚拟演播室和三维虚拟演播室。一般二维虚拟演播室系统中虚拟摄像机应跟踪真实摄像机的变焦、聚焦、摇移、俯仰,而三维虚拟演播室系统中虚拟摄像机应跟踪真实摄像机的参数,应增加摄像机空间位置参数:(XYZ)。

    传感器方式: 该方式使用附加在摄像机镜头上、摄像机与三脚架之间和三脚架上的传感器装置,通过机械的方式来获取真实摄像机的各项运动参数,进而对其进行数字化、编码。编码数据通常用RS-232RS-422串行接口传送给用于虚拟场景制作的计算机,生成虚拟场景的应用软件根据这些参数来控制虚拟摄像机的各项动作,使其拍摄的虚拟场景作相应的运动。传感器方式的主要优点是无需在蓝幕上绘制精确的网格和较短的延时时间,不足之处是由于传感器方式是要在镜头、摄像机与三脚架上附加传感器装置,所以它对镜头、摄像机与三脚架都有一定的要求,在拍摄前还得对系统进行精确的校准,因此限制了这种方式应用的广泛性。 网格识别方式: 事先在蓝幕上用不同饱和度的浅蓝色画上大小、线条粗细不等的网格,以四个相邻的网格为最小识别单位,而且任意相邻四个格子间的组合都是不相同的。真实摄像机在拍摄前景图像的同时也拍摄了蓝幕上的网格,然后将其一起传送到网格识别器中,利用网格识别软件和硬件与事先设定的模型进行比较,计算出真实摄像机相对的各项运动参数,再将获得的摄像机的各项运动参数送至用于虚拟场景生成的计算机,生成虚拟场景的应用软件根据这些参数来控制虚拟摄像机的相应运动。从带网格的图像进入网格识别计算机至图形计算机中虚拟背景图像的生成需进行大量的运算,故虚拟背景图像的生成会滞后于真实摄像机拍摄的前景图像。为了使虚拟场景与前景图像的位置、透视关系保持一致,真实摄像机拍摄的前景图像就得相应延时,约为45帧。基于传感器方式的摄像机数据采集因不需作大量运算而缩短了延时时间,约为12帧。
4.ORAD CYBERSET E系统简图()

系统说明

    由摄像机拍摄的带网格的前景信号经过标识器后分别在图像的左上角打上一个很小的互不相同的标识码,经视频切换开关切换后根据标识码即可判别是哪台摄像机所拍摄的图像。网格识别器输出分成两路,一路经网格识别软件和硬件计算出真实摄像机的各项运动参数送至图形计算机,另一路需经视频延时器延时后送入色键处理器,以保持前景图像和虚拟背景、遮挡图像的同步运动与正确的透视关系,延时时间约4帧即160毫秒,它等于网格识别器的计算时间加上数据传送至图像计算机且生成虚拟场景至输出的时间的总和。 两路电视墙插入信号可以嵌入虚拟场景中事先设定的电视墙中,可以对其大小、位置、边框等参数进行调整。图形计算机根据输入数据中的标识码和真实摄像机的各项运动参数来切换与调整相应的虚拟摄像机,以产生相应的虚拟场景和遮挡图像送入色键处理器(事先在图形计算机中设置了左、中、右三台虚拟摄像机)。遮挡图像即黑白键信号包括虚拟天花板部分(用于遮挡蓝幕上方的灯具等实物)同时受真实摄像机的各项运动参数所控制。色键处理器将前景和虚拟背景进行合成,需要时利用遮挡图像在遮挡范围内将前景和虚拟背景交换,产生人物从虚拟背景后面出来的效果。色键处理器输出的合成图像与经延时的音频信号一起送至录像机记录,录像时只要改变视频切换开关的选择就可瞬间获得三个不同的景别。

多个课程.jpg

虚拟场景的制作与演播室录像合成

    虚拟场景通常可用3DMAXSOFTIMAGEMAYA等三维软件制作,首先应作总体构思,比如场景的大小与色调、虚拟物体的位置与多少、演员的活动路径与多少、确定遮挡图像的结构与多少等等。

    其次在三维软件环境中调整坐标度量单位使与实际使用相符,接着在三维软件的坐标系中画出与实际演播室尺寸相应的虚拟演播室和网格示意图,以虚拟网格的左下角作为整个场景的原点且与三维软件的坐标系的原点重合(实际演播室也将真实网格的左下角作为整个演播室的坐标原点)。

    然后在虚拟演播室和网格示意图中或外按照构思画上虚拟物体与布景、选定插入电视墙的位置画上边框、赋上材质、纹理、贴图、设置灯光(注意与实际灯光效果配合)、调整三台虚拟摄像机的位置和视角等参数,待获得满意的结果后生成三幅虚拟场景和相应的遮挡图像。虽然虚拟场景可以设计得无限大,利用小演播室拍出大场面,但是要注意演员的活动范围只能在虚拟场景中的虚拟演播室示意图内,对于虚拟演播室示意图外的广大区域是可望不可及。

    所以在设计虚拟场景时,虚拟演播室示意图在整个虚拟场景中的位置相当重要,它决定了演员在虚拟场景中的活动范围。在有条件的情况下真实演播室还是建得大一些好,可给演员留下足够的活动空间和演员不至于太接近蓝幕而受到蓝色反光。

    在实际节目制作中先将虚拟场景制作过程中的一些参数如摄像机位置坐标、视角、插入电视墙位置坐标、网格的位置大小数据、虚拟场景图像分辨率等输入图形计算机,且将真实摄像机按原设计的位置在演播室放好,供虚拟设备做好初始化设置,以获得原设计虚拟场景的透视效果。在拍摄时也可以放上真实的道具,但要注意真实道具与演员在做遮挡时会同时被前景遮挡,引起穿帮。在拍摄有虚拟桌子的虚拟场景时,为了使演员的手能搁在桌面上,还得制作相应大小的蓝色桌子。其次须注意实际灯光与虚拟场景的配合,虚拟场景的色调不要太亮丽,演员最好避免穿黑色、太浅色衣服,不然会增加抠像的难度。

    总之在实际制作中导演会提出各种各样的想法,只要掌握虚拟演播室有关的基本技能,问题也就不难解决了。
.虚拟演播室的优缺点及使用前景及优点:
1.拓展了创作人员的想象空间,虚拟场景可以是真实世界的模拟,也可以是想象中的虚幻世界,不受真实条件约束。
2.在小演播室中能拍摄出大场面、大气派和令人感觉新奇的节目。
3.不需要搭建实景,不占用演播室制景、拆景时间,省去了庞大的道具仓库,缩短了节目制作周期,节约了人力、物力和财力。
4.可方便地更换虚拟场景,使各档栏目可连续录制,提高了演播室的利用率,虚拟场景能随时修改,反复利用,编导可携带虚拟场景文件在不同的地方制作节目。
5.万一疏漏了镜头,可再调出虚拟场景补拍。避免了重新制景问题。

缺点:

1、由于网格识别而引起的视频延时给制作带来不便,摄像机必须缓慢稳定地操纵才能使虚拟场景可靠地跟踪。

2.拍摄特写镜头时受到网格的限制,蓝色的道具不能遮挡太多的网格,理论上在拍摄前景时只要保留四个相邻的网格,实际上为了使虚拟场景可靠地跟踪而不得不保留更多的网格,而且得保持一定的清晰度,这样演员的活动范围和摄像机的景深范围受到了一定的限制。

3.虚拟场景的灯光和实际拍摄时的灯光很难配合。

4.由于蓝幕上的网格的色饱和度和蓝幕不一致增加了色键抠像的难度。

5.虚拟场景的逼真性还不能令人满意。

    从以上分析,可知虚拟演播室技术虽然存在一些不足之处,但它却给我们带来了许多难以估量的好处,特别是它使我们摆脱了传统演播室空间的束缚,能充分发挥制作人员的创意,创作出在真实情况下无法达到的效果。比如电视墙可从地面升起再沉入地面、虚拟人物与真实人物的同台演出、两地演员同时合成在一个虚拟场景中等等,同时对节目制作人员也提出了更高的要求,要创作出新颖的高质量的节目需导演、演员、虚拟场景创作者、虚拟设备操作者、灯光师等人员的密切配合。

    随着科学技术的发展,虚拟演播室还将不断完善,可见它将是一种高质量、高效率、低成本、充满挑战性的影视节目制作手段,正适合当前传播媒体发展迅速、观众对节目要求高,节目需求量大等形势发展的需求。虚拟演播室必定有广阔的应用前景。

1.png

 

预约设计 专注沉浸式XR演播室、XR电竞观演厅、酒店会所、剧场剧院、多功能厅等设计施工

行业资讯 MORE
广东省声像灯光科技促进会 | 第二届第四次会员大会暨观展活动 2023-05-22
京东方晶芯科技渠道推介会·广州站 2023-04-12
卡拉OK单机版知识产权保护论坛在广州举办 2023-03-22
市场调研 MORE
科技进步下演播室的发展与演变 2022-05-24
学习虚幻引擎UE5,HDR你必须要知道的11件事 2022-05-23
什么是HDR?HDR是什么意思? 2022-05-23
硬件行情 MORE
专业电竞舞台电竞舞台工程施工 2022-01-02