书城社科数字技术与新媒体传播
13835000000055

第55章 数字电视传播(7)

4.动作捕捉技术(Motion Capture)在动画制作中的应用在三维角色动画制作中,角色的表情和动作逼真对动画整体效果至关重要。使用三维动画制作软件来制作角色动作非常复杂,整个角色动作由操作人员逐帧调整,效率很低,而且要求制作者具有较深的生物学研究基础。运动捕捉系统的出现很好地解决了这一问题。以动作捕捉技术为基础的动画制作系统将物体的实际动作数据记录下来输入计算机,经处理后由计算机在虚拟镜头中恢复,同时控制角色模型。由于它记录的是物体的实际运动,所以动作精确,效率极高。

用于动画制作的运动捕捉技术的出现可以追溯到20世纪70年代,迪斯尼公司曾试图通过捕捉演员的动作以改进动画制作效果。当计算机技术刚开始应用于动画制作时,纽约计算机图形技术实验室的Rebecca Allen就设计了一种光学装置,将演员的表演姿势投射在计算机屏幕上,作为动画制作的参考。20世纪80年代开始,美国Biomechanics实验室、Simon Fraser大学、麻省理工学院等开始对计算机人体运动捕捉的研究。1988年,SGI公司开发了可捕捉人头部运动和表情的系统。随着计算机软硬件技术的飞速发展和动画制作要求的提高,目前在发达国家,运动捕捉已经进入实用化阶段,多家厂商相继推出自己的运动捕捉设备,如Vicon、Motion Analysis、Polhemus、Sega Interactive、MAC、X-Ist、Film Box等,其应用领域也远远超出了表演动画,成功地用于虚拟现实、游戏、人体工程学研究、模拟训练、生物力学研究等许多方面。

2004年美国华纳公司出品了一部完全应用动作捕捉系统制作的三维动画《极地特快》,作品中主要角色的动作和表情都是由一位演员表演(汤姆·汉克斯),再由动作捕捉系统捕捉下来,输入计算机中生成。动画电影《阿凡达》中的大部分动作也使用了动作捕捉技术,卡梅隆请来由《指环王》导演彼得·杰克逊建立的Weta数字特效公司,制作了一个个栩栩如生的角色。

(1)动作捕捉系统的分类

从应用角度分类,动作捕捉系统主要有表情捕捉和身体运动捕捉两类;从技术原理角度可分为机械式、声学式、电磁式和光学式动作捕捉系统。同时,不依赖于专用传感器、直接识别人体特征的运动捕捉技术也将很快走向实用。

机械式运动捕捉依靠机械装置来跟踪和测量运动轨迹。典型的系统由多个关节和刚性连杆组成,在可转动的关节中装有角度传感器,可以测得关节转动角度的变化情况。机械装置运动时,根据角度传感器所测得的角度变化和连杆的长度,可以得出杆件末端点在空间中的位置和运动轨迹。实际上,装置上任何一点的运动轨迹都可以求出,刚性连杆也可以换成长度可变的伸缩杆,用位移传感器测量其长度的变化。

声学式运动捕捉装置由发送器、接收器和处理单元组成。发送器是一个固定的超声波发生器,接收器一般由呈三角形排列的三个超声探头组成。通过测量声波从发送器到接收器的时间或者相位差,系统可以计算并确定接收器的位置和方向。

电磁式运动捕捉系统一般由发射源、接收传感器和数据处理单元组成。发射源在空间产生按一定时空规律分布的电磁场;接收传感器(通常有10~20个)安装在表演者身体的关键位置,随着表演者的动作在电磁场中运动,通过电缆或无线方式与数据处理单元相连。

光学运动捕捉系统是目前比较常用的捕捉设备,主要通过对目标上特定光点的监视和跟踪来完成运动捕捉任务。光学式运动捕捉大多基于计算机视觉原理。从理论上说,对于空间中的一个点,只要它能同时为两部相机所见,则根据同一时刻两部相机所拍摄的图像和相机参数,可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时,从图像序列中就可以得到该点的运动轨迹。

光学式运动捕捉系统通常使用多个高分辨率红外摄像机环绕表演场地排列,这些摄像机的视野重叠区域就是表演者的动作范围。为了便于处理,通常要求表演者穿上单色的服装,在身体的关键部位,如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点,称为“Marker”,视觉系统将识别和处理这些标志。系统定标后,表演者负责根据剧情做出各种动作和表情,红外摄像机发射的红外线到达表演人员穿着的特制服装表面,由重要关节点处的Marker反射回来,摄像机将这些动作和表情捕捉并记录下来,连续拍摄表演者的动作,并将图像序列保存下来,然后再进行分析和处理,识别其中的标志点,并计算其在每一瞬间的空间位置,进而得到其运动轨迹。为了得到准确的运动轨迹,摄像机应有较高的拍摄速率,一般要达到每秒60帧以上。如果在表演者的脸部表情关键点贴上Marker,则可以实现表情捕捉。

目前大量的电影公司和游戏公司都采用光学捕捉设备进行角色的动作和表情制作。Motion Analysis(魔神)和Vicon(维康)是光学式动作捕捉设备的代表。

但光学捕捉设备的价钱非常昂贵,而且需要专业人员进行电线的布置,同时对电脑性能的要求也较高。另外,光学捕捉技术的难点就是,当被捕捉物体的感应器被其他物体挡住时就很难捕捉。为了解决这一难题,采用的方法一般是使用尽可能多的摄像机,但是摄像机越多,安装越困难,而且成本就越高。

(2)动作捕捉设备的组成

动作捕捉系统的任务是检测、跟踪、记录表演者的肢体在三维空间的运动轨迹,捕捉表演者的动作、表情及灯光的运动等,并将其转化为数字化的“抽象运动”。典型的动作捕捉设备一般由以下几个部分组成:

传感器。所谓传感器是固定在运动物体特定部位的跟踪装置,它将向动作捕捉系统提供运动物体运动的位置信息,一般会随着捕捉的细致程度确定跟踪器的数目。动作捕捉系统并不要求捕捉表演者身上每个点的动作,而是只需要捕捉若干个关键点的运动轨迹,再根据造型中各部分的物理、生理约束就可以合成最终的运动画面。

信号捕捉设备。这种设备会因动作捕捉系统的类型不同而有所区别,它们负责位置信号的捕捉。对于机械系统来说是一块捕捉电信号的线路板,对于光学捕捉系统则是高分辨率红外摄像机。

数据传输设备。动作捕捉系统,特别是需要实时效果的动作捕捉系统需要将大量的运动数据从信号捕捉设备快速准确地传输到计算机系统进行处理,而数据传输设备就是用来完成此项工作的。

数据处理设备。经过动作捕捉系统捕捉到的数据需要修正、处理后还要与三维模型相结合才能完成计算机动画制作的工作,这就需要应用数据处理软件或硬件来完成此项工作。软件也好硬件也罢它们都是借助计算机对数据高速的运算能力来完成数据的处理,使三维模型真正、自然地运动起来。

六、虚拟演播室技术

虚拟演播室是近年来兴起的新一代视频制作技术,相对于传统的演播室系统,它具有制景费用低廉、更换布景方便、便于发挥主创人员的创意等优点,使创意不受实际场地与资金的限制,在有限的空间里实现无限的创意,给节目演播制作带来了深刻的变革和广阔的应用前景。

1.虚拟现实技术

虚拟现实技术是二十世纪末兴起的一门崭新的综合性信息技术,它融合了数字图像处理、计算机图形学、多媒体技术、传感器技术等多个信息技术分支,大大推进了计算机技术的发展。

虚拟现实可以定义为:利用计算机生成一种模拟环境(如飞机驾驶、手术现场等),通过多种传感设备使用户置身于该环境中,实现用户与该环境直接进行自然交互的技术。其中所谓的虚拟环境就是利用计算机生成的立体空间,可以是某一现实世界的真实体现,也可以是虚幻的世界。

虚拟现实技术有四个重要特征:(1)多感知性。除了视觉感知,还有听觉感知、运动感知,甚至包括力觉感知、触觉感知、嗅觉感知、味觉感知。(2)现场感。指用户在虚拟环境中有身临其境的感觉。(3)交互性。指用户在虚拟环境中可感觉到在实际操作物体,并得到环境反馈。(4)自主性。指虚拟环境的物体依据物理定律进行动作。

2.虚拟演播室技术

随着计算机网络和三维图形软件等先进信息技术的发展,电视节目制作方式发生了很大的变化。虚拟演播室则是虚拟现实技术在电视节目制作中的具体体现。

虚拟演播室技术源于色键技术。传统的色键,俗称“抠像”,就是将在演播室内拍摄的画面镶嵌进外景图片和其他节目素材的活动画面之中,使两者融合为新的画面。色键技术是一种用电子技术方法完成的键控特技效果,其键控信号取自彩色电视信号的色度分量,用来控制一个高速电子开关。其制作原理是:摄像机A拍摄演播室内的演员或实物,其身后用深饱和度的单色幕布作背景(通常采用蓝色)。摄像机B拍摄外景图片或者重放的其他节目素材(活动画面)。在摄像机A输出的信号中,由色键信号发生器选出底幕颜色产生色键信号。当有色键信号时,由于特技切换器中电子开关的作用而选择摄像机B拍摄的背景信号。当无色键信号时,则选择摄像机A的演员画面信号。两者在特技切换台中混合后,便能得到演员置身于外景背景中的抠像画面。

虚拟演播室技术则把演播室中的视频技术与计算机图形技术相结合,由计算机绘制色键技术中摄像机B拍摄的背景,摆脱了制作实景的限制,可以充分发挥想象力。

虚拟演播室基本原理:把摄像机拍摄到的蓝幕为背景的视频图像作为前景画面,用一台超实时的图形计算机中的三维动画图形作虚拟背景,通过跟踪器把真实演员及实物与摄像机之间的位置及透视信息送给计算机,然后计算机根据摄像机运动参数生成合适的虚拟背景画面和遮挡画面,前景图像经延时后,与虚拟场景以相同的时码工作,再通过Z轴深度键技术把前景的真实演员与虚拟背景合成为一个视频图像,使真实演员与虚拟场景形成正确的透视关系。当摄像机在推拉、摇移、俯仰拍摄时,虚拟的背景画面和前景画面都会随之相应变化,从而虚拟出真实的演员置身于“真实”场景中的画面效果。

虚拟演播室技术包括摄像机跟踪技术、背景设计和蓝背景技术、灯光技术、色键技术和切换技术等。

(1)摄像机跟踪技术

摄像机跟踪技术用来获取摄像机在演播室中的实际位置参数和动作参数。

世界上第一个虚拟演播室系统、可以上下左右运动的摄像机基座于1994年问世。

借助精确的旋转编码器,可以测出基座上下左右运动的角度位置,同时还设计出一种适合EFP/ENG(电子现场节目制作/电子新闻采集)镜头的特殊编码器。它能精确地测量镜头的推拉和聚焦的设置参数,使用这组参数,就有可能把摄像机和镜头与一台高性能的计算机连接,该计算机可以生成背景的每一场,背景制作的应用软件根据这些参数来调整虚拟摄像机的位置、方向和镜头参数,从而使虚拟场景产生对应的变化。

虚拟演播室跟踪技术主要有图形识别和机械传感器两种。图形识别方式需要一个画有特殊网格的蓝色背景幕布。它将摄像机拍摄的画面送到数字视频处理器中进行处理,通过对所拍画面中网格的旋转和透视关系进行计算,得到有关摄像机的动作参数,以控制虚拟背景的生成。机械传感器方式是通过安装在摄像机云台和镜头上的传感器获取摄像机的动作参数,液压摇摆头上的编码器测量摄像机上下左右运动的角度得到其位置参数,再通过串行位置接口将数据输入计算机。

(2)虚拟演播室的必备条件:蓝背景和背景的建立

演播室的蓝背景要求背景平滑,还要有空间感,一般是两面或三面蓝色墙再加上地面。为保证全景镜头的使用,照射在蓝背景上面的光线要均匀,为了保证色键效果最好,要使用纯正的色键蓝色。蓝背景的空间大小,应该能保证可容纳全部道具并且使主持人有足够的活动区域。

虚拟演播室中的虚拟背景图像是由计算机创作的二维或三维图形,可以是动态的,也可以是静止的。在虚拟演播室中,首先要对场景中的所有物体进行建模,也就是设计物体的外形和尺寸,然后设计材质并贴图,以产生更逼真的效果。在虚拟演播室中将模型定位,并使用虚拟灯光产生所需要的效果如阴影、高光、反射和折射,然后利用来自摄像机传感器的数据建立虚拟摄像机。一个三维虚拟场景需要进行大量的计算工作。

(3)计算机技术参与节目制作

虚拟演播室系统一般包括两套计算机系统,一套处理摄像机跟踪的数据,一般采用高配置的微机、小型计算机工作站;另一套是进行虚拟演播室的场景制作,用于此种任务的计算机应具备以下功能:具有足够的计算能力,包括处理多重任务的能力;可以支持实时操作系统;具有极强的绘画能力,包括高标准三维动画制作水平;能够处理音频信号,并具有控制其他视频和音频设备的能力。

(4)虚拟演播室对灯光的特殊要求

在虚拟演播室节目制作中灯光的作用非常关键。为了消除多余的阴影,保证色键的效果,要合理调配灯光,使前景与虚拟背景的照明亮度及方向匹配。主持人及真实道具在蓝箱中投下的影子也要随主持人及道具一起进入虚拟空间。为了更好地提取阴影,灯光的设置应使阴影处的蓝色电平与背景蓝幕布的蓝色电平有较大的区别,影子的方向也要和虚拟空间中的光源方向一致。灯光应具有真实性,以防止出现动画效果。在虚拟演播室中,实际光源和虚拟合成光源之间的同步变化很重要,演播室灯光的控制要计算机化,使灯具的状态可以存取。