手语视频库的建立与研究

杨炼　钟鹏　郑祖明　韩梅　李凯

摘 要：手语视频数据库以《计算机专业手语》为基础，将视频剪辑技术和数据库技术相结合，为计算机专业手语教学的规范化研究提供数据支持；以中残联编著的《计算机专业手语》为基础，建立计算机专业手语视频数据库。课题将视频剪辑技术和数据库技术相结合，为计算机专业手语教学的规范化研究提供数据支持；指导聋人高等工科教育中的手语教学，提高课堂手语教学的教学质量。同时可为计算机手语语料库的研究提供视频数据的支持。

关键词：手语 ；视频库；语料库

中图分类号：TP317 文献标识码 A

Establishment and Study of Sign Language Video Library

YANG Lian， ZHANG Peng， ZHANG Zuming， HAN Mei， LI Kai

（Technical College for the Deaf， Tianjin University of Technology，Tianjin 300384，China）

Abstract： Based on the computer professional sign language， and combined with video clips and database technology， Sign language video database provides data support for the study on the standardization of computer professional sign language teaching； Taking “the computer professional sign language" as the foundation edited by CDPF， the establishment of computer professional sign language video database. The subject of the paper is to provide the data support for the standardization of sign language teaching in computer science. While the research of the sign language corpus can provide the support for the video data.

Key words： Sign Language； Video Library；Corpus

0引 言

目前我国许多聋人学校都开设了信息技术课，许多面向聋人招生的高等教育学校，如：天津理工大学聋人工学院、北京联合大学特教学院、重庆师范大学特殊教育学院，浙江广播电视大学特殊教育学院等都开设了计算机相关专业。日常手语的学习可参考《中国手语》[1]，计算机专业手语词汇可以参考《计算机专业手语》[2]，这些可以作为健听人与聋人交往参考和高校教学的基础资料，但纸质的学习教材不够形象，相关的视频素材又产出匮乏，教师和聋生学习中困难较大。教师在教学上只是按自己的理解去打出计算机专业手语词汇的手势，全国各地聋校、甚至同一学校、不同教师对一个词汇打出的手势也不一样，造成了健听人与聋人、聋人和聋人之间交流的障碍。因此制作计算机专业手语视频学习库，将专业手语的教学以视频的形式展现出来，可以增加学习者的学习兴趣，提升手语教学的效果水平，实现手语教学的统一化、标准化和规范化。本文即针对这一课题而展开相应的探讨和研究。

目前我国手语视频库建设依然处于起步阶段，应用范围还非常有限。从已出版发行的多本手语词典或工具书，如《中国手语））和《计算机专业手语》等的编制运作过程可知，其达成目标的一般做法是召集一定数量的聋人，采取实验诱导法获得所需视频。该方法虽有利于编写工作的高效运行，但存在的潜在风险是，手语的采集过程主要依靠聋人的内省判断，加之受试样本容量大小不一，少数实例往往难以如实反映手语词汇的真实性和复杂性。因此在建设过程中，应当注意到以下几个问题：（1）从研究者来看，最好为手语语言学专业出身，或对手语有较长时间的接触和学习。应当以科学的方法论思想指导视频库建设，切不可想当然；（2）从视频的均衡性来看，应当注意性别、地域和词域的平衡；（3）从建设主体来看，我国的手语视频库大多数为国家出资建立，应当在此基础上发动各层面力量，提倡各个研究机构和大学建立自己的视频库。目前国外较为通行的做法是，如科研人员可根据研究需要建立私人视频库，在一定范围内实现共享和交流[3]。

1 设计的意义

1.1手语语料库的研究提供视频数据支持

视频库是以电子计算机为载体承载的真实的实际使用并经过加工（分析和处理）的语言材料。其使用标志着语言方法论的重大转变，可使语言研究者从传统的直觉经验方法转向量化的统计方法，提高语言研究效率。通过视频库对手语词汇进行分析，得出词频及词的搭配等统计规律，还可以大大缩短词典的编写周期，使词典的内容充分反映语言的实际使用情况。

1.2为手语教学提供视频素材

手语视频库作为以计算机为工具建立、存储和使用的手语语言素材集合，可供使用者检索、分析和处理之用。对视频库中丰富的手语素材进行统计，得出手语的特征和规律，有助于扭转以往教材大多依据聋人教师的直觉和教学经验，缺少量化标准和科学依据的局面。视频库更可以直接为手语教材的编写提供真实性和客观性颇佳的各类素材，为手语课堂教学提供鲜活的案例。

1.3服务于国家语言规划和语言政策的制定

我国政府长期以来致力于手语通用语的制定，但标准一直是各方争论的焦点。这主要是由于中国手语中也存在方言，并且受到汉语的影响。因此在手语视频库建设的过程中，采取一种描写的态度收集中国各个典型地区的自然手语方言，将所得视频建成大型数据库，比较、进而量化其中的差异，提取合理的通用语选定标准，则可有效避免语感带来的偏差。

2手语视频库素材的搜集

计算机专业手语视频库中的“素材”是指在与计算机专业相关的手语词汇调查活动中根据概率抽样原则从调查对象的总体中抽取出来作为受试的那一部分人。“代表性”是指选取样本所具有的特征可以说明总体特征。为保证视频库中的样本具有足够的代表性，在计算机专业手语词汇《计算机专业手语》的选取应当遵循一定的标准[4]。《计算机专业手语》在选词方面考虑到不同程度学习者的需要，以使用频率和在专业教学中的重要程度作为选词的依据，确定将计算机常用术语作为主要业教学中的重要程序作为选词的依据，以兼顾职业技术学校和高等院校聋人计算机教学的需要。如“任务栏”，在某个软件主界面中常常出现的词汇，教师在讲授常用软件时使用频率很高的一个词，在《计算机专业手语》没有这个词，在计算机手语中，即需根据字或词在计算机中的真实词义重新设计手势，这个词的含义不同于平时接受上级命令而去执行的任务。本研究根据人们在使用计算机中的桌面时屏幕产生的变化，这样设计手势：（1）右手五指成“】”形，按向左肩上。（2）右手掌拍一下左肩，表示“任务”的意思。 双手拇、食指分开少许，指尖朝前，从中间向两侧移动，表示“栏”的意思。类似的，还有“菜单”、“递归”等其它的词汇。

3手语视频摄录系统的设计与开发

3.1 设计要求

手语视频库的建立主要是收集各个地区的计算机专业手语词汇视频，相对现有的中国手语教程相比，视频能够通过表情，手势和运动轨迹多个方面来描述相应词汇的手语打法。本系统从实用性、合理性、可靠性等方面提出如下要求：

（1）词汇提示：在多媒体教室，聋人正对面约2米处应放置一个大小适合的显示器（29寸），主要用于显示词汇或图片等相关信息，作为聋人打手语的词汇提示器。

（2）词汇管理：整理词汇，并做成Word或Excel。

（3）视频管理：包括视频录制，以及视频回放和重新录制功能，另外对视频编号手动命名，前四位由词汇拼音首位字母，不足部分补0，视频格式为avi，分辨率和帧频可以自行设置。

3.2 系统设计与实现

3.2.1手语视频摄录

摄录地点选定在机房和图书馆，环境布置采取如下形式：专用摄像机一台，以及台式计算机（带双显示器）一台。台式机中的一个显示器用作词汇提示，摆放在手语模特的正前方约3米处，高度与肩平行。另一个则作为手语视频摄录系统的操作者摄录使用。

3. 2. 2 软件设计与开发

将录制后的文件进行编辑，主要包括剪辑和编码与文件导出。因此研究中运用软件Premiere Pro CS6来执行相应操作。

3.2.2.1 剪辑和编码

剪裁素材可以通过删除帧的方式来改变素材长度，在“源素材”监视器面板的编辑过程中，用户可以对素材的开始帧与结束帧进行定义：开始帧的位置可称为“入点”，结束帧的位置则称为“出点”。在自定义了素材的“入点”与“出点”后，“项目”面板中的素材长度会发生改变。另外，在“节目”监视器面板中也可以为素材设置“入点”与“出点”。

3.2.2.2 设置视频导出方法

（1）视频编解码器

在该设置项的下拉列表中，可以选择导出影片所使用的编解码器。在一般情况下多是使用默认的编解码器，因为在改变编解码器时会影响到其他的参数，从而影响到导出文件的整体质量。

（2）基本视频

品质。在默认的“视频编解码器”下并不需要设置这一选项，只是当切换至其他一些支持其功能的视频编解器时才能对其进行设置，主要是实现对画面质量的预定设置。品质参数越高，画面越细腻、质感越强；品质越低，画质也就越差。

帧速率：这是设置每秒钟的视频帧数。帧数越多，画面连贯性越强；帧数越少，则画面连贯性越差，甚至会出现定格现象。

场类型：一般情况下需要按照相关视频硬件显示奇偶场的顺序进行设置。通常有两种选项，即有场和无场：选择无场，就是按正常视频输出；选择有场是在画面的帧与帧之间再自动添加一帧，如此可使画面播放起来更显流畅[5]，如图 1所示。

4手语视频基元的构建和设计

4. 1手语词汇基元的视频数据库模型

手语词汇基元库的构建包括从计算机专业手语视频源数据中提取手语词汇基元和手语词汇基元视频数据库模型的构建。手语词汇基元是在视频切分软件的铺助下，人工定义和截取的手语词汇最小语义单元的视频。手语词汇基元视频数据库模型通过为手语词汇基元标注手势、体势、韵律信息等来定义手语词汇基元的语义，具体来说，视频数据库模型的美容包括手型、胳膊的形态、基本词义和情绪等信息，具体如图2所示，重点是手形和胳膊形态的定义和标记。

4.2 过渡基元的视频数据库模型

设计时，手语视频中的图像是按人体结构来分为手、胳膊、头和躯干4部分。如上的所有不同的形态组成了过渡基元数据库如图3所示。其中，手和胳膊作为手语运动的主要部分，对理解手语内容和视觉影响有着非常重要的作用。因此，本文重点对其提出了不同的建库和标记方法[6]。

5 结束语

手语视频库的设计是手语语言学研究成果的一项具体应用，文章对视频的采集方法、转写以及标注进行了探讨，可以为手语语料库的设计提供视频数据的支持。手语视频库建设具有长期性、复杂性和艰巨性，尤其是大型视频库的建设需要耗费大量的人力、物力以及财力。在建设过程中需要国内乃至国际学界的频繁交流和通力合作，才能实现研究成果的不断涌现和真正共享。

参考文献：

[1] 中国聋人协会.中国手语[M].北京：华夏出版社，2003.

[2]中国残疾人联合会教育就业部.中国聋人协会.计算机专业手语[M].北京：华夏出版社， 2005：51-54

[3]李凯， 张书珍. 计算机专业词汇手语手势的表达设想[J]. 中国听力语言康复科学杂志， 2004（3）：36-37.

[4]李兰晓. 面向手语视频拼接的过渡视频库构建方法研究[D]. 北京：北京工业大学。 2013.

[5]马小龙，谢迪杰.Premiere Pro CS6 教程，北京：人民邮电出版社，XXX.

[6]王茹， 尹宝才，王立春，等.面向中国手语合成的视频语义描述方法[J]. 北京工业大学学报，2012，38（5）：730-735..