哑语 手语研究成果方向及现状

本文阐述了国内外手语研究成果的主要方向和现状、手语识别的各种方法、手语合成的组合、手语网络交流解决方案的技术信息对以及手部运动的制约。

关键词:人体语言手语识别综合交流的运动约束

手语是聋人使用语言。它是一个相对稳定的表情系统，由手型动作和面部手势组成。它是一种通过行动/视觉进行交流的特殊语言。

人与人的互动往往充满情感和声音。除了自然语言的口语和书面语外，人体的肢体语言表达、体态和手势也是人类交互的基本方法之一。相对于人机交互，人机交互刚性要大得多，因此人类语言理解即人类语言感知的研究成果，以及人类语言与自然语言数据的融合，对于提高计算机人类语言理解水平，增强人机界面的实用性具有重要意义。手语是肢体语言中非常重要的一部分，包含的信息量最大。它具有与语言、书面语等自然语言相同的表达能力。因此，在人机交互中，手语可以作为一种手段，具有很强的视觉效果。它生动、形象、直观。

手语的研究成果不仅有助于改善和提高聋人的生活、学习和工作环境，而且可以为他们提供更好的服务。同时还可以用于计算机辅助手语教学、电视节目双语播放、虚拟人研究成果、电影制作中的特效处理、动画制作、医学研究成果、游戏娱乐等诸多方面。此外，手语的研究成果涉及教学、计算机图形学、机器人运动学、医学等学科。因此，手语研究成果是一个非常有意义的课题。本文将构成国内外手语研究成果的相关方向，并对手语识别、手语合成、手语网络交流和手部动作限制等方面进行综述。

1手语识别

手语识别不仅具有深远的研究意义，而且具有广阔的实际应用前景，至少表现在以下几个方面:1。可以让聋哑人，尤其是文件水平相对较低的聋哑人，用手语与正常人交流；2从认知科学的角度，研究人类视觉语言理解的机制，提高计算机对人类语言的理解；3在vr中使用手势控制智能；4机器人演示学习；5虚拟现实系统中的多模式界面。

从手语输入设备的角度来看，手语识别系统主要分为数据手套识别系统和视觉图像手语识别系统。数据手套手语识别系统使用数据手套和位置跟踪来测量空之间手势的运动轨迹和时序数据。该方法的优点是系统识别率高。缺点是手语用户戴着复杂的数据手套和位置跟踪器，输入设备相对昂贵。台湾省大学的梁等人利用数据手套等典型的传感设备，使用单个vpl数据手套作为手语输入设备，可以识别台湾手语教材中的250个基本词条，识别率为90.5%。Cmuchristopher lee和xu于1995年完成了操纵机器人的手势控制系统。Kadous使用动力手套作为手语输入设备，将95个孤立词识别为一个词汇集，正确率为80%。视觉手势识别是通过摄像头采集手势数据并进行识别。这种方法的优点是输入设备相对便宜，但识别率相对较低，实时性差，尤其是大词汇量的人工报价识别难以应用。视觉方法方面，有代表性的研究成果包括:1991年，富士通数据实验室完成了46种手语符号的识别。戴维斯和沙阿把戴着手指间带有高亮标记的可视手套的手势作为系统输入，可以识别七种手势。Starner等人在美国手语中识别出99.2%的短句含有40个词性单词。Grobel和assam从视频记录中提取特征，利用hmm技术信息识别出262个孤立词，正确率为91.3%。此外，vogler和metaxas结合两种方法应用美国手语(ASL)识别，使用一个位置跟踪器和三个相互垂直的摄像头作为手势输入设备，完成了53个孤立词的识别，识别率为89.9%。

从识别的技术信息来看，外向手语识别系统主要采用人工神经网络和隐马尔可夫模型。神经网络方法具有类特征和抗干扰性。然而，静态手势识别由于其处理时间序列的能力较弱，目前被广泛应用。著名的felsglovetalk系统使用神经网络方法作为识别技术信息。对于研究区域内的手语信号，通常采用hmm方法进行建模。隐马尔可夫模型是一种众所周知且广泛使用的统计方法。在常见的拓扑结构下，hmm对手语信号的时间空变化有很强的解释能力，在动态手势识别领域一直占据领先地位，如Carnegie & # 8226梅隆大学的美国手语识别系统和台湾省大学的台湾手语识别系统都使用hmm作为系统识别的技术信息。此外，grobel和assam使用hmm对佩戴彩色手套的用户通过摄像头输入的262个孤立手语词进行识别，正确率为91.3%。然而，正是由于hmm拓扑结构的通用性，使得该模型对于手语信号的研究过于复杂，使得hmm训练和识别的计算量过大。特别是在连续hmm中，由于需要计算大量的状态概率密度，需要估计模型参数的个数，使得训练和识别速度相对较慢。因此，前向手语认证系统中使用的hmm一般是离散hmm。