情感机器人 机器人也能拥有人类情感：“情感计算”让机器人学会“读心术”

随着机器人进入日常生活的方方面面，人们对其提出了更高的要求，希望其具有感知人类情感和意图的能力。这样的机器人被称为情感机器人。情感机器人的出现将改变传统的人机交互模式，实现人与机器人的情感交互。用人工的方法和技术赋予机器人人类的情感，让情感机器人能够识别、理解和表达喜悦、悲伤和愤怒。

目前，机器人革命已经进入了“互联网+情感+智能”的时代，这就要求机器人要有情感。面对国内外市场对情感机器人的迫切需求，迫切需要突破人机交互、情感计算等相关领域的关键技术。因此，提高机器人的智能水平，使其感知周围环境，理解人类的情绪、意图和服务需求，与用户进行适应性交互，根据用户的需求和环境信息的变化提供高质量的服务，已经成为新一代智能机器人的发展趋势。

情绪计算

情感计算是赋予计算机像人类一样观察、理解和表达各种情感特征的能力，最终使计算机能够自然、亲切、生动地与人进行交互。情感计算及其在人机交互系统中的应用将成为未来人工智能的一个重要研究方向。

什么是情绪计算？

情绪计算的概念是由皮卡德教授于1997年在麻省理工学院(MIT)媒体实验室提出的。她指出，情绪计算与情绪有关，情绪源于情绪或能对情绪产生影响的计算。1999年，北京科技大学王志亮教授提出了人工心理学理论，研究了人的情感、意志、性格、创造等心理活动。人工心理学的理论是建立在人工智能现有理论和方法的基础上，是对人工智能的继承和发展，内容更为广泛。中国科学院自动化研究所研究员胡宝刚也通过自己的研究提出了情绪计算的定义，认为情绪计算的目的是通过赋予计算机识别、理解、表达和适应人的情绪的能力来构建和谐的人机环境，使计算机具有更高、更全面的智能。

心理学和认知科学极大地推动了情绪计算的发展。心理学研究表明，情绪是人与环境之间某种关系的维持或改变。当外部环境的发展符合人的需求和欲望时，就会产生积极的情绪，反之就会产生消极的情绪。情绪是生理上对人的态度的一种复杂而稳定的生理评价和体验，其生理反应包括喜悦、愤怒、担心、思考、悲伤、恐惧、惊讶等七种基本情绪。情绪因素往往会影响人的理性判断和决策，所以人们往往会通过避免“情绪化使用”来警示自己和他人。但是，情感因素对人的影响并不全是负面的。根据心理学和医学的相关研究结果，如果人失去了一定的情绪能力，比如理解和表达情绪的能力，理性的决策和判断就很难实现。许多学者认为，情绪能力是人类智力的重要标志，理解、应用和表达情绪的能力比传统智力起着更重要的作用。

情绪计算是一项高度综合的技术，是人工智能情绪化的关键一步。情绪计算的主要研究内容包括:分析情绪的机制，主要是情绪状态的确定及其与生理和行为的关系；利用多种传感器获取人在当前情绪状态下的行为特征和生理变化信息，如语音信号、面部表情、身体姿势等肢体语言，脉搏、皮肤电、脑电图等生理指标；通过对情感信号的分析和处理，构建情感模型对情感进行量化，使机器人具有感知、识别和理解人的情感状态的能力，使情感更容易表达；根据情绪分析和决策的结果，机器人可以根据人的情绪状态表达情绪并做出行为反应。

近年来，随着情感计算技术的快速发展，人机情感交互和情感机器人已经成为人机交互和情感计算领域的研究热点，涉及数学、心理学、计算机科学、人工智能、认知科学等多个学科。人机情感交互是实现计算机对情感的识别和表达功能，最终使人与计算机自然和谐地互动。目前，基于语音、面部表情、手势、生理信号等的人机情感交互系统和情感机器人的开发。取得了一定的成就，在远程教育、医疗保健、助老助残、智能驾驶、网络虚拟游戏、服务机器人等领域有着广阔的应用前景。

无法理解如何陪伴:情感计算的关键技术

情感计算中的两个关键技术环节是如何让机器识别人的情绪，以及如何根据人的情绪状态生成和表达机器的情绪。虽然情感计算是一门新兴的学科，但是心理学、生理学、行为学和脑科学的前期研究成果为情感计算的研究奠定了坚实的基础。目前，国内外关于情感计算的研究在情感识别和情感合成与表达方面取得了初步成果，包括语音情感识别与表达、面部表情识别与表达、生理信号情感识别、身体姿势情感识别与表达等。

一个

情绪识别的现状

情感识别是提取情感信号的特征，得到最大程度上能够代表人类情感的情感特征数据，然后建立模型，找出情感的外部表征数据与内部情感状态之间的映射关系，从而识别人类当前的内部情感类型。在情感计算中，情感识别是最重要的研究内容之一。情感识别的研究主要包括语音情感识别、面部表情识别和生理信号情感识别。目前，国内对情绪识别的研究相当普遍。如清华大学、中科院、北航空航空航天大学、北京科技大学、哈尔滨工业大学、东南大学、上海交通大学、中国地质大学(武汉)等多所高校和研究机构都参与了情绪识别的研究。

1)语音情感识别

麻省理工学院媒体实验室的皮卡德教授领导的情绪计算研究小组于1997年开始了语音情绪的研究。在语音情感识别方面，团队成员Fernandez开发了汽车驾驶语音情感识别系统，通过语音分析驾驶员的情绪状态，有效降低了驾驶过程中情绪状态不佳带来的危险。南加州大学语音情感研究团队以客户服务系统为基础，致力于语音情感的声学分析和合成，识别积极情感和消极情感两种情感状态。该团队将语音情感识别技术集成到语音对话系统中，使计算机与人的互动更加自然和谐。

在国内，中国地质大学自动化学院(武汉)情感计算团队对独立和非独立人的语音情感识别进行了深入研究。他们分析了说话人的声学特征和韵律特征，提取了独立说话人和非独立说话人的语音特征。清华大学蔡连红教授领导的人机语音交互实验室也开展了语音情感识别的研究。在语音情感识别中，他们主要分析普通话的韵律特征。然而，由于语音的声学特征复杂，不同人之间存在很大差异，针对非独立人的语音情感识别技术需要进一步研究。

2)人脸表情识别

面部表情识别是情感识别的关键部分。在人类的交流过程中，55%的情绪是通过面部表情传递的。

20世纪70年代，美国心理学家埃克曼和弗里森在现代面部表情识别方面做了开创性的工作。埃克曼定义了人类的六种基本表达方式:快乐、愤怒、惊讶、恐惧、厌恶和悲伤，并确定了被识别对象的类别；建立了面部动作编码系统(FACS)，使研究人员能够根据系统划分的一系列面部动作单元来描述面部动作，并根据面部动作和表情之间的关系来检测细微的面部表情。随后，素瓦尔等人对面部视频动画的面部表情识别进行了初步尝试。随着模式识别和图像处理技术的发展，人脸表情识别技术得到了快速发展和广泛应用。目前，大多数情感机器人(如麻省理工学院的Kismet机器人、日本的AHI机器人等。)有良好的面部表情识别能力。

在国内，哈尔滨工业大学的高文教授首先介绍了面部表情识别的研究成果。随后，北京科技大学的王志亮教授将面部表情识别算法应用到机器人的情绪控制研究中。中国地质大学(武汉)刘振道博士和冯博士研究了面部表情识别技术，并将其应用于多模态人机情感交互系统。另外清华大学，中科院等。对面部表情识别进行了深入的研究。然而，由于人类情感和表情的复杂性，识别算法的有效性和鲁棒性不能完全满足实际应用的要求，这是未来研究需要解决的问题。

3)生理信号的情绪识别

麻省理工学院媒体实验室的情绪计算研究团队率先研究了生理信号的情绪识别，也证明了将生理信号应用于情绪识别是可行的。在最初的实验中，皮卡德教授使用了四种生理信号:肌电、皮电、呼吸和血量脉动，并提取了它们的24维统计特征来识别这四种情绪状态。德国奥格斯堡大学计算机科学学院的瓦格纳等人对心电图、肌电图、皮肤电、呼吸四种生理信号进行分析，识别出快乐、愤怒、喜悦、悲伤四种情绪，取得了较好的效果。韩国的Kim等人发现，通过测量心率、皮肤电导率、体温等生理信号，可以有效识别人的情绪状态。他们与三星合作开发了一种基于多种生理信号短期监测的情绪识别系统。

在国内，基于生理信号的情感识别研究起步较晚。北航毛霞教授空对不同情绪状态的生理信号进行了初步研究。江苏大学和上海交通大学也对生理信号的情感识别进行了研究，建立了自己的生理信号情感识别数据库，从心电信号和脑电信号中提取和识别特征。西南大学的刘光远教授对生理信号的情感识别进行了深入的研究，出版了专著《人体生理信号的情感分析方法》。

生理信号在信号表征过程中存在一定的个体差异，目前的研究基本上还处于实验室阶段，主要是通过刺激材料诱发受试者相应的情绪状态，不同的个体对相同刺激材料的反应会有一定的差异。因此，如何解决不同个体之间的差异仍然是生理信号情感识别中亟待解决的难点。

2

情绪合成与表达的现状

机器除了识别和理解人的情绪外，还需要情绪反馈，即机器的情绪合成和表达。人类的情绪很难用指标来量化，而机器恰恰相反。一堆冷冰冰的零件组装在一起，把看不见摸不着的情绪量化成机器可以理解和表达的数据产品。与人类情感表达类似，机器的情感表达可以通过语音、面部表情、手势等多模态信息传递，因此机器的情感合成可以分为情感语音合成、面部表情合成和肢体语言合成。

1)情感语音合成

情感语音合成是给传统的语音合成技术增加表达情感。常用的方法有基于波形镶嵌的合成方法、基于韵律特征的合成方法和基于统计参数特征的合成方法。

基于波形镶嵌的合成方法是选择合适的语音单位，如半音节、音节、音素、单词等。，从先建立的语音数据库中，用这些片段拼接得到想要的情感语音。该方法实现了基音同步叠加技术。

基于韵律特征的合成方法是在情感语音合成中加入韵律参数。何等人提取基音频率、短时能量等韵律参数建立韵律特征模板，合成带有情感的语音信号。

基于统计参数特征的合成方法是提取基因频率、共振峰等语音特征，然后利用隐马尔可夫模型对特征进行训练，得到模型参数，最终合成情感语音。德田等人利用统计参数特征的合成方法建立了情感语音合成系统。由麻省理工学院媒体实验室的皮卡德教授领导的情感计算研究团队开发了世界上第一个情感语音合成系统——情感编辑器(ActiVe EDitor)，并首次尝试利用基频、时长、音质、清晰度等声学特征的变化来合成情感语音。

2)面部表情合成

面部表情合成是利用计算机技术在屏幕上合成一个有表情的面部图像。常用的方法有四种，即基于物理肌肉模型的方法、基于样本统计的方法、基于伪肌肉模型的方法和基于运动矢量分析的方法。

基于物理肌肉模型的方法模拟面部肌肉的弹性，通过弹性网格建立表情模型。基于样本统计方法对采集的面部表情数据库进行训练，建立面部表情合成模型。基于伪肌肉模型的方法利用样条曲线、张量和自由曲面变形来模拟肌肉弹性。基于运动矢量分析的方法是对面部表情矢量进行分析得到基矢量，再对这些基矢量进行线性组合得到合成表情。

荷兰数学与计算机科学中心的Hendrix等人提出的CharToon系统通过在情绪盘上插值7个已知的表情(中性、悲伤、快乐、愤怒、害怕、厌恶和惊讶)生成各种表情。荷兰特温特大学的Bui实现了一个基于模糊规则的面部表情生成系统，可以将动画Agent的七种表情和六种基本情绪的混合表情映射到不同的3D面部肌肉模型。中国交通大学的杨等人提出了一种基于局部约束的交互式人脸表情生成方法。该方法从样本表情图像中获取人脸形状和相关运动的预先信息，然后结合统计人脸模型和用户输入的约束条件得到输出表情草图。

3)肢体语言合成

肢体语言主要包括手势、头部姿势等部分。其合成技术是通过分析动作图元的特征来构建单元库，根据不同的需求选择所需的运动交互来合成相应的动作。由于人体关节的自由度很高，很难控制运动。为了丰富虚拟人运动合成的细节，一些研究使用高级语义参数来控制运动合成，并使用各种控制技术来实现合成运动的情感表达。

来自日本东京理工大学的Amaya提出了一种通过中性无表情运动生成情感动画的方法。该方法首先获取人在不同情绪状态下的运动，然后计算每种情绪的情绪过渡，即中性和情绪运动的区别。库尔森在埃克曼情绪模型的基础上，创建了相应的六种基本情绪的肢体语言模型，将各种姿势的定性描述转化为各种肢体语言的定量分析和数据。洛桑瑞士联邦理工学院的Erden根据Coulson的情感运动模型、NAO机器人的自由度和关节运动角度范围，设置了6种基本情感姿势的NAO机器人不同肢体语言的关节角度，使NAO机器人能够通过肢体语言表达相应的情感。

在国内，哈工大开发了多功能感应机，主要包括表情识别、人脸识别、人脸检测与跟踪、手语识别、手语合成、表情合成、唇读等功能，并与海尔公司合作研究服务机器人；清华大学研究了基于人工情感的机器人控制架构。北京交通大学进行了多功能感知与情感计算整合的研究；中国地质大学(武汉)开发了一套基于多模态情感计算的人机交互系统，利用多模态信息交互模式，实现语音、面部表情、手势等多模态信息的情感交互。

虽然情感计算的研究已经取得了一定的成果，但仍然存在许多挑战，如情感信息采集技术、情感识别算法、情感理解和表达、多模态情感识别技术等。此外，如何将情感识别技术应用到人性化、智能化的人机交互中，也是一个值得进一步研究的课题。显然，为了解决这些问题，我们需要了解人们对环境的感知以及产生和表达情绪和意图的机制，并研究智能信息采集设备，以获得更详细、更准确的情绪信息。我们需要从算法层面和建模层面进行深入研究，使机器能够高效准确地识别人的情绪状态，并产生和表达相应的情绪。为了使人机交互更加自然和谐，情感计算的研究也要考虑自然场景对人的生理和行为的影响，这是未来情感计算取得突破的关键。

情感计算的应用

随着情感计算技术的发展，相关研究成果已经广泛应用于人机交互中。人机交互是人与机器通过媒介或手段进行的交互。随着科学技术的不断进步和完善，传统的人机交互已经不能满足人们的需求。由于传统的人机交互主要以生硬机械化的方式进行，注重交互过程的便捷性和准确性，而忽略了人机之间的情感交流，无法理解和适应人的情绪或心境。没有理解和表达情感的能力，机器就无法拥有和人类一样的智能，难以实现自然和谐的人机交互，限制了人机交互的应用。

可见，情感计算对于人机交互设计越来越重要。将情绪计算与计算设备相结合，可以帮助机器正确感知环境，理解用户的情绪和意图，并做出适当的反应。具有情感计算能力的人机交互系统已经应用于医疗保健、远程教育和安全驾驶等多个方面。

在医疗保健中，具有情感交互能力的智能系统可以通过智能可穿戴设备及时捕捉与用户情感变化相关的生理信号。当监测到用户情绪波动较大时，系统可以及时调整用户情绪，避免潜在的健康危害，或者提出保健建议。在远程教育中，情感计算的应用可以提高学习者的学习兴趣和学习效率，优化计算机辅助人类学习的功能。在安全驾驶方面，智能辅助驾驶系统可以通过面部表情识别或眼动、生理等情绪信号，动态监控驾驶员的情绪状态，并根据对驾驶员情绪的分析和理解，及时给予适当的警告，或者及时制止异常驾驶行为，提高道路交通安全。

除了人机交互的应用，情感计算也被应用到人们的日常生活中，为人类提供更好的服务。

在电子商务方面，系统可以跟踪用户浏览设计方案时的眼轨迹、焦点等参数，分析这些参数与客户关注度的关系，记录客户对商品的兴趣，自动分析其喜好。其他研究表明，不同的图像会导致不同的情绪。例如，蛇、蜘蛛和枪的图片会引起恐惧，而有很多钱和金子的图片会让人兴奋和快乐。如果在电子商务网站的设计中考虑到这些因素对客户情绪的影响，将对改善客流起到非常积极的作用。

在家庭生活中，在信息家电和智能仪器中加入自动感知人们情绪状态的功能，可以提高人们的生活质量。

在信息检索中，情感分析的概念分析功能可以提高智能信息检索的精度和效率。

此外，情感计算还可以应用于机器人、智能玩具、游戏等相关行业，打造更加拟人化的风格。

本文节选自、刘震涛、峰撰写的《情感计算与情感机器人系统》第一章。内容略有删减和改动。(图片来源:百度图片)

情感计算和情感机器人系统

主管编辑:朱英标，赵小亭

北京:科学出版社，2018年4月

书号:978-7-03-056923-3

《情感计算与情感机器人系统》在介绍情感计算、情感建模和人机情感交互概念的基础上，分析了当前人机情感交互的研究前沿，总结了多模态情感识别方法、人机交互氛围场建模、情感意图理解方法、情感机器人多模态情感表达和人机情感交互系统应用等方面的最新研究成果，使读者对人机情感交互有了更深入的了解，对我国情感计算和情感机器人的快速发展起到了积极的推动作用。

原创，好读书，科学品味