面向共融机器人的自然交互——多模态交互信息的情感分析 下载 pdf 百度网盘 epub 免费 2025 电子书 mobi 在线

共融机器人是能够与作业环境、人和其他机器人自然交互、自主适应复杂动态环境并协同作业的机器人。“敏锐体贴型”的自然交互是共融服务机器人的研究热点问题之一。当前迫切需要共融机器人具备多模态交互信息的情感分析能力。本书针对多模态机器学习方法的情感分析领域，从多模态交互信息特征的学习表示出发，系统介绍了自然交互中的特征学习表示、特征融合和情感分类的方法，并进一步探讨了如何实现鲁棒的多模态情感分析法。 本书是共融机器人自然交互领域国内本系统介绍多模态交互信息情感分析的专业书籍，可为读者掌握共融机器人研究领域人机情感分析的关键技术和基础知识，为追踪该领域的发展前沿提供重要的学习和研究参考。

篇概述

第1章多模态情感分析概述3

1.1多模态情感分析相关研究概述3

1.2模态缺失相关研究概述6

1.3本章小结7

第2章多模态机器学习概述8

2.1多模态表示学习概述8

2.1.1联合型表示学习9

2.1.2协同型表示学习9

2.2多模态表示融合概述10

2.2.1前期融合10

2.2.2中期融合10

2.2.3后期融合11

2.2.4末期融合11

2.3本章小结11

第3章多任务学习机制概述13

3.1在计算机视觉中的多任务架构13

3.2在自然语言处理中的多任务架构14

3.3在多模态学习中的多任务架构16

3.4本章小结18目录  面向共融机器人的自然交互——多模态交互信息的情感分析  

第二篇多模态情感分析数据集与预处理

第4章多模态情感分析数据集简介23

4.1CMUMOSI24

4.2CMUMOSEI24

4.3IEMOCAP24

4.4MELD25

4.5本章小结25

第5章多模态多标签情感分析数据集构建26

5.1概述26

5.2多模态多标签的中文情感分析数据集制作26

5.2.1数据收集和标注26

5.2.2统计和分析28

5.3本章小结29

第6章基于主动学习的多模态情感分析数据的自动标定30

6.1相关工作30

6.1.1数据标注30

6.1.2主动学习31

6.2研究方法35

6.2.1整体结构介绍36

6.2.2MMAL模块介绍38

6.2.3半监督学习模块40

6.3实验设置40

6.3.1实验参数和评价标准40

6.3.2基线模型选择41

6.4结果分析42

6.4.1主动学习方法效果分析42

6.4.2半监督主动学习方法效果分析44

6.4.3消融实验46

6.5本章小结47

第三篇单模态信息的情感分析

第7章基于文本的情感分析51

7.1基于情感词典的情感分析方法52

7.2基于深度学习的情感分析方法53

7.2.1单一神经网络的情感分析53

7.2.2混合神经网络的情感分析53

7.2.3引入注意力机制的情感分析54

7.2.4使用预训练模型的情感分析54

7.3本章小结55

第8章基于语音信息的情感分析56

8.1基于ConstantQ色谱图的音频情感分类56

8.1.1ConstantQ色谱图抽取58

8.1.2CRLA模型59

8.1.3特征抽取网络59

8.1.4上下文表征学习59

8.1.5实验与分析60

8.2基于异构特征融合的音频情感分类63

8.2.1频谱特征抽取64

8.2.2统计特征抽取66

8.2.3CHFFM66

8.2.4CSFM67

8.2.5实验与分析68

8.3本章小结71

第9章基于人脸关键点的图片情感分析72

9.1CMCNN73

9.1.1设计思想73

9.1.2模型整体框图74

9.1.3CCAM75

9.1.4SCAM76

9.1.5多任务优化目标77

9.2实验设置77

9.2.1基准数据集77

9.2.2数据预处理78

9.2.3基线方法79

9.2.4评价指标79

9.2.5训练策略和参数设置80

9.3实验结果和分析80

9.3.1与基线方法的结果对比80

9.3.2迁移效果验证82

9.3.3特征可视化83

9.3.4模块化分析84

9.4本章小结85

第四篇跨模态信息的情感分析

第10章跨模态特征表示方法89

10.1文本模态特征表示方法90

10.2音频模态特征表示方法91

10.2.1格式转换92

10.2.2特征工程92

10.2.3数据对齐93

10.2.4高阶特征提取94

10.2.5融合特征95

10.3实验与分析97

10.3.1数据集和评价指标97

10.3.2实验设置98

10.3.3实验结果98

10.4不足和展望100

10.5本章小结100

第11章基于多层次信息互补的融合方法101

11.1方法102

11.1.1模态表示模块102

11.1.2模态相似度和情绪识别多任务105

11.2实验与分析106

11.2.1数据集106

11.2.2数据预处理106

11.2.3评价指标107

11.2.4训练细节和参数设置107

11.2.5对比基线108

11.2.6实验分析108

11.3不足与展望111

11.4本章小结112

第12章生成式多任务网络的情绪识别113

12.1方法115

12.1.1情绪多任务网络115

12.1.2生成式多任务模块116

12.2实验与分析117

12.2.1数据集117

12.2.2数据预处理118

12.2.3基线模型119

12.2.4评价指标以及重要参数设置119

12.2.5情绪分类实验结果119

12.2.6实验分析121

12.3不足与展望122

12.4本章小结122

第13章面向非对齐序列的跨模态情感分类124

13.1SAFRLM125

13.1.1多模态对齐模块126

13.1.2融合表示初始化模块126

13.1.3自调节模块127

13.2实验与分析128

13.2.1数据集及实验设置129

13.2.2单模态特征抽取及评价指标129

13.2.3基线模型129

13.2.4跨模态情感分类实验结果130

13.2.5Crossmodal block的数目对实验的影响131

13.2.6定性分析132

13.3不足与展望133

13.4本章小结133

第14章面向对齐序列的跨模态情感分类134

14.1问题定义135

14.2音频特征抽取与对齐135

14.3CMBERT模型135

14.3.1预训练BERT模型136

14.3.2时序卷积层137

14.3.3Masked Multimodal Attention137

14.4实验与分析139

14.4.1数据集和评价指标139

14.4.2实验设置139

14.4.3跨模态情感分类实验结果139

14.4.4注意力机制可视化分析141

14.5不足与展望143

14.6本章小结143

第五篇多模态信息的情感分析

第15章基于多任务学习的多模态情感分析模型147

15.1基于多任务学习的多模态情感分析模型概述148

15.1.1模型总体设计148

15.1.2单模态表示学习网络149

15.1.3表示融合和分类150

15.1.4多任务优化目标151

15.2实验设置和结果分析151

15.2.1实验设置151

15.2.2结果与分析152

15.3本章小结156

第16章基于自监督学习的多任务多模态情感分析模型157

16.1基于自监督学习的单模态伪标签生成模型157

16.1.1模型总体设计157

16.1.2ULGM159

16.1.3自适应的多任务损失函数162

16.2实验设置和结果分析163

16.2.1实验设置163

16.2.2结果与分析164

16.3本章小结168

第17章基于交叉模块和变量相关性的多任务学习169

17.1概述169

17.2权值共享层框架169

17.3多任务学习层框架171

17.3.1多任务交叉模块171

17.3.2基于皮尔森相关系数的特征融合173

17.4多任务学习算法实验175

17.4.1实验评测指标175

17.4.2实验条件176

17.4.3实验结果176

17.5本章小结177

第18章基于互斥损失函数的多任务机制研究178

18.1概述178

18.2常用损失函数178

18.2.1基础损失函数178

18.2.2中心损失函数179

18.2.3互斥损失函数180

18.3基于多任务机制的互斥损失函数181

18.4损失函数策略对比实验182

18.4.1实验条件182

18.4.2实验结果182

18.5本章小结184

第19章基于多任务多模态算法的迁移学习探究185

19.1概述185

19.2迁移学习概述185

19.2.1迁移学习的背景185

19.2.2迁移学习的定义185

19.3迁移数据集186

19.4迁移实验186

19.4.1实验条件186

19.4.2实验结果186

19.5本章小结187

第20章基于模态缺失的多模态情感分析方法188

20.1任务定义188

20.2处理数据缺失方法概述188

20.2.1基于模态转译方法189

20.2.2基于张量正则化方法190

20.3模型的框架结构191

20.3.1特征抽取模块192

20.3.2模态重构模块193

20.3.3模态融合模块194

20.3.4模型训练195

20.4实验195

20.4.1多模态情感分析数据集195

20.4.2模态序列特征抽取196

20.4.3基线模型196

20.4.4实验设置196

20.4.5评价标准197

20.5实验分析197

20.5.1模型对缺失程度鲁棒性研究197

20.5.2模型对缺失模态组合鲁棒性研究200

20.5.3消融实验200

20.6本章小结202

第六篇多模态情感分析平台及应用

第21章多模态情感分析实验平台简介205

21.1概述205

21.2平台概览206

21.3数据端207

21.3.1数据管理207

21.3.2数据标注208

21.4模型端209

21.4.1多模态情感分析流程210

21.4.2模型训练与微调210

21.5分析端210

21.5.1多维结果分析211

21.5.2模型对比211

21.5.3端到端现场演示211

21.6实验评价213

21.6.1评价基准数据集213

21.6.2评价标注结果214

21.6.3评价现场演示215

21.7本章小结215第22章扩展应用： 基于多模态临床特征表示与融合的端到端中医体质

评价系统21622.1概述216

22.2中医体质评价系统217

22.3方法218

22.3.1面诊特征表示模块218

22.3.2舌诊特征表示模块219

22.3.3问诊特征表示模块219

22.3.4中医体质预测220

22.4实验220

22.5本章小结221

结束语222

参考文献223

附录A中英文缩写对照表237

附录B图片索引240

附录C表格索引243

暂无相关内容，正在全力查找中

暂无出版社相关信息，正在全力查找中！

暂无相关书籍摘录，正在全力查找中！

在线阅读地址：面向共融机器人的自然交互——多模态交互信息的情感分析在线阅读

在线听书地址：面向共融机器人的自然交互——多模态交互信息的情感分析在线收听

在线购买地址：面向共融机器人的自然交互——多模态交互信息的情感分析在线购买

暂无原文赏析，正在全力查找中！

编辑推荐

l 深度探讨了融合多模态机器学习的人机交互多模态情感分析方法。

l 深度探讨了实现鲁棒性的多模态情感分析方法与实现策略。

l 系统论述了深度人工智能时代共融机器人自然交互的基础理论与实现方法。

前言

前言

本书中所讨论的共融（服务）机器人是当前智能（服务）机器人的简称。共融机器人的自然交互主要是针对机器人与人共融的应用场景下，实现机器人与人、机器人与环境、机器人之间自然的交互共融。从共融服务机器人实际应用的角度而言，机器人与人之间的自然交互能力是其关键核心技术之一。机器人与人之间的自然交互能力主要涉及人机对话能力、对于人的多模态情感感知能力、人机协同能力等方面。为了实现智能服务机器人此处智能服务机器人包括实体服务机器人、在线虚拟(软)机器人、智能客服等系统或者产品形态。高效的情感感知能力，需要在人机交互的过程中让机器人具备强大的多模态交互信息的情感识别能力。这是实现高效智能化机器人与人对话的核心关键技术之一。2021年12月,中华人民共和国工业和信息化部、中华人民共和国国家发展和改革委员会等十五个部门联合印发的《“十四五”机器人产业发展规划》中将“人机自然交互技术，情感识别技术”等列为机器人核心技术攻关行动的前沿技术，足见共融机器人的自然交互技术在未来机器人产业的重要性。本系列丛书面向产业前沿、技术前沿和研究前沿对机器人自然交互技术中的重要问题与方法开展系统化论述。

本书由浅入深地探讨了如下几个热点研究内容： 多模态情感信息的特征表示、特征融合、多模态交互信息的情感分类。面向自然交互的多模态信息的情感分析是涉及自然语言处理、计算机视觉、机器学习、模式识别、算法、机器人智能系统、人机交互等方面相互融合的综合性研究领域，近年来笔者所在的清华大学计算机科学与技术系智能技术与系统国家重点实验室研究团队，面向共融机器人的自然交互的多模态信息情感分析方面开展了大量有开创性的研究与应用工作，特别是在基于深度学习模型的人脸情感特征识别、多模态情感信息的学习表示、多模态情感特征的融合、模态信息缺失情况下的多模态情感分析的鲁棒性等方面取得了一定的研究成果，相关成果也陆续发表在近年来人工智能领域的国际会议ACL、AAAI、ACM MM和知名国际期刊Pattern Recognition、Knowledge based Systems、Expert Systems with Applications等上。为了能够系统地呈现学术界和笔者团队近年来在共融机器人自然交互领域多模态情感分析方面的成果，本书特别地系统化地梳理了相关工作成果内容，以完整系统论述的形式将其呈现在读者面前。

本书是“面向共融机器人的自然交互”系列学术专著的第二册，笔者的研究团队后续将及时梳理和归纳总结相关的成果，以系列图书的形式分享给读者。本书既可以作为智能机器人自然交互、智能问答（客服）、自然语言处理、人机交互等领域的教材，也可以作为智能机器人、自然语言处理、人机交互等方面系统与产品研发重要的理论方法参考书。本书相关的内容资料（算法、代码、数据集等）可在开源社区下载。

由于共融型智能机器人的自然交互是一个崭新的快速发展的研究领域，受限于笔者的学识，书中错误和不足之处在所难免，笔者衷心希望读者提出宝贵的意见和建议，意见和建议可发送至bai1j@tup.tsinghua.edu.cn。

后感谢国家自然科学基金项目（项目编号： 62173195）对于“面向共融机器人的自然交互”系列学术专著的支持。同时更要感谢清华大学计算机科学与技术系智能技术与系统国家重点实验室的赵康、陈小飞、赵少杰、仇元、李晓腾等同学对于书稿整理所付出的艰辛努力，以及余文梦、杨铠成、邹纪云、袁子麒、毛惠生、李炜、张宝政、刘一贺等同学在相关研究方向上不断持续地合作创新。没有各位团队成员的努力，本书无法以体系化的形式呈现在读者面前。

作者2022年11月于清华园