装备仿真人机交互旗语识别技术

1 概论
1.1 虚拟现实与装备仿真
1.2 模式识别领域的深度神经网络
1.2.1 深度神经网络
1.2.2 典型的深度卷积神经网络模型
1.2.3 评估标准
1.3 装备仿真人机交互接口
2 旗语识别技术
2.1 旗语信号与捕捉
2.2 动作采集与识别
2.2.1 动作采集
2.2.2 信号预处理
2.2.3 特征提取
2.2.4 分类识别
3 基于单目视觉的人体骨架提取
3.1 基于背景建模的人体轮廓检测
3.1.1 核密度估计背景建模
3.1.2 基于相关系数的前景区域检测
3.2 基于形态学的骨骼提取研究
3.2.1 距离变换算法
3.2.2 基于数学形态学细化方法
3.3 人体姿态骨架模型建立
3.3.1 骨架关节点模型建立
3.3.2 链码遍历骨架算法
3.4 结果分析
3.4.1 算法实现流程
3.4.2 测试实验与结果
3.5 小结
4 基于深度信息的人体姿态特征提取
4.1 深度图像原理
4.1.1 深度图像概念
4.1.2 深度图像的伪灰度表示
4.2 深度图像获取方法研究
4.2.1 深度图像获取方法
4.2.2 基于结构光深度获取优化
4.2.3 基于结构光的深度传感系统环境分析
4.3 基于深度信息的骨架提取
4.3.1 基于深度信息的人体轮廓分割
4.3.2 基于深度信息的骨架提取
4.3.3 改进的基于深度信息骨架提取方法
4.3.4 基于深度的骨架结构优化
4.4 结果分析
4.4.1 基于深度信息的人体与骨架的提取效果
4.4.2 基于深度信息的骨骼节点匹配效果分析
4.5 小结
5 基于神经网络的旗语识别研究
5.1 基于空间位置的旗语识别方法
5.1.1 手臂位置的检测
5.1.2 基于空间位置旗语的识别方法
5.2 基于深度信息的人体模型建立
5.2.1 旗语手臂运动约束
5.2.29 -DOF人体骨架模型建立
5.3 基于BP神经网络的旗语识别方法
5.3.1 神经元
5.3.2 BP网络算法原理
5.4 基于BP神经网络的旗语识别系统的实现
5.4.1 基于关键帧的旗语动作提取原理与方法
5.4.2 BP神经网络输入特征的构建
5.4.3 旗语样本库的建立
5.5 BP网络的结构设计优化
5.5.1 输入与输出层设计
5.5.2 隐层设计
5.5.3 激励函数选择优化
5.5.4 BP网络的训练流程
5.5.5 实验结果
5.6 结果分析
5.6.1 旗语识别实验环境设计
5.6.2 旗语动作识别实验
5.6.3 静/动态旗语识别结果分析
5.6.4 实验分析
5.7 小结
6 基于可穿戴传感器的旗语动作数据采集与处理
6.1 基于可穿戴传感器的旗语动作采集方法
6.2 基于9轴姿态传感器的动作信号采集流程
6.3 旗语信号采集平台搭建
6.3.1 WT901C姿态传感器采集设备
6.3.2 旗语信号采集平台
6.4 旗语动作模型
6.5 一维信号检测分割技术
6.6 基于时间序列变化点检测的旗语信号分割模型
6.7 算法研究及相关模型建立
6.7.1 旗语动作时间序列三维采样散点模型建立
6.7.2 基于滑动模型的时间序列类间差异度函数建立
6.7.3 差异度函数阈值模型建立
6.7.4 一维旗语信号特征函数建立
6.8 数据导入及差异度函数阈值确定
6.9 小结
7 基于融合数据的一维及二维CNN旗语识别研究
7.1 基于时间序列的一维CNN网络
7.2 基于9轴旗语信号的一维CNN结构
7.2.1 基于方位角信息解算的9轴数据融合算法
7.2.2 卷积层设置
7.2.3 激活函数
7.2.4 池化层设置
7.2.5 全连接层设置
7.3 旗语动作识别一维网络训练参数设置
7.3.1 学习率（learning rate)
7.3.2 迭代轮数（training epoch）
7.3.3 网络训练
7.4 Inception-ResNet二维卷积网络模型
7.5 基于9轴旗语动作数据的Inception-ResNet网络模型构建
7.5.1 Block 1（Stem层）设置
7.5.2 基于深度可分离卷积的Block 2（Inception-ResNet层）建立
7.5.3 Block 3 Reduction-A（降维层）建立
7.5.4 Block 4 Reduction-B建立
7.5.5 整体二维CNN网络结构
7.6 C-L联合损失函数分类模型
7.6.1 损失函数
7.6.2 常用损失函数类型及其特性分析
7.6.3 CrossEntropy-Logistic联合损失函数
7.6.4 训练效果对比
7.7 结果分析
7.7.1 数据集划分
7.7.2 数据导入及实验结果
7.7.3 基于融合数据处理的一维CNN识别结果
7.7.4 基于Inception-ResNet双流网络框架的识别结果
7.7.5 结果分析与探讨
7.8 小结
参考文献