计算机科学丛书增强现实:原理与实践

出版者的话
前言
致谢
第1章　增强现实介绍 1
1.1　定义和范围 1
1.2　增强现实简史 2
1.3　示例 8
1.3.1　工业和建筑业 8
1.3.2　维修和培训 10
1.3.3　医疗 11
1.3.4　个人信息显示 12
1.3.5　导航 13
1.3.6　电视 14
1.3.7　广告和商务 15
1.3.8　游戏 17
1.4　相关领域 17
1.4.1　混合现实连续体 18
1.4.2　虚拟现实 18
1.4.3　普适计算 18
1.5　小结 20
第2章　显示 21
2.1　多模态呈现 21
2.1.1　听觉呈现 21
2.1.2　触力觉呈现 22
2.1.3　嗅觉和味觉呈现 23
2.2　视觉感知 24
2.3　需求与特点 25
2.3.1　增强方法 25
2.3.2　单视和体视 27
2.3.3　调焦 28
2.3.4　遮挡 30
2.3.5　分辨率和刷新率 31
2.3.6　视场 32
2.3.7　视点偏移 33
2.3.8　亮度和对比度 35
2.3.9　扭曲和畸变 36
2.3.10　延迟 36
2.3.11　人因工程学 36
2.3.12　社会接受度 36
2.4　空间显示模型 37
2.5　视觉显示 38
2.5.1　近眼显示器 39
2.5.2　手持式显示器 46
2.5.3　固定式显示器 47
2.5.4　投影式显示器 52
2.6　小结 56
第3章　跟踪 57
3.1　跟踪、标定和注册 57
3.2　坐标系 58
3.2.1　模型变换 59
3.2.2　视图变换 59
3.2.3　投影变换 59
3.2.4　参考帧 59
3.3　跟踪技术的特点 60
3.3.1　物理现象 60
3.3.2　测量原理 60
3.3.3　测量的几何属性 61
3.3.4　传感器布置 61
3.3.5　信号源 61
3.3.6　自由度 62
3.3.7　测量坐标 62
3.3.8　空间传感器布置 62
3.3.9　工作区范围 63
3.3.10　测量误差 63
3.3.11　时间特性 64
3.4　固定跟踪系统 64
3.4.1　机械跟踪 64
3.4.2　电磁跟踪 65
3.4.3　超声波跟踪 66
3.5　移动传感器 66
3.5.1　全球定位系统 67
3.5.2　无线网络 68
3.5.3　磁力仪 68
3.5.4　陀螺仪 69
3.5.5　线性加速度计 69
3.5.6　里程表 70
3.6　光学跟踪 70
3.6.1　基于模型跟踪与无模型跟踪 71
3.6.2　照明 71
3.6.3　标志点与自然特征 73
3.6.4　目标识别 77
3.7　传感器融合 79
3.7.1　互补传感器融合 79
3.7.2　竞争传感器融合 79
3.7.3　协作传感器融合 80
3.8　小结 81
第4章　增强现实中的计算机视觉 82
4.1　标志点跟踪 83
4.1.1　摄像机表示 84
4.1.2　标志点检测 85
4.1.3　单应位姿估计 87
4.1.4　位姿优化 90
4.2　多摄像机红外跟踪 90
4.2.1　斑块检测 91
4.2.2　建立点对应关系 91
4.2.3　双摄像机的三角测量 92
4.2.4　两台以上摄像机的三角测量 93
4.2.5　包含球体标志物的目标匹配 93
4.2.6　绝对朝向 94
4.3　自然特征检测跟踪 94
4.3.1　兴趣点检测 95
4.3.2　创建描述符 98
4.3.3　匹配描述符 99
4.3.4　n点透视位姿 99
4.3.5　鲁棒的位姿估计 100
4.4　增量跟踪 101
4.4.1　主动搜索 102
4.4.2　Kanade-Lucas-Tomasi跟踪 102
4.4.3　零归一化交叉相关 103
4.4.4　分层搜索 104
4.4.5　联合检测与跟踪 105
4.5　同时定位与地图构建 106
4.5.1　本质矩阵的五点算法 107
4.5.2　集束调整 108
4.5.3　并行跟踪与地图构建 108
4.5.4　重定位与闭环 109
4.5.5　稠密地图构建 110
4.6　户外跟踪 112
4.6.1　可扩展的视觉匹配 113
4.6.2　传感器先验信息 114
4.6.3　几何先验信息 115
4.6.4　同时跟踪、地图构建及定位 116
4.7　小结 120
第5章　标定与注册 121
5.1　摄像机标定 121
5.1.1　摄像机内参 121
5.1.2　校正镜头畸变 122
5.2　显示器标定 123
5.2.1　单点主动对准法 125
5.2.2　使用指向装置的头戴式显示器标定 126
5.2.3　手–眼标定 127
5.3　注册 129
5.3.1　几何测量失真 129
5.3.2　误差传播 129
5.3.3　延迟 130
5.3.4　滤波和预测 130
5.4　小结 131
第6章　视觉一致性 132
6.1　注册 132
6.2　遮挡 134
6.2.1　遮挡细化 135
6.2.2　概率遮挡 136
6.2.3　无模型遮挡 136
6.3　光度注册 138
6.3.1　基于图像的光照 139
6.3.2　光探针 140
6.3.3　离线光照采集 142
6.3.4　基于静止图像的光度注册 142
6.3.5　基于镜面反射的光度注册 142
6.3.6　基于漫反射的光度注册 143
6.3.7　基于阴影的光度注册 144
6.3.8　室外光度注册 145
6.3.9　重建精确光源 145
6.4　通用光照 145
6.4.1　差分渲染 146
6.4.2　实时全局光照 147
6.4.3　阴影 148
6.4.4　漫射全局光照 150
6.4.5　镜面全局光照 152
6.5　消隐现实 153
6.5.1　感兴趣区域的确定 153
6.5.2　隐藏区域的观察与建模 154
6.5.3　感兴趣区域的移除 154
6.5.4　基于投影的消隐现实 155
6.6　摄像机仿真 155
6.6.1　镜头畸变 156
6.6.2　模糊 157
6.6.3　噪声 157
6.6.4　渐晕 158
6.6.5　色差 158
6.6.6　拜耳模式伪影 158
6.6.7　色调映射伪影 158
6.7　风格化增强现实 159
6.8　小结 159
第7章　情境可视化 161
7.1　挑战 162
7.1.1　数据过载 162
7.1.2　用户交互 163
7.1.3　注册误差 163
7.1.4　视觉干扰 163
7.1.5　时间一致性 164
7.2　可视化注册 165
7.2.1　本地注册情境可视化 165
7.2.2　全局注册情境可视化 165
7.2.3　注册不确定性 166
7.3　注释和标记 166
7.3.1　标记基础 166
7.3.2　优化技术 167
7.3.3　时间一致性 168
7.3.4　图像导引放置 170
7.3.5　易读性 170
7.4　X射线可视化 171
7.4.1　物体空间幻影 171
7.4.2　图像空间幻影 172
7.4.3　G缓冲器实现 173
7.5　空间操作 174
7.5.1　爆炸图 174
7.5.2　空间扭曲 176
7.6　信息过滤 177
7.6.1　基于知识的过滤 177
7.6.2　空间过滤 177
7.6.3　基于知识的过滤与空间过滤的结合 179
7.7　小结 180
第8章　交互 181
8.1　输出模态 181
8.1.1　增强放置 181
8.1.2　灵巧显示 182
8.1.3　魔镜 184
8.2　输入模态 186
8.2.1　刚体的跟踪和操控 186
8.2.2　人体跟踪 187
8.2.3　手势 188
8.2.4　触控 189
8.2.5　基于物理的界面 190
8.3　有形界面 191
8.3.1　有形表面 191
8.3.2　通用有形物体 191
8.3.3　特定有形物体 192
8.3.4　透明有形物体 194
8.4　真实表面上的虚拟用户界面 195
8.5　增强纸 196
8.6　多视界面 197
8.6.1　多显示焦点 上下文 197
8.6.2　共享空间 197
8.6.3　多位置 198
8.6.4　跨视图交互 200
8.7　触力觉交互 201
8.8　多模态交互 202
8.9　会话代理 203
8.10　小结 205
第9章　建模与注释 206
9.1　指定几何 206
9.1.1　点 206
9.1.2　平面 208
9.1.3　体 208
9.2　指定外观 209
9.3　半自动重建 210
9.4　自由曲面建模 213
9.5　注释 214
9.6　小结 216
第10章　开发 217
10.1　增强现实开发的需求 218
10.1.1　真实世界界面 218
10.1.2　硬件抽象 218
10.1.3　开发流程 219
10.2　开发要素 219
10.2.1　角色 220
10.2.2　故事 220
10.2.3　舞台 220
10.2.4　交互 220
10.2.5　设置 220
10.3　独立开发方法 221
10.3.1　桌面开发 221
10.3.2　表演开发 223
10.4　插件方法 223
10.5　网络技术 224
10.6　小结 225
第11章　漫游 227
11.1　人类漫游基础 227
11.2　探索与发现 228
11.3　路线可视化 228
11.4　视点导航 230
11.4.1　目标对象导引 230
11.4.2　目标视点导引 232
11.5　多视角 233
11.5.1　同步多视角 233
11.5.2　过渡接口 235
11.6　小结 236
第12章　协作 237
12.1　协作系统特性 237
12.2　同地协作 238
12.2.1　个人显示器与视图 240
12.2.2　目光感知 241
12.2.3　共享空间内的敏捷协作 242
12.3　远程协作 243
12.3.1　视频共享 244
12.3.2　包含虚拟物体的视频共享 244
12.3.3　包含几何重建的视频共享 246
12.3.4　指向和手势 247
12.3.5　包含敏捷用户的远程协作 247
12.4　小结 248
第13章　软件架构 250
13.1　增强现实应用程序的要求 250
13.1.1　环境控制和场景动态 250
13.1.2　显示空间 251
13.1.3　虚实一致 251
13.1.4　语义知识 251
13.1.5　物理空间 251
13.2　软件工程要求 252
13.2.1　平台抽象 252
13.2.2　用户界面抽象 252
13.2.3　重用性和扩展性 253
13.2.4　分布式计算 253
13.2.5　解耦仿真 253
13.3　分布式对象系统 253
13.3.1　对象管理 254
13.3.2　案例学习：“绵羊” 255
13.4　数据流 256
13.4.1　数据流图 257
13.4.2　多模态交互 257
13.4.3　线程和调度 258
13.4.4　案例学习：可穿戴的增强现实装置 259
13.5　场景图 261
13.5.1　场景图的基本原理 261
13.5.2　依赖图 262
13.5.3　场景图集成 262
13.5.4　分布式共享场景图 264
13.6　开发者支持 265
13.6.1　参数配置 265
13.6.2　脚本声明 265
13.6.3　案例学习：增强现实导游 267
13.6.4　程序脚本 267
13.6.5　混合语言编程 268
13.6.6　运行时重配置 268
13.6.7　选择一种增强现实平台 269
13.7　小结 269
第14章　未来 271
14.1　商业案例驱动力 271
14.1.1　专业用户 271
14.1.2　普通消费者 272
14.2　增强现实开发者的愿望清单 272
14.2.1　摄像机底层API 273
14.2.2　多摄像机 273
14.2.3　大视场摄像机 273
14.2.4　传感器 273
14.2.5　统一内存 274
14.2.6　移动GPU上的并行编程 274
14.2.7　更好的显示设备 274
14.3　户外增强现实 275
14.3.1　非合作用户 275
14.3.2　有限的设备能力 275
14.3.3　定位成功率 276
14.4　与智能对象交互 276
14.5　虚拟现实与增强现实的融合 277
14.6　增强人 277
14.7　作为戏剧媒介的增强现实 278
14.8　作为社交计算平台的增强现实 279
14.9　小结 280
参考文献 281