MediaPipe机器学习跨平台框架实战

第 1 章　MediaPipe基础1 1.1　MediaPipe——站在巨人的肩膀上1 1.1.1　MediaPipe简介1 1.1.2　MediaPipe可以做什么2 1.1.3　MediaPipe和实时流媒体数据3 1.1.4　MediaPipe和TensorFlow 5 1.1.5　MediaPipe和OpenCV6 1.2　为什么选择MediaPipe7 1.3　主流推理框架的对比7 1.4　小结8 第 2 章　MediaPipe上手**步9 2.1　MediaPipe的安装9 2.1.1　在CentOS下安装10 2.1.2　在Windows下安装11 2.1.3　使用Docker安装12 2.2　MediaPipe的基础架构介绍15 2.2.1　基础架构组件的构成及 特点15 2.2.2　MediaPipe技术栈介绍16 2.3　控制流和同步加速机制介绍26 2.3.1　控制流27 2.3.2　同步机制28 2.4　GPU的使用28 2.5　小结31 第 3 章　MediaPipe Facemesh33 3.1　Facemesh简介33 3.1.1　用于增强现实34 3.1.2　用于AR滤镜34 3.1.3　用于视频会议软件35 3.1.4　基于MediaPipe的美颜应用36 3.2　实现虚拟化身（一）36 3.2.1　构建工作环境36 3.2.2　构建流程 38 3.2.3　获取面部关键点39 3.3　实现虚拟化身（二）53 3.3.1　构建开发环境53 3.3.2　构建虚拟化身特效55 3.4　实现美颜特性65 3.5　虚拟背景的Python实现68 3.6　虚拟背景的Android实现 71 3.6.1　构建开发环境72 3.6.2　视频背景特效的实现80 3.7　小结99 第 4 章　MediaPipe与游戏控制100 4.1　体感游戏简介100 4.2　体感游戏与MediaPipe的姿态估计（Pose Estimation）102 4.3　MediaPipe姿态检测102 4.4　游戏人物控制机制105 4.5　控制水平和竖直方向的移动105 4.5.1　控制水平方向的移动105 4.5.2　控制竖直方向的移动107 4.6　控制键盘或鼠标的移动109 4.7　小结 110 第 5 章　MediaPipe视觉特效实现111 5.1　识别眼睛EAR活动111 5.1.1　EAR介绍112 5.1.2　EAR判定疲劳的流程113 5.1.3　MediPipe监测EAR114 5.2　AR激光剑效果118 5.2.1　游戏策划119 5.2.2　准备和设计图片资源120 5.2.3　编写脚本120 5.2.4　测试和预览效果131 5.3　火箭发射小游戏131 5.4　空中作图149 5.4.1　空中作图的历史149 5.4.2　应用流程的设计149 5.4.3　菜单的设计149 5.4.4　选择和绘画手势的判断150 5.4.5　绘画逻辑的实现152 5.4.6　测试和预览效果154 5.5　小结 155 第 6 章　MediaPipe手语识别实战156 6.1　手语识别介绍156 6.1.1　手语简介156 6.1.2　手语识别的历史157 6.2　MediaPipe手语识别的实现步骤157 6.3　小结 183 第 7 章　MediaPipe智能健身教练实战184 7.1　智能健身概述184 7.2　MediaPipe健康教练的实现185 7.3　小结199 第 8 章　MediaPipe和Unity200 8.1　MediaPipe Unity插件简介200 8.2　MediaPipe Unity插件的安装方法201 8.3　MediaPipe Unity插件的使用方法206 8.4　案例介绍214 8.5　小结230 第 9 章　MediaPipe的前景和展望231 9.1　实时识别、移动设备加速AI技术的落地，助力廉价AR/VR设备（ARCore/VRCHAT）231 9.2　MediaPipe助力元宇宙发展232 9.3　面临的挑战233 9.4　小结233