TensorFlow 2.x高级计算机视觉

目 录 第1篇 计算机视觉和神经网络概论 第1章 计算机视觉和TensorFlow基础知识 3 1.1 技术要求 3 1.2 使用图像哈希和滤波检测边缘 3 1.2.1 使用拜耳滤色器形成彩色图案 4 1.2.2 创建图像向量 5 1.2.3 变换图像 8 1.2.4 线性滤波—与内核进行卷积 9 1.2.5 图像平滑 10 1.2.6 均值滤波器 11 1.2.7 中值滤波器 12 1.2.8 高斯滤波器 12 1.2.9 使用OpenCV进行图像滤波 13 1.2.10 图像梯度 14 1.2.11 图像锐化 15 1.2.12 混合高斯和拉普拉斯运算 16 1.2.13 检测图像边缘 18 1.2.14 Sobel边缘检测器 19 1.2.15 Canny边缘检测器 19 1.3 从图像中提取特征 20 1.3.1 直方图 20 1.3.2 使用OpenCV进行图像匹配 21 1.4 使用轮廓和HOG检测器进行对象检测 22 1.4.1 轮廓检测 23 1.4.2 检测边界框 23 1.4.3 HOG检测器 25 1.4.4 轮廓检测方法的局限性 26 1.5 TensorFlow生态系统和安装概述 28 1.5.1 TensorFlow与PyTorch 29 1.5.2 TensorFlow安装 29 1.6 小结 31 第2章 局部二值模式和内容识别 33 2.1 使用LBP处理图像 33 2.1.1 生成LBP模式 33 2.1.2 理解LBP直方图 36 2.1.3 直方图比较方法 36 2.1.4 LBP的计算成本 39 2.2 将LBP应用于纹理识别 39 2.3 使脸部颜色与基础颜色匹配—LBP及其局限性 45 2.4 使脸部颜色与基础颜色匹配—颜色匹配技术 48 2.5 小结 49 第3章 使用OpenCV和CNN进行面部检测 51 3.1 应用Viola-Jones AdaBoost学习模型和Haar级联分类器进行人脸识别 51 3.1.1 选择哈尔特征 51 3.1.2 创建积分图像 52 3.1.3 进行AdaBoost训练 55 3.1.4 级联分类器 56 3.1.5 训练级联检测器 57 3.2 使用深度神经网络预测面部关键点 58 3.2.1 准备用于关键点检测的数据集 58 3.2.2 处理关键点数据 61 3.2.3 在输入Keras–Python代码之前进行预处理 61 3.2.4 Keras–Python代码中的预处理 61 3.2.5 定义模型架构 63 3.2.6 训练模型以进行关键点预测 65 3.3 使用CNN预测面部表情 67 3.4 3D人脸检测概述 69 3.4.1 3D重建的硬件设计概述 69 3.4.2 3D重建和跟踪概述 69 3.4.3 参数跟踪概述 70 3.5 小结 71 第4章 图像深度学习 73 4.1 理解CNN及其参数 73 4.1.1 卷积 75 4.1.2 在空间上的卷积—3×3滤波器 77 4.1.3 在空间上的卷积—1×1滤波器 78 4.1.4 池化 79 4.1.5 填充 80 4.1.6 步幅 81 4.1.7 激活 82 4.1.8 全连接层 83 4.1.9 正则化 84 4.1.10 舍弃 84 4.1.11 内部协方差漂移和批归一化 85 4.1.12 Softmax 87 4.2 优化CNN参数 87 4.2.1 基准情况 89 4.2.2 迭代1 90 4.2.3 迭代2 90 4.2.4 迭代3 91 4.2.5 迭代4 92 4.3 可视化神经网络的各个层 94 4.3.1 构建自定义图像分类器模型并可视化其层 94 4.3.2 神经网络输入和参数 94 4.3.3 输入图像 95 4.3.4 定义训练和验证生成器 95 4.3.5 开发模型 96 4.3.6 编译和训练模型 96 4.3.7 输入测试图像并将其转换为张量 98 4.3.8 可视化**个激活层 99 4.3.9 可视化多个激活层 99 4.3.10 训练现有的高级图像分类器模型并可视化其层 103 4.4 小结 107 第2篇 TensorFlow和计算机视觉的高级概念 第5章 神经网络架构和模型 111 5.1 AlexNet概述 111 5.2 VGG16概述 116 5.3 Inception概述 117 5.3.1 Inception网络的工作原理 117 5.3.2 GoogLeNet检测 120 5.4 ResNet概述 121 5.5 R-CNN概述 123 5.5.1 图像分割 125 5.5.2 基于聚类的分割 125 5.5.3 基于图的分割 125 5.5.4 选择性搜索 126 5.5.5 区域提议 126 5.5.6 特征提取 126 5.5.7 图像分类 127 5.5.8 边界框回归 127 5.6 快速R-CNN概述 127 5.7 更快的R-CNN概述 129 5.8 GAN概述 133 5.9 GNN概述 135 5.9.1 有关图神经网络的基础知识 136 5.9.2 频谱GNN 137 5.10 强化学习概述 138 5.11 迁移学习概述 139 5.12 小结 141 第6章 迁移学习和视觉搜索 143 6.1 使用TensorFlow编写深度学习模型代码 143 6.1.1 下载权重 144 6.1.2 解码预测结果 144 6.1.3 导入其他常用功能 145 6.1.4 构建模型 145 6.1.5 从目录输入图像 146 6.1.6 使用TensorFlow Keras导入和处理多幅图像的循环函数 146 6.2 使用TensorFlow开发迁移学习模型 151 6.2.1 分析和存储数据 151 6.2.2 导入TensorFlow库 152 6.2.3 设置模型参数 153 6.2.4 建立数据输入管道 153 6.2.5 训练数据生成器 153 6.2.6 验证数据生成器 154 6.2.7 使用迁移学习构建*终模型 154 6.2.8 使用Checkpoint保存模型 156 6.2.9 给训练的历史记录绘图 157 6.3 理解视觉搜索的架构和应用 160 6.3.1 视觉搜索的架构 161 6.3.2 视觉搜索代码和说明 164 6.3.3 预测上传图像的类别 164 6.3.4 预测所有图像的类别 165 6.4 使用tf.data处理视觉搜索输入管道 171 6.5 小结 173 第7章 YOLO和对象检测 175 7.1 YOLO概述 175 7.1.1 交并比的概念 176 7.1.2 YOLO能够快速检测对象的原因揭秘 177 7.1.3 YOLO v3神经网络架构 179 7.1.4 YOLO与更快的R-CNN的比较 180 7.2 用于对象检测的Darknet简介 181 7.2.1 使用Darknet检测对象 181 7.2.2 使用Tiny Darknet检测对象 184 7.3 使用Darknet进行实时预测 186 7.4 YOLO系列的比较 190 7.5 训练模型 191 7.6 使用YOLO v3训练新图像集以开发自定义模型 192 7.6.1 准备图像 194 7.6.2 生成注解文件 194 7.6.3 将.xml文件转换为.txt文件 196 7.6.4 创建合并的train.txt和test.txt文件 196 7.6.5 创建一个类别名称文件的列表 196 7.6.6 创建一个YOLO .data文件 197 7.6.7 调整YOLO配置文件 197 7.6.8 启用GPU进行训练 200 7.6.9 开始训练 200 7.7 特征金字塔网络和RetinaNet概述 201 7.8 小结 203 第8章 语义分割和神经风格迁移 205 8.1 用于语义分割的TensorFlow DeepLab概述 205 8.1.1 空间金字塔池化 207 8.1.2 空洞卷积 207 8.1.3 编码器-解码器网络 208 8.1.4 编码器模块 208 8.1.5 解码器模块 209 8.1.6 DeepLab中的语义分割示例 209 8.1.7 Google Colab、Google Cloud TPU和TensorFlow 209 8.2 使用DCGAN生成人工图像 213 8.2.1 生成器 213 8.2.2 鉴别器 214 8.2.3 训练 215 8.2.4 使用DCGAN修复图像 216 8.2.5 TensorFlow DCGAN示例 217 8.3 使用OpenCV修复图像 217 8.4 理解神经风格迁移 218 8.5 小结 222 第3篇 使用TensorFlow的计算机视觉高级实现 第9章 使用多任务深度学习进行动作识别 225 9.1 人体姿势估计—OpenPose 225 9.1.1 OpenPose背后的理论 225 9.1.2 理解OpenPose代码 228 9.2 人体姿势估计—堆叠沙漏模型 231 9.2.1 理解沙漏模型 233 9.2.2 编写沙漏模型代码 234 9.2.3 argparse块 235 9.2.4 训练沙漏网络 237 9.2.5 创建沙漏网络 238 9.3 人体姿势估计—PoseNet 242 9.3.1 自上而下的方法 242 9.3.2 自下而上的方法 242 9.3.3 PoseNet实现 243 9.3.4 应用人体姿势进行手势识别 246 9.4 使用各种方法进行动作识别 247 9.4.1 基于加速度计识别动作 248 9.4.2 将基于视频的动作与姿势估计相结合 250 9.4.3 使用4D方法进行动作识别 251 9.5 小结 251 第10章 使用R-CNN、SSD和R-FCN进行对象检测 253 10.1 SSD概述 253 10.2 R-FCN概述 256 10.3 TensorFlow对象检测API概述 258 10.4 在Google Cloud上使用TensorFlow检测对象 259 10.5 使用TensorFlow Hub检测对象 262 10.6 使用TensorFlow和Google Colab训练自定义对象检测器 263 10.6.1 收集图像并格式化为.jpg文件 265 10.6.2 注解图像以创建.xml文件 266 10.6.3 将文件拆分到训练和测试文件夹中 267 10.6.4 配置参数并安装所需的软件包 269 10.6.5 创建TensorFlow记录 271 10.6.6 准备模型并配置训练管道 273 10.6.7 使用TensorBoard监控训练进度 274 10.6.8 在本地计算机上运行TensorBoard 274 10.6.9 在Google Colab上运行TensorBoard 274 10.6.10 训练模型 275 10.6.11 运行推理测试 278 10.6.12 使用神经网络模型时的注意事项 279 10.7 Mask R-CNN概述和Google Colab演示 280 10.8 开发对象跟踪器模型以补充对象检测器 282 10.8.1 基于质心的跟踪 282 10.8.2 SORT跟踪 282 10.8.3 DeepSORT跟踪 283 10.8.4 OpenCV跟踪方法 284 10.8.5 基于暹罗网络的跟踪 284 10.8.6 基于SiamMask的跟踪 285 10.9 小结 286 第4篇 在边缘和云端上的TensorFlow实现 第11章 通过CPU/GPU优化在边缘设备上进行深度学习 291 11.1 边缘设备上的深度学习概述 291 11.2 用于GPU/CPU优化的技术 293 11.3 MobileNet概述 294 11.4 使用Raspberry Pi进行图像处理 296 11.4.1 Raspberry Pi硬件设置 297 11.4.2 Raspberry Pi摄像头软件设置 298 11.4.3 在Raspberry Pi中安装OpenCV 298 11.4.4 在Raspberry Pi中安装OpenVINO 299 11.4.5 安装OpenVINO工具包组件 300 11.4.6 设置环境变量 301 11.4.7 添加USB规则 301 11.4.8 使用Python代码运行推理 301 11.4.9 高级推理 302 11.4.10 人脸检测、行人检测和车辆检测 304 11.4.11 特征识别模型 305 11.4.12 动作识别模型 306 11.4.13 车牌、注视和人员检测 306 11.5 使用OpenVINO进行模型转换和推理 309 11.5.1 使用NCAPPZOO在终端中运行推理 309 11.5.2 转换预训练模型以进行推理 310 11.5.3 转换使用Keras开发的TensorFlow模型 310 11.5.4 转换使用TensorFlow对象检测API开发的TensorFlow模型 311 11.5.5 OpenVINO模型推理过程总结 312 11.6 TensorFlow Lite的应用 314 11.6.1 将TensorFlow模型转换为tflite格式 315 11.6.2 Python API 315 11.6.3 TensorFlow对象检测API—tflite_convert 315 11.6.4 TensorFlow对象检测API—toco 316 11.6.5 模型优化 318 11.7 使用TensorFlow Lite在Android手机上进行对象检测 319 11.8 使用TensorFlow Lite在Raspberry Pi上进行对象检测 323 11.8.1 图像分类 324 11.8.2 对象检测 325 11.9 使用TensorFlow Lite和Create ML在iPhone上进行对象检测 326 11.9.1 适用于iPhone的TensorFlow Lite转换模型 327 11.9.2 Core ML 330 11.9.3 将TensorFlow模型转换为Core ML格式 333 11.10 各种注解方法的摘要 333 11.10.1 将标注工作外包给第三方 333 11.10.2 自动或半自动标注 334 11.11 小结 338 第12章 用于计算机视觉的云计算平台 339 12.1 在GCP中训练对象检测器 339 12.1.1 在GCP中创建项目 340 12.1.2 GCP设置 341 12.1.3 Google Cloud Storage存储桶设置 342 12.1.4 使用GCP API设置存储桶 342 12.1.5 使用Ubuntu终端设置存储桶 343 12.1.6 设置Google Cloud SDK 343 12.1.7 将终端链接到Google Cloud项目和存储桶 344 12.1.8 安装TensorFlow对象检测API 345 12.1.9 准备数据集 346 12.1.10 TFRecord和标注地图数据 346 12.1.11 准备数据 346 12.1.12 上传数据 347 12.1.13 model.ckpt文件 348 12.1.14 模型配置文件 348 12.1.15 在云端训练 350 12.1.16 在TensorBoard中查看模型输出 351 12.1.17 模型输出并转换为冻结图 353 12.1.18 从Google Colab导出tflite graph.py 354 12.2 在AWS SageMaker云平台中训练对象检测器 357 12.2.1 设置AWS账户和限制等 357 12.2.2 将.xml文件转换为JSON格式 357 12.2.3 将数据上传到S3存储桶 358 12.2.4 创建Notebook实例并开始训练 358 12.2.5 修复训练中的一些常见故障 359 12.3 在Microsoft Azure云平台中训练对象检测器 361 12.3.1 创建一个Azure账号并设置Custom Vision 361 12.3.2 上传训练图像并标注它们 362 12.4 大规模训练和打包 366 12.4.1 关于分布式训练 366 12.4.2 应用程序打包 366 12.5 基于云的视觉搜索背后的总体思路 367 12.6 分析各种云平台中的图像和搜索机制 368 12.6.1 使用GCP进行视觉搜索 369 12.6.2 使用AWS进行视觉搜索 370 12.6.3 使用Azure进行视觉搜索 372 12.7 小结 373