Python迁移学习

第 1部分　深度学习基础

第 1章　机器学习基础 2
1．1　什么是机器学习 3
1．1．1　机器学习的正式定义 4
1．1．2　浅层学习和深度学习 4
1．2　机器学习算法 5
1．2．1　监督学习 6
1．2．2　无监督学习 9
1．3　CRISP-DM 11
1．3．1　业务理解 12
1．3．2　数据理解 12
1．3．3　数据准备 13
1．3．4　建模 13
1．3．5　评估 13
1．3．6　部署 14
1．4　标准机器学习工作流 14
1．4．1　数据检索 15
1．4．2　数据准备 15
1．4．3　建模 16
1．4．4　模型评估和调优 17
1．4．5　部署和监控 21
1．5　探索性数据分析 22
1．6　特征提取和特征工程 29
1．7　特征选择 33
1．8　总结 34
第 2章　深度学习精要 35
2．1　什么是深度学习 35
2．2　深度学习框架 37
2．3　创建一个支持GPU的云端深度学习环境 40
2．3．1　选择一个云供应商 41
2．3．2　设置虚拟服务器 41
2．3．3　配置虚拟服务器 45
2．3．4　安装和升级深度学习依赖项 47
2．3．5　访问深度学习云环境 52
2．3．6　在深度学习环境中验证启用GPU 53
2．4　创建一个支持GPU的、健壮的内部深度学习环境 55
2．5　神经网络基础 55
2．5．1　一个简单的线性神经元 55
2．5．2　基于梯度的*优化问题 56
2．5．3　雅可比矩阵和海森矩阵 60
2．5．4　导数的链式法则 61
2．5．5　随机梯度下降法 61
2．5．6　非线性神经单元 64
2．5．7　学习一个简单的非线性单元——逻辑单元 66
2．5．8　损失函数 67
2．5．9　数据表示 68
2．5．10　多层神经网络 71
2．5．11　反向传播——训练深度神经网络 73
2．5．12　神经网络学习中的挑战 75
2．5．13　模型参数初始化 78
2．5．14　提升SGD 80
2．5．15　神经网络的过拟合和欠拟合 81
2．5．16　神经网络的超参数 84
2．6　总结 85
第3章　理解深度学习架构 86
3．1　神经网络架构 86
3．2　各种神经网络架构 88
3．2．1　多层感知机和深度神经网络 88
3．2．2　自编码神经网络 88
3．2．3　变分自编码器 89
3．2．4　生成式对抗网络 91
3．2．5　卷积神经网络 93
3．2．6　胶囊网络 103
3．2．7　递归神经网络 107
3．2．8　记忆神经网络 114
3．2．9　神经图灵机 117
3．2．10　基于注意力的神经网络模型 121
3．3　总结 122
第 2部分　迁移学习精要

第4章　迁移学习基础 124
4．1　迁移学习简介 124
4．2　迁移学习策略 127
4．3　迁移学习和深度学习 129
4．3．1　迁移学习方法论 130
4．3．2　预训练模型 131
4．3．3　应用 131
4．4　深度迁移学习类型 132
4．4．1　领域适应 132
4．4．2　领域混淆 132
4．4．3　多任务学习 133
4．4．4　一次性学习 133
4．4．5　零样本学习 134
4．5　迁移学习的挑战 134
4．5．1　负向迁移 134
4．5．2　迁移边界 135
4．6　总结 135
第5章　释放迁移学习的威力 136
5．1　迁移学习的必要性 137
5．1．1　阐述现实世界问题 137
5．1．2　构建数据集 138
5．1．3　描述方法 140
5．2　从零开始构建CNN模型 140
5．2．1　基本CNN模型 143
5．2．2　正则化的CNN模型 146
5．2．3　图像增强的CNN模型 148
5．3　使用预训练的CNN模型利用迁移学习 153
5．3．1　理解VGG-16模型 154
5．3．2　作为特征提取器的预训练CNN模型 156
5．3．3　作为特征提取器并使用图像增强的预训练CNN模型 162
5．3．4　使用微调和图像增强的预训练CNN模型 164
5．4　评估我们的深度学习模型 168
5．4．1　模型在一个样本测试图像上进行预测 168
5．4．2　将CNN模型的感知可视化 170
5．4．3　在测试数据上评估模型性能 174
5．5　总结 177
第3部分　迁移学习案例研究

第6章　图像识别和分类 180
6．1　基于深度学习的图像分类 180
6．2　基准数据集 181
6．3　*先进的深度图像分类模型 182
6．4　图像分类和迁移学习 183
6．4．1　CIFAR-10数据集 183
6．4．2　犬种鉴定数据集 189
6．5　总结 199
第7章　文本文档分类 200
7．1　文本分类 201
7．1．1　传统文本分类 201
7．1．2　BoW模型的缺点 202
7．1．3　基准数据集 203
7．2　单词表示形式 204
7．2．1　Word2vec模型 204
7．2．2　使用gensim框架的Word2vec模型 205
7．2．3　GloVe模型 208
7．3　CNN文档模型 210
7．3．1　构建一个评论情感分类器 216
7．3．2　哪些单词嵌入变化*大 220
7．3．3　迁移学习在IMDB数据集中的应用 220
7．3．4　使用Wordvec嵌入在完整的IMDB数据集上进行训练 223
7．3．5　使用CNN模型创建文档摘要 224
7．3．6　使用CNN模型进行多类别分类 228
7．3．7　文档嵌入可视化 231
7．4　总结 233
第8章　音频事件识别和分类 234
8．1　理解音频事件分类 235
8．2　音频事件的探索性分析 236
8．3　音频事件的特征工程和表示方法 245
8．4　使用迁移学习进行音频事件分类 249
8．4．1　根据基本特征构建数据集 250
8．4．2　利用迁移学习进行特征提取 251
8．4．3　构建分类模型 253
8．4．4　评估分类器的性能 257
8．5　构建一个深度学习音频事件识别器 260
8．6　总结 263
第9章　DeepDream 264
9．1　介绍 264
9．1．1　计算机视觉中的算法幻想性视错觉 265
9．1．2　可视化特征图 267
9．2　DeepDream算法 273
9．3　总结 277
第 10章　风格迁移 278
10．1　理解神经风格迁移 279
10．2　图像预处理方法 280
10．3　构建损失函数 282
10．3．1　内容损失 282
10．3．2　风格损失 283
10．3．3　总变差损失 283
10．3．4　总体损失函数 284
10．4　创建一个自定义优化器 285
10．5　风格迁移实战 286
10．6　总结 290
第 11章　自动图像扫描生成器 291
11．1　理解图像描述 292
11．2　明确目标 293
11．3　理解数据 294
11．4　构建自动图像描述系统的方法 295
11．4．1　概念方法 295
11．4．2　实际动手的方法 299
11．5　使用迁移学习的图像特征提取 301
11．6　为描述构建一个词汇表 306
11．7　构建一个图像描述数据集生成器 308
11．8　构建图像语言编码器-解码器深度学习模型 314
11．9　训练图像描述深度学习模型 316
11．10　评估图像描述深度学习模型 320
11．10．1　加载数据和模型 320
11．10．2　理解贪婪搜索和集束搜索 321
11．10．3　实现一个基于集束搜索的描述生成器 321
11．10．4　理解并实现BLEU分数 323
11．10．5　在测试数据上评估模型性能 324
11．11　自动图像描述实战 327
11．11．1　户外场景样本图像描述 329
11．11．2　流行运动样本图像描述 332
11．11．3　未来的改进空间 334
11．12　总结 334
第 12章　图像着色 335
12．1　问题陈述 336
12．2　彩色图像 336
12．2．1　颜色理论 337
12．2．2　颜色模型和颜色
空间 337
12．2．3　重审问题陈述 339
12．3　构建一个着色深度神经网络 341
12．3．1　预处理 341
12．3．2　损失函数 342
12．3．3　编码器 343
12．3．4　迁移学习——特征提取 344
12．3．5　融合层 344
12．3．6　解码器 345
12．3．7　后处理 347
12．3．8　训练和结果 348
12．4　挑战 350
12．5　进一步改进 350
12．6　总结 350