TensorFlow知识图谱实战

目 录

第1章 知识图谱的前世今生 1

1.1 何谓自然语言处理 1

1.1.1 自然语言处理是门技术 1

1.1.2 传统的自然语言处理 2

1.2 自然语言处理为什么难—以*简单的情感分析为例 3

1.2.1 自然语言处理的难点 3

1.2.2 自然语言处理小练习：酒店评论的情感分类 5

1.3 知识图谱到底是什么 8

1.3.1 知识图谱的应用 9

1.3.2 知识图谱中的三元组 10

1.4 搭建环境1：安装Python 11

1.4.1 Anaconda的下载与安装 12

1.4.2 PyCharm的下载与安装 14

1.4.3 Python代码小练习：计算softmax函数 17

1.5 搭建环境2：安装TensorFlow 2.X的GPU版本 18

1.5.1 10/20/30系列显卡选择的GPU版本 18

1.5.2 TensorFlow 2.4 GPU版本基础显卡推荐和前置软件安装 19

1.5.3 TensorFlow小练习：Hello TensorFlow 22

1.6 实战—知识图谱的展示 22

1.6.1 **步：数据的准备 22

1.6.2 第二步：数据的处理 23

1.6.3 第三步：知识图谱的展示 24

1.6.4 第四步：更多的连线 25

1.6.5 一个需要解决的小问题 25

1.7 本章小结 26

第2章 TensorFlow和Keras快速入门 27

2.1 Keras让一切变简单 27

2.1.1 深度学习，始于模型 28

2.1.2 使用Keras API实现鸢尾花分类的例子（顺序模型） 28

2.1.3 使用Keras函数式编程实现鸢尾花分类的例子（重点） 31

2.1.4 使用保存的Keras模式对模型进行复用 34

2.1.5 使用TensorFlow 标准化编译对iris模型进行拟合 34

2.1.6 多输入单一输出TensorFlow 编译方法（选学） 38

2.1.7 多输入多输出TensorFlow 编译方法（选学） 42

2.2 全连接层详解 43

2.2.1 全连接层的定义与实现 43

2.2.2 使用TensorFlow 自带的API实现全连接层 45

2.2.3 打印显示已设计的model结构和参数 48

2.3 懒人的福音—Keras模型库 49

2.3.1 ResNet50模型和参数的载入 50

2.3.2 使用ResNet作为特征提取层建立模型 52

2.4 本章小结 54

第3章 深度学习的理论基础 55

3.1 BP神经网络简介 56

3.2 BP神经网络两个基础算法详解 59

3.2.1 *小二乘法（LS算法）详解 59

3.2.2 道士下山的故事—梯度下降算法 61

3.2.3 *小二乘法的梯度下降算法及其Python实现 64

3.3 反馈神经网络反向传播算法介绍 70

3.3.1 深度学习基础 70

3.3.2 链式求导法则 71

3.3.3 反馈神经网络原理与公式推导 72

3.3.4 反馈神经网络原理的激活函数 78

3.3.5 反馈神经网络原理的Python实现 79

3.4 本章小结 83

第4章 卷积神经网络实战 84

4.1 卷积运算基本概念 84

4.1.1 卷积运算 85

4.1.2 TensorFlow 中卷积函数实现详解 86

4.1.3 池化运算 88

4.1.4 softmax激活函数 89

4.1.5 卷积神经网络原理 90

4.2 卷积实战：MNIST手写体识别 93

4.2.1 MNIST数据集 93

4.2.2 MNIST数据集特征和标签介绍 95

4.2.3 TensorFlow 2.X编程实战：MNIST数据集 97

4.2.4 使用自定义的卷积层实现MNIST识别 101

4.3 本章小结 104

第5章 Datasets数据集和TensorBoard可视化 105

5.1 TensorFlow Datasets简介 105

5.1.1 Datasets 数据集的安装 107

5.1.2 Datasets 数据集的使用 107

5.2 Datasets 数据集的使用—FashionMNIST 109

5.2.1 FashionMNIST数据集下载与展示 110

5.2.2 模型的建立与训练 111

5.3 使用Keras对FashionMNIST数据集进行处理 113

5.3.1 获取数据集 113

5.3.2 数据集的调整 114

5.3.3 使用Python类函数建立模型 114

5.3.4 Model的查看和参数打印 115

5.3.5 模型的训练和评估 117

5.4 使用TensorBoard可视化训练过程 119

5.4.1 TensorBoard文件夹设置 119

5.4.2 TensorBoard的显式调用（推荐使用Chrome或Edge浏览器） 120

5.4.3 TensorBoard的使用 122

5.5 本章小结 126

第6章 ResNet实现神经网络的飞跃 127

6.1 ResNet基础原理与程序设计基础 127

6.1.1 ResNet诞生的背景 127

6.1.2 模块工具的TensorFlow 实现—不要重复造轮子 130

6.1.3 TensorFlow 高级模块layers用法简介 131

6.2 ResNet实战：CIFAR100数据集分类 138

6.2.1 CIFAR100数据集简介 138

6.2.2 ResNet残差模块的实现 141

6.2.3 ResNet网络的实现 143

6.2.4 使用ResNet对CIFAR100数据集进行分类 146

6.3 本章小结 147

第7章 有趣的词嵌入——word embedding 148

7.1 文本数据处理 148

7.1.1 数据集介绍和数据清洗 149

7.1.2 停用词的使用 151

7.1.3 词向量训练模型word2vec使用介绍 153

7.1.4 文本主题的提取：基于TF-IDF（选学） 156

7.1.5 文本主题的提取：基于TextRank（选学） 160

7.2 更多的word embedding方法—fastText和 预训练词向量 163

7.2.1 fastText的原理与基础算法 163

7.2.2 fastText训练以及与TensorFlow 2.X的协同使用 164

7.2.3 使用其他预训练参数做TensorFlow词嵌入矩阵（中文） 170

7.3 针对文本的卷积神经网络模型简介—字符卷积 171

7.3.1 字符（非单词）文本的处理 172

7.3.2 卷积神经网络文本分类模型的实现—conv1d（一维卷积） 179

7.4 针对文本的卷积神经网络模型—词卷积 180

7.4.1 单词的文本处理 181

7.4.2 卷积神经网络文本分类模型的实现—conv2d（二维卷积） 183

7.5 使用卷积对文本分类的补充内容 186

7.5.1 汉字的文本处理 186

7.5.2 其他的一些细节 188

7.6 本章小结 189

第8章 情感分类 190

8.1 GRU与情感分类 190

8.1.1 使用GRU的情感分类 190

8.1.2 什么是GRU 191

8.1.3 TensorFlow 中的GRU层详解 193

8.1.4 单向不行就双向 194

8.2 实战：情感分类 195

8.2.1 使用TensorFlow 自带的模型做文本分类 195

8.2.2 使用自定义的DPCNN做模型分类 199

8.3 本章小结 203

第9章 编码器—自然语言处理的归宿 204

9.1 编码器的核心—注意力模型 205

9.1.1 输入层—初始词向量层和位置编码器层 205

9.1.2 自注意力层 207

9.1.3 ticks和LayerNormalization 212

9.1.4 多头自注意力 213

9.2 编码器的实现 216

9.2.1 前馈层的实现 216

9.2.2 编码器的实现 218

9.3 实战编码器：汉字拼音转化模型 221

9.3.1 汉字拼音数据集处理 222

9.3.2 汉字拼音转化模型的确定 223

9.3.3 模型训练部分的编写 226

9.3.4 推断函数的编写 228

9.4 本章小结 229

第10章 BERT—站在巨人肩膀上的预训练模型 230

10.1 预训练模型BERT 230

10.1.1 BERT基本架构与应用 231

10.1.2 BERT预训练任务与Fine-Tuning 232

10.2 实战BERT：中文文本分类 235

10.2.1 使用Hugging face获取BERT预训练模型 235

10.2.2 BERT实战文本分类 236

10.3 更多的预训练模型 241

10.4 本章小结 244

第11章 知识图谱实战1：多标签文本分类 245

11.1 多标签文本基本内容 245

11.1.1 多标签分类不等于多分类 245

11.1.2 多标签分类的激活函数—sigmoid 246

11.2 多标签文本实战 247

11.2.1 **步：数据的获取与处理 247

11.2.2 第二步：选择特征抽取模型 251

11.2.3 第三步：训练模型的建立 252

11.2.4 第四步：多标签文本分类的训练与预测 253

11.3 本章小结 256

第12章 知识图谱实战2：命名实体识别 257

12.1 命名实体识别的基本内容 257

12.1.1 什么是命名实体识别 257

12.1.2 深度学习在命名实体识别中的应用 258

12.1.3 命名实体识别CRF层简介 258

12.1.4 命名实体识别一般的模型架构详解 259

12.2 方法一：BERT命名实体识别实战 260

12.2.1 **步：数据的获取与处理 260

12.2.2 第二步：BERT模型设计 262

12.2.3 第三步：完整的BERT模型训练 263

12.2.4 第四步：使用BERT命名实体识别模型进行预测 263

12.3 方法二：BiLSTM-CRF命名实体识别实战 265

12.3.1 **步：数据的获取与处理 265

12.3.2 第二步：BiLSTM-CRF模型设计 265

12.3.3 第三步：BiLSTM-CRF模型的训练 266

12.3.4 第四步：使用BiLSTM的预测 268

12.4 本章小结 269

第13章 知识图谱实战3： 基于联合抽取的知识图谱模型 270

13.1 基于联合抽取的知识图谱模型实战 270

13.2 知识图谱模型提升 276

13.3 本章小结 281