人工神经网络(模型算法及应用新工科建设人工智能系列教材)

第1章 绪论 1
1．1　什么是人工神经网络 1
1．2　发展历史 2
1．3　人脑 4
1．4　Hebb法则 7
1．5　神经元模型 7
1．6　神经网络的拓扑结构 9
1．7　知识表示 11
1．8　神经网络的学习算法 15
1．9　神经网络的学习任务 17
1．10　小结 20
参考文献 21
第2章 感知机 22
2．1　引言 22
2．2　实例引入 22
2．3　Rosenblatt感知机 23
2．3．1 感知机的结构 23
2．3．2 单层感知机与多层感知机 23
2．3．3 感知机的学习 27
2．4　*小均方误差 27
2．4．1 线性回归问题引入 27
2．4．2 *小均方算法 28
2．5　实战Iris模式分类 30
2．6　小结 31
参考文献 32
习题 32
第3章 多层前馈神经网络 33
3．1　引言 33
3．2　多层前馈神经网络模型结构 33
3．3　BP神经网络 35
3．3．1 BP神经网络的介绍 35
3．3．2 BP算法 35
3．3．3 编程实战 38
3．4　RBF神经网络 41
3．4．1 什么是RBF神经网络 41
3．4．2 RBF神经网络的学习过程 42
3．4．3 RBF神经网络与BP神经网络的区别 42
3．5　泛化能力 43
3．5．1 什么是泛化 43
3．5．2 如何提高泛化能力 44
3．6　函数逼近 46
3．6．1 通用逼近定理 46
3．6．2 逼近误差的边界 46
3．6．3 维数灾难 47
3．7　BP算法的优点和缺点 48
3．7．1 BP算法的优点 48
3．7．2 BP算法的缺点 49
3．8　人脸识别应用 50
3．8．1 人脸图像的小波变换 52
3．8．2 BP神经网络的分类识别 53
3．8．3 RBF神经网络的分类识别 53
3．8．4 实验结果 54
3．9　小结 55
参考文献 55
习题 56
第4章 正则化理论 57
4．1　引言 57
4．2　良态问题的Hadamard条件 58
4．3　正则化理论 58
4．4　正则化网络 66
4．5　广义RBF神经网络 66
4．6　正则化*小二乘估计 69
4．7　半监督学习 71
4．8　正则化参数估计 71
4．9　流形正则化 75
4．10　广义正则化理论 76
4．11　用半监督学习对模式分类的
实验 77
4．12　小结 79
参考文献 80
习题 81
第5章 极限学习机模型及应用 84
5．1　引言 84
5．2　预备知识 84
5．2．1 核方法 84
5．2．2 支持向量机 86
5．3　极限学习机模型 91
5．4　核极限学习机 94
5．5　正则极限学习机 95
5．6　基于正则极限学习机的图像复原 97
5．7　基于正规方程式的核极限学习机 99
5．7．1 模型结构与算法 99
5．7．2 基于NE-KELM的模式识别实验 101
5．8　基于共轭梯度的核极限学习机 103
5．8．1 共轭梯度法 104
5．8．2 模型结构与算法 104
5．8．3 基于CG-KELM的图像复原实验 105
5．9　流形正则化核极限学习机 107
5．9．1 流形正则化核极限学习机的模型结构与算法 107
5．9．2 基于MR-KELM的糖尿病检测实验 107
5．10　基于核极限学习机的医疗诊断系统 108
5．10．1 PL-KELM的流程 108
5．10．2 基于PL-KELM的模式识别实验 110
5．10．3 肿瘤细胞识别系统 111
5．11　小结 112
参考文献 113
习题 114
第6章 形态神经网络 115
6．1　引言 115
6．2　形态学算法基础 115
6．2．1 数学形态学的定义 115
6．2．2 数学形态滤波 116
6．3　形态神经网络模型 117
6．4　形态联想记忆神经网络模型及其摄动鲁棒性 118
6．4．1 MAM神经网络的数学基础与相关定义 118
6．4．2 两种MAM神经网络的摄动鲁棒性 119
6．5　进化形态神经网络 123
6．5．1 进化形态神经网络的学习算法 124
6．5．2 基于进化形态神经网络的图像复原 125
6．6　小结 127
参考文献 127
习题 129
第7章 自组织映射 130
7．1　引言 130
7．2　两个基本的特征映射模型 131
7．3　SOM概述 132
7．4　特征映射的性质 137
7．5　核SOM概述 142
7．6　小结 148
参考文献 149
习题 149
第8章 卷积神经网络模型及应用 151
8．1　引言 151
8．2　卷积神经网络模型 152
8．2．1 卷积神经网络的基本结构和原理 152
8．2．2 LeNet-5 159
8．2．3 AlexNet 160
8．2．4 VGGNet 167
8．2．5 Inception 170
8．2．6 ResNet 179
8．2．7 Inception-ResNet 188
8．3　基于卷积神经网络的白细胞分类 190
8．3．1 白细胞图像去噪 191
8．3．2 基于k-Means颜色聚类算法的显微白细胞图像分割 194
8．3．3 基于改进卷积神经网络的显微
白细胞图像识别 195
8．4　结合卷积神经网络和极限学习机的人脸识别 200
8．4．1 卷积神经网络参数训练 201
8．4．2 正则极限学习机进行图像分类 202
8．4．3 基于CNN-RELM的人脸识别模型实验与对比分析 203
8．5　基于深度迁移学习的肿瘤细胞图像识别 206
8．5．1 引言 206
8．5．2 正则化与迁移学习 207
8．5．3 基于深度迁移学习的肿瘤细胞图像识别 208
8．6 小结 212
参考文献 212
习题 213
第9章 生成对抗网络模型 214
9．1　引言 214
9．2　预备知识 214
9．2．1 GAN基础模型 215
9．2．2 GAN训练 216
9．2．3 平衡状态 216
9．2．4 为什么学习GAN 217
9．2．5 GAN概述 218
9．2．6 显式密度模型 218
9．2．7 隐式密度模型 218
9．2．8 GAN与其他生成算法比较 218
9．3　GAN的基础理论 219
9．3．1 GAN的基础――对抗训练 219
9．3．2 损失函数 220
9．3．3 训练过程 220
9．3．4 生成器和鉴别器 221
9．3．5 目标冲突 222
9．3．6 混淆矩阵 222
9．3．7 GAN训练算法 223
9．4　训练和常见挑战 223
9．4．1 评价 223
9．4．2 评价框架 224
9．4．3 Inception Score 225
9．4．4 Frechet Inception Distance（FID） 225
9．4．5 训练挑战 226
9．4．6 增加网络深度 226
9．4．7 各种GAN游戏设置 227
9．4．8 什么时候停止训练 230
9．5　训练技巧 231
9．5．1 输入标准化 231
9．5．2 批量标准化 231
9．5．3 理解标准化 231
9．5．4 计算BN 232
9．5．5 梯度惩罚 232
9．5．6 多训练鉴别器 232
9．5．7 避免稀疏梯度 233
9．5．8 使用软标签和带噪声的标签 233
9．6　自注意生成对抗网络 233
9．6．1 注意力 233
9．6．2 自注意力 235
9．6．3 核心代码 236
9．7　进化生成对抗网络 237
9．7．1 基本介绍 237
9．7．2 动机 237
9．7．3 进化算法 238
9．7．4 生成的图像 240
9．8　生成对抗网络和迁移学习 240
9．8．1 迁移学习的概念 240
9．8．2 为什么要迁移学习 241
9．8．3 迁移学习的基本形式 242
9．8．4 GAN和迁移学习的联系 243
9．9　对抗领域自适应用于肿瘤图像诊断 243
9．9．1 对抗领域自适应网络模型 244
9．9．2 特征提取器 245
9．9．3 数据集和实验设置 246
9．9．4 结果分析与讨论 246
9．9．5 探讨 247
9．10　小结 247
参考文献 247
习题 249
第10章 长短时记忆网络 250
10．1　引言 250
10．2　RNN 250
10．2．1 RNN的结构模型 250
10．2．2 RNN模型的优缺点 251
10．3　LSTM的结构模型与实现 252
10．4　LSTM的学习算法 253
10．5　LSTM的网络方程 255
10．6　LSTM的实际应用 257
10．6．1 数据预处理 257
10．6．2 建立模型与训练 258
10．6．3 结果展示 259
10．7　小结 259
参考文献 260
习题 260
第11章 模糊神经网络 261
11．1　绪论 261
11．1．1 模糊集合、模糊逻辑理论及其运算 261
11．1．2 模糊逻辑推理 264
11．1．3 FNN概述 267
11．2　训练模式对的摄动对MFNN的影响 271
11．2．1 FNN中的摄动鲁棒性 271
11．2．2 MFNN及其学习算法 273
11．2．3 分析训练模式对的摄动对MFNN的影响 275
11．3　折线FNN的泛逼近性 279
11．3．1 相关记号与术语 279
11．3．2 折线模糊数 280
11．3．3 三层前馈折线FNN 282
11．3．4 折线FNN对模糊函数的通用逼近性 285
11．3．5 输入为一般模糊数的折线FNN的通用逼近性 291
11．3．6 一般折线FNN的通用逼近性分析 296
11．4　模糊化神经网络的学习算法 301
11．4．1 折线FNN的学习算法 302
11．4．2 折线FNN的模糊学习算法 305
11．4．3 正则FNN的学习算法 312
11．5　小结 317
参考文献 318
习题 319