现代神经网络教程

第1章 绪论 1 1.1 人脑与脑神经信息处理 1 1.1.1 人脑的信息处理机制 2 1.1.2 人脑的信息处理能力 3 1.1.3 人工神经网络 4 1.1.4 脑认知工程 6 1.2 人工神经网络的历史 9 1.2.1 **次研究高潮 9 1.2.2 第二次研究高潮 14 1.2.3 *近30年的发展 17 1.3 人工神经网络的实现 21 1.3.1 人工神经网络的软件模拟 21 1.3.2 人工神经网络的硬件实现 24 1.4 人工神经网络的应用 27 1.4.1 适合人工神经网络求解的问题特点 27 1.4.2 人工神经网络的典型应用 28 1.5 人工神经网络与人工智能 32 1.5.1 人工智能 32 1.5.2 人工神经网络与人工智能的区别 35 1.5.3 人工神经网络与人工智能的互补性 36 1.6 人工神经网络的研究与进展 37 1.6.1 人工神经网络的研究内容 37 1.6.2 人工神经网络的几个重要研究领域 41 1.6.3 人工神经网络的优势与不足 46 1.7 本书的主要内容 47 本章参考文献 47 第2章 人工神经网络基础 53 2.1 脑的结构与功能 53 2.2 大脑神经系统 56 2.2.1 神经系统中的组织层数 56 2.2.2 生物神经元 57 2.2.3 生物神经元连接突触 58 2.2.4 生物神经网络、层级和图 61 2.2.5 学习和记忆的生物与物理学基础 64 2.3 人工神经元与人工神经网络 65 2.3.1 命题的基本逻辑 66 2.3.2 McCullochPitts神经元 66 2.3.3 基本integrateandfire神经元 69 2.3.4 一般的可计算神经元 70 2.3.5 人工神经网络 74 2.4 人工神经网络的分类 76 2.4.1 基于拓扑结构的分类 77 2.4.2 基于神经元特征的分类 78 2.4.3 基于学习环境的分类 80 2.5 人工神经网络的学习方法 81 2.5.1 有监督学习 82 2.5.2 无监督学习 84 2.5.3 增强学习 85 2.6 人工神经网络的向量与矩阵基础 85 2.6.1 线性向量空间与生成空间 85 2.6.2 基集合、内积与范数 86 2.6.3 正交、向量展开与互逆基向量 87 2.6.4 线性变换与矩阵表示 88 本章参考文献 88 第3章 前馈神经网络 90 3.1 单神经元模型 90 3.1.1 单感知器神经元和感知器学习规则 90 3.1.2 线性单元的梯度下降算法 93 3.1.3 随机梯度下降算法 97 3.2 单层前馈神经网络 97 3.2.1 自适应线性网络 98 3.2.2 线性联想器网络 99 3.3 多层前馈神经网络 101 3.3.1 反向传播算法 104 3.3.2 改进的反向传播算法 109 3.3.3 反向传播算法实现的几点说明 109 3.4 感知器准则和LMS算法 111 3.5 感知器网络和Bayes分类器 112 3.6 感知器网络和Fisher判别 115 3.7 神经网络设计 116 3.8 神经网络泛化 117 3.9 深度前馈神经网络 118 本章参考文献 120 第4章 反馈神经网络 122 4.1 Hopfield反馈神经网络的结构与激活函数 123 4.2 Hopfield反馈神经网络的状态轨迹 126 4.2.1 状态轨迹为网络的稳定点 127 4.2.2 状态轨迹为极限环 127 4.2.3 状态轨迹为混沌状态 128 4.2.4 状态轨迹发散 128 4.2.5 设计目标 128 4.3 离散型Hopfield反馈神经网络 130 4.3.1 模型结构 130 4.3.2 联想记忆功能 131 4.3.3 Hebb学习规则 132 4.3.4 影响记忆容量的因素 134 4.3.5 网络的记忆容量确定 135 4.3.6 网络权值设计的其他方法 137 4.4 连续型Hopfield反馈神经网络 140 4.4.1 模型结构 140 4.4.2 求解组合优化问题 142 4.5 实时递归神经网络 146 4.5.1 实时递归网络 146 4.5.2 Kalman实时递推算法 148 4.5.3 Kalman滤波规则与应用 149 4.6 Hopfield反馈神经网络在人脸识别中的应用 150 本章参考文献 152 第5章 竞争学习神经网络 155 5.1 内星与外星学习规则 156 5.1.1 Instar学习规则 156 5.1.2 Outstar学习规则 159 5.1.3 Kohonen学习规则 160 5.2 自组织竞争网络 160 5.2.1 网络结构 161 5.2.2 竞争学习规则 163 5.2.3 网络的训练过程 164 5.3 Kohonen自组织映射网络 164 5.3.1 网络的拓扑结构 165 5.3.2 网络的训练过程 167 5.4 对传网络 168 5.4.1 网络结构 169 5.4.2 学习规则 169 5.4.3 训练过程 169 5.5 竞争学习神经网络的研究趋势与典型应用 170 5.5.1 研究趋势 170 5.5.2 典型应用 172 5.6 基于SOFM的人口统计指标分类 173 5.6.1 问题描述 173 5.6.2 网络的创建 174 5.6.3 网络的训练 176 5.6.4 网络的测试与使用 178 本章参考文献 179 第6章 进化神经网络 182 6.1 进化算法 183 6.1.1 进化算法的提出 183 6.1.2 进化算法的基本框架 183 6.1.3 进化算法的特点及应用 185 6.2 遗传算法 187 6.2.1 遗传算法的基本概念及理论基础 187 6.2.2 遗传算法的流程及特点 189 6.2.3 遗传算法的应用 190 6.3 进化规划 192 6.3.1 进化规划的发展 192 6.3.2 进化规划算法的组成 193 6.3.3 进化规划的特点及应用 193 6.4 进化策略 194 6.4.1 进化策略概述 194 6.4.2 进化策略的基本原理 195 6.4.3 进化策略的重要特征及应用 196 6.5 进化神经网络 196 6.5.1 进化神经网络概述 196 6.5.2 进化神经网络的研究方法 198 6.5.3 进化神经网络的新进展 200 6.6 进化神经网络应用实例 201 本章参考文献 203 第7章 正则神经网络 207 7.1 正则化技术和正则学习 207 7.2 具有径向基稳定子的正则网络 210 7.3 具有张量积稳定子的正则网络 211 7.4 具有加性稳定子的正则网络 211 7.5 正则网络的贝叶斯解释 212 7.6 径向基神经网络 214 7.7 正则神经网络应用实例 215 本章参考文献 219 第8章 支撑矢量机网络 221 8.1 引子——偏置/方差困境 222 8.2 VC维 224 8.3 SRM和SVM网络 227 8.4 线性支撑矢量机网络 227 8.5 非线性支撑矢量机网络 229 8.6 支撑矢量机网络应用实例 231 本章参考文献 233 第9章 模糊神经网络 235 9.1 模糊数学理论 236 9.1.1 模糊集合及其运算 236 9.1.2 模糊数及其运算 237 9.2 模糊神经网络 238 9.2.1 模糊神经网络的基础知识 238 9.2.2 模糊神经网络的发展历程 242 9.2.3 模糊神经网络的学习算法 243 9.3 典型模糊神经网络 245 9.3.1 逻辑模糊神经网络 245 9.3.2 算术模糊神经网络 246 9.3.3 混合模糊神经网络 247 9.4 模糊神经网络应用实例 249 9.4.1 系统辨识和建模 250 9.4.2 系统控制 250 9.4.3 问题和难点 251 本章参考文献 252 第10章 多尺度神经网络 253 10.1 多尺度分析 253 10.2 子波神经网络 254 10.2.1 多变量函数估计子波网络 256 10.2.2 正交多分辨子波网络 257 10.2.3 多子波神经网络 258 10.3 多尺度几何分析 259 10.4 脊波网络 262 10.4.1 连续脊波网络 263 10.4.2 方向多分辨脊波网络 267 本章参考文献 274 第11章 自编码网络 277 11.1 自编码网络背景介绍 277 11.2 自编码网络的结构模型 278 11.3 自编码网络模型的研究进展 279 11.4 自编码网络模型的优化算法 279 11.5 受限玻尔兹曼机 280 11.6 自编码网络的变体 282 11.6.1 稀疏自动编码器 282 11.6.2 降噪自动编码器 283 11.6.3 收缩自动编码器 285 11.6.4 栈式自动编码器 285 11.7 自编码网络应用实例 286 11.7.1 图像分类 286 11.7.2 目标检测 288 11.7.3 目标跟踪 289 11.8 自编码网络的总结 291 本章参考文献 292 第12章 卷积神经网络 294 12.1 卷积神经网络的历史 294 12.2 卷积神经网络的结构 296 12.3 卷积神经网络的学习算法 298 12.4 卷积神经网络的改进设计 298 12.4.1 卷积层 298 12.4.2 卷积核 300 12.4.3 池化层 301 12.4.4 正则化 302 12.4.5 激活函数 303 12.5 卷积神经网络应用实例 305 12.5.1 图像语义分割 305 12.5.2 目标检测 306 12.5.3 目标跟踪 308 12.6 卷积神经网络的总结 310 本章参考文献 311 第13章 生成式对抗网络 312 13.1 生成式对抗网络介绍 312 13.2 生成式对抗网络的结构与原理 312 13.3 生成式对抗网络的学习算法 315 13.4 生成式对抗网络的性能分析 316 13.5 生成式对抗网络的变体 318 13.5.1 信息*大化生成式对抗网络 318 13.5.2 条件生成式对抗网络 318 13.5.3 深度卷积生成式对抗网络 319 13.5.4 循环一致性生成式对抗网络 320 13.5.5 *小二乘生成式对抗网络 321 13.5.6 边界平衡生成式对抗网络 324 13.6 生成式对抗网络应用实例 325 13.6.1 数据增强 325 13.6.2 图像补全(修复) 326 13.6.3 文本翻译成图像 328 13.7 生成式对抗网络存在的问题与思考 329 13.7.1 生成式对抗网络的优点 330 13.7.2 生成式对抗网络的缺点 330 13.7.3 模式崩溃的原因 330 13.7.4 为什么GAN中的优化器不常用SGD 331 本章参考文献 331 第14章 循环神经网络 332 14.1 循环神经网络介绍 332 14.2 循环神经网络的计算过程 333 14.3 循环神经网络的训练过程 334 14.3.1 训练算法 334 14.3.2 前向计算 334 14.3.3 误差项的计算 335 14.3.4 权重梯度的计算 335 14.4 循环神经网络的问题 335 14.5 循环神经网络的变体 336 14.5.1 长短时记忆网络 336 14.5.2 双向循环神经网络 337 14.5.3 深度双向循环神经网络 338 14.5.4 回声状态网络 338 14.5.5 序列到序列网络 340 14.6 循环神经网络应用实例 342 14.6.1 自动问答 342 14.6.2 文本摘要生成 344 14.6.3 目标跟踪 346 14.7 循环神经网络的总结 348 本章参考文献 351 第15章 深度强化学习 353 15.1 深度强化学习背景介绍 353 15.2 深度强化学习的基本机理 354 15.3 深度强化学习的经典网络模型 356 15.3.1 基于卷积神经网络的深度强化学习 356 15.3.2 基于递归神经网络的深度强化学习 357 15.4 深度强化学习应用实例 358 15.4.1 玩Atari游戏 358 15.4.2 目标检测 359 15.4.3 目标跟踪 362 15.5 深度强化学习的局限性 365 15.6 深度强化学习的挑战 366 本章参考文献 369 第16章 深度学习进阶 371 16.1 稀疏学习 371 16.1.1 相关概念 372 16.1.2 稀疏编码 372 16.1.3 字典学习 375 16.2 稀疏模型 381 16.2.1 合成稀疏模型 382 16.2.2 分析稀疏模型 383 16.2.3 稀疏模型的*新进展 386 16.3 稀疏模型的应用 389 16.3.1 合成稀疏模型的应用 389 16.3.2 分析稀疏模型的应用 390 16.3.3 稀疏模型在分类中的应用 391 16.4 认知神经科学 392 16.5 深度学习实战 397 16.5.1 基本回归方法 397 16.5.2 深层神经网络的理解 404 16.5.3 反卷积网络的理解 408 16.5.4 利用Hessianfree方法训练深度网络 409 16.5.5 深度学习中的优化方法 411 16.5.6 自编码网络的理解 412 16.5.7 自学习 425 16.5.8 线性解码器 426 16.5.9 随机采样 429 16.5.10 数据预处理 430 16.5.11 dropout的理解 437 16.5.12 maxout的理解 438 16.5.13 ICA模型 439 16.5.14 RBM的理解 441 16.5.15 RNNRBM的理解 443 16.5.16 用神经网络实现数据的降维 444 16.5.17 无监督特征学习中关于单层网络的分析 449 16.5.18 Kmeans单层网络的识别性能 453 本章参考文献 455 第17章 图神经网络 457 17.1 引言 457 17.2 图神经网络的基本机理 459 17.3 图神经网络的变体 462 17.3.1 基于空域的图卷积神经网络 464 17.3.2 基于谱域的图卷积神经网络 468 17.3.3 图注意力网络 469 17.4 图神经网络应用实例 472 17.4.1 图像分类 472 17.4.2 目标检测 474 17.4.3 语义分割 477 17.5 图神经网络的挑战 479 本章参考文献 480 附录 历史上著名的人工智能大师 482