智能科学与技术丛书机器学习:基于约束的方法

译者序

前言

练习说明

第1章整体情况

11为什么机器需要学习

111学习任务

112环境的符号和子符号表示

113生物和人工神经网络

114学习的协议

115基于约束的学习

12原则和实践

121归纳的令人困惑的本质

122学习原则

123时间在学习过程中的作用

124注意力机制的聚焦

13实践经验

131度量实验的成功

132手写字符识别

133建立机器学习实验

134试验和实验备注

14机器学习面临的挑战

141学习观察

142语言理解

143生活在自己环境中的代理

15注释

第2章学习原则

21环境约束

211损失函数与风险函数

212约束引发的风险函数的病态

213风险*小化

214偏差——方差困境

22统计学习

221*大似然估计

222贝叶斯推理

223贝叶斯学习

224图形模式

225频率论和贝叶斯方法

23基于信息的学习

231一个启发性的示例

232*大熵原理

233*大相互信息

24简约原则下的学习

241简约原则

242*小描述长度

243MDL与正则化

244正则化的统计解释

25注释

第3章线性阈值机

31线性机

311正规方程

312待定问题和广义逆

313岭回归

314原始表示和对偶表示

32包含阈值单元的线性机

321谓词阶数和表示性问题

322线性可分示例的*优性

323无法分离的线性可分

33统计视图

331贝叶斯决策和线性判别分析

332逻辑回归

333符合贝叶斯决策的独立原则

334统计框架中的LMS

34算法问题

341梯度下降

342随机梯度下降

343感知机算法

344复杂性问题

35注释

第4章核方法

41特征空间

411多项式预处理

412布尔富集

413不变的特征匹配

414高维空间中的线性可分性

42*大边际问题

421线性可分下的分类

422处理软约束问题

423回归

43核函数

431相似性与核技巧

432内核表征

433再生核映射

434内核类型

44正则化

441正则化的风险

442在RKHS上的正则化

443*小化正则化风险

444正则化算子

45注释

第5章深层结构

51结构性问题

511有向图及前馈神经网络

512深层路径

513从深层结构到松弛结构

514分类器、回归器和自动编码器

52布尔函数的实现

521“与或”门的典型实现

522通用的“与非”实现

523浅层与深层实现

524基于LTU的实现和复杂性问题

53实值函数实现

531基于几何的计算实现

532通用近似

533解空间及分离表面

534深层网络和表征问题

54卷积网络

541内核、卷积和感受野

542合并不变性

543深度卷积网络

55前馈神经网络上的学习

551监督学习

552反向传播

553符号微分以及自动求导法则

554正则化问题

56复杂度问题

561关于局部*小值的问题

562面临饱和

563复杂性与数值问题

57注释

第6章约束下的学习与推理

61约束机

611学习和推理

612约束环境的统一视图

613学习任务的函数表示

614约束下的推理

62环境中的逻辑约束

621形式逻辑与推理的复杂度

622含符号和子符号的环境

623t范数

624ukasiewicz命题逻辑

63扩散机

631数据模型

632时空环境中的扩散

633循环神经网络

64算法问题

641基于内容的逐点约束

642输入空间中的命题约束

643线性约束的监督学习

644扩散约束下的学习

65终身学习代理

651认知行为及时间流动

652能量平衡

653焦点关注、教学及主动学习

654发展学习

66注释

第7章结语

第8章练习答案

附录A有限维的约束优化

附录B正则算子

附录C变分计算

附录D符号索引