人工智能超入门丛书--强化学习:人工智能如何知错能改

第1章　强化学习概述 001
1.1　什么是强化学习 002
1.1.1　初识强化学习 002
1.1.2　强化学习的关键要素 005
1.1.3　监督、无监督与强化学习 007
1.2　三条主线 009
1.2.1　试错 009
1.2.2　动态规划 011
1.2.3　时序差分 012
1.3　强化学习的方法与应用 014
1.3.1　强强联合之深度强化学习 014
1.3.2　强化学习的跨界赋能 017
1.3.3　强化学习的分类 021 第2章　马尔可夫与贝尔曼方程 024
2.1　“随机”那些事儿 025
2.1.1　概率的基本概念 025
2.1.2　网格迷宫的探索 031
2.1.3　探索的策略与奖励 034
2.1.4　探索的足迹 037
2.2　马尔可夫大家族 040
2.2.1　马尔可夫过程 040
2.2.2　马尔可夫奖励过程 043
2.2.3　马尔可夫决策过程 044
2.3　贝尔曼方程 046
2.3.1　价值函数与动作价值函数 046
2.3.2　贝尔曼方程 050
2.3.3　贝尔曼*优方程 052 第3章　动态规划 056
3.1　动态规划基础与环境 057
3.1.1　动态规划基础 057
3.1.2　环境：冰湖 059
3.2　策略迭代算法 063
3.2.1　原理 063
3.2.2　代码 067
3.3　价值迭代算法 072
3.3.1　原理 072
3.3.2　代码 074 第4章　蒙特卡洛 078
4.1　随机变量的数字特征 080
4.1.1　期望 080
4.1.2　方差 082
4.2　蒙特卡洛方法与应用 083
4.2.1　圆面积的估计 084
4.2.2　均值估计 087
4.3　蒙特卡洛与强化学习 091
4.3.1　原理 091
4.3.2　环境：21点 101
4.3.3　代码 102 第5章　时序差分 107
5.1　时序差分 108
5.1.1　时序差分基础 108
5.1.2　环境：悬崖漫步 116
5.2　Sarsa算法 118
5.2.1　原理 118
5.2.2　代码 120
5.3　Q-Learning算法 124
5.3.1　原理 124
5.3.2　代码 127 第6章　深度强化学习 134
6.1　DQN入门 135
6.1.1　DQN的基本概念 135
6.1.2　环境：车杆 139
6.2　BP神经网络 强化学习 141
6.2.1　原理 141
6.2.2　代码 145
6.3　卷积神经网络 强化学习 157
6.3.1　原理 157
6.3.2　代码 162
6.4　DQN的改进 167 第7章　策略学习 170
7.1　策略梯度算法 171
7.1.1　策略梯度原理 171
7.1.2　REINFORCE算法 173
7.1.3　代码 176
7.2　Actor-Critic算法 184
7.2.1　原理 184
7.2.2　环境：LunarLander 189
7.2.3　代码 190
7.3　其他基于策略的算法 197 附录 203
附录A　环境设置与行为探索 204
A.1　Gym库与环境设置 204
A.2　具有人类偏好的多智能体强化学习 206
附录B　博弈与策略 209
B.1　什么是博弈 209
B.2　混合策略博弈 212
B.3　序贯博弈 215
B.4　无限博弈与有限博弈 216
附录C　收益衡量 222
C.1　理性收益：期望价值 223
C.2　效用收益：期望效用 226
C.3　情感收益：前景理论 228