用Python动手学强化学习(第2版全彩印刷)

第 1章　了解强化学习 1
1．1　强化学习与各关键词之间的关系 1
1．2　强化学习的优点和弱点 8
1．3　强化学习的问题设定：马尔可夫决策过程 9

第 2章　强化学习的解法(1)：根据环境制订计划 21
2．1　价值的定义和计算：贝尔曼方程 22
2．2　基于动态规划法的价值近似的学习：价值迭代 28
2．3　基于动态规划法的策略的学习：策略迭代 32
2．4　基于模型的方法和无模型的方法的区别 36

第3章　强化学习的解法(2)：根据经验制订计划 39
3．1　平衡经验的积累与利用：Epsilon-Greedy 算法 41
3．2　是根据实际奖励还是预测来修正计划：蒙特卡洛方法和时序差分学习 46
3．3　用经验来更新价值近似还是策略：基于价值和基于策略 62

第4章　使用面向强化学习的神经网络 73
4．1　将神经网络应用于强化学习 74
4．2　通过含有参数的函数实现价值近似：价值函数近似 100
4．3　将深度学习应用于价值近似：DQN 109
4．4　通过含有参数的函数实现策略：策略梯度 121
4．5　将深度学习应用于策略：A2C 133
4．6　是价值近似还是策略呢 153

第5章　强化学习的弱点 157
5．1　获取样本的效率低 157
5．2　容易陷入局部*优行动和过拟合160
5．3　复现性差 163
5．4　以弱点为前提的对策 164

第6章　克服强化学习弱点的方法 169
6．1　应对采样效率低的方法：与基于模型的方法一起使用、表征学习 170
6．2　改善复现性的方法：进化策略 198
6．3　应对局部*优行动和过拟合的方法：模仿学习和逆强化学习 206

第7章　强化学习的应用领域 237
7．1　行动的*优化 239
7．2　学习的*优化 248
参考文献 252