深度强化学习落地指南

第1章 需求分析 1
1．1 需求分析：勿做DRL铁锤人 1
1．2 一问“是不是” 2
1．2．1 Agent和环境定义 2
1．2．2 马尔可夫决策过程和强化学习 3
1．3 二问“值不值” 5
1．3．1 试试规则和启发式搜索 5
1．3．2 别忘了传统强化学习 7
1．3．3 使用DRL的理由 7
1．4 三问“能不能” 9
1．4．1 场景固定：两个分布一致 9
1．4．2 数据廉价：多、快、好、费 13
1．5 四问“边界在哪里” 16
1．6 本章小结 18
参考文献 19
第2章 动作空间设计 23
2．1 动作空间设计：这里大有可为 23
2．1．1 被忽视的价值 23
2．1．2 动作空间的常见类型 24
2．1．3 动作空间设计的基本原则 26
2．2 动作空间的完备性 26
2．2．1 功能完备 27
2．2．2 时效完备 29
2．3 动作空间的高效性 30
2．3．1 化整为零：以精度换效率 31
2．3．2 有机组合：尺度很重要 33
2．4 动作空间的合法性 35
2．4．1 非法动作屏蔽机制 36
2．4．2 Agent的知情权 37
2．5 本章小结 39
参考文献 40
第3章 状态空间设计 43
3．1 状态空间设计：特征工程的诱惑 43
3．2 状态空间设计的两种常见误区 44
3．2．1 过分依赖端到端特征学习 44
3．2．2 极致特征工程 44
3．3 与动作空间和回报函数的协同设计 45
3．3．1 与动作空间尺度一致 45
3．3．2 以回报函数为中心 46
3．4 状态空间设计的四个步骤 47
3．4．1 任务分析 47
3．4．2 相关信息筛选 49
3．4．3 泛化性考量 53
3．4．4 效果验证 58
3．5 本章小结 61
参考文献 62
第4章 回报函数设计 64
4．1 回报函数设计：面向强化学习的编程 64
4．2 稀疏回报问题 65
4．2．1 孤独无援的主线回报 65
4．2．2 稀疏回报问题的本质 66
4．3 辅助回报 67
4．3．1 子目标回报 67
4．3．2 塑形回报 70
4．3．3 内驱回报 76
4．3．4 回报取值的注意事项 77
4．4 回报函数设计的常见陷阱 78
4．4．1 鲁莽 79
4．4．2 贪婪 80
4．4．3 懦弱 82
4．5 *优回报问题 83
4．6 基于学习的回报函数 84
4．6．1 经典方法 84
4．6．2 前沿方法 85
4．7 本章小结 87
参考文献 88
第5章 算法选择 92
5．1 算法选择：拿来主义和改良主义 92
5．1．1 DRL算法的发展脉络 92
5．1．2 一筛、二比、三改良 94
5．1．3 从独当一面到众星捧月 96
5．2 牢记经典勿忘本 97
5．2．1 DQN 98
5．2．2 DDPG 99
5．2．3 A3C 102
5．3 关注SOTA算法别留恋 105
5．3．1 TD3 105
5．3．2 SAC 107
5．3．3 PPO 110
5．4 其他算法 112
5．5 本章小结 113
参考文献 113
第6章 训练调试 119
6．1 训练调试：此事要躬行 119
6．2 训练前的准备工作 120
6．2．1 制定训练方案 120
6．2．2 选择网络结构 124
6．2．3 随机漫步 128
6．2．4 数据预处理 129
6．3 训练进行时 131
6．3．1 反脆弱：拥抱不确定性 131
6．3．2 调节超参数 134
6．3．3 监控训练状态 143
6．4 给初学者的建议 146
6．5 本章小结 148
参考文献 149
第7章 性能冲刺 154
7．1 性能冲刺：为DRL注入强心剂 154
7．2 课程学习 155
7．2．1 源任务及其分类 155
7．2．2 应用方式 157
7．3 额外监督信号 162
7．3．1 有监督预训练 163
7．3．2 辅助任务 164
7．4 进化策略 169
7．4．1 基本原理 169
7．4．2 关键细节 170
7．4．3 应用方式 174
7．5 本章小结 175
参考文献 176