深度强化学习落地指南

1星价 ¥76.3 (7.0折)

2星价￥76.3 定价￥109.0

作者：魏宁

出版社：电子工业出版社

本类榜单：计算机/网络

分类：计算机/网络 > 人工智能

暂无评论

图文详情

ISBN：9787121416446
装帧：一般胶版纸
册数：暂无
重量：暂无
开本：其他
页数：202
出版时间：2021-08-01
条形码：9787121416446 ; 978-7-121-41644-6

本书特色

弥合DRL算法原理和落地实践之间的断层∣供读者查漏补缺和开拓思路√一本讨论强化学习落地应用的技术书√从实用性角度对强化学习进行归纳和梳理，重点围绕如何解决实际问题展开√重难点技术剖析：动作空间的设计、状态空间的搭建、回报函数的构造、算法的选择和调试等√《深度强化学习落地指南》囊括了作者对强化学习应用落地的全新思考本书用通俗的语言对强化学习的算法进行了讲解，对初学者有助于降低强化学习入门的门槛。书中还介绍了作者在实践中积累的经验细节，对读者顺利开展实验、落地算法会很有帮助。 ——俞扬南京大学人工智能学院教授、南栖仙策创始人兼CEO 近年来，人工智能相关概念通过主流媒介，被裹挟着进入了普罗大众的认知世界。对于非相关专业但想从事该领域工作的读者来说，面对“深度学习”“强化学习”“神经网络”等陌生名词，纵使网上可以找到相关的学习资料，但实际应用过后却深深体会到技术落地与理论阐述之间的鸿沟。要想得“道”，读者必须在学术界和工业界都有所体悟，客观领会一个技术的适用性和局限性，切忌陷入“纯粹接触效应”的陷阱。本书正是给出了其中一个领域——深度强化学习——的答案，同时也做出了深入而浅出的表率，不啻为广大读者和从业人员的优秀参考资料。 ——谢迪海康威视研究院资深算法专家在经过科研化和场景化的蓄力后，AI正在步入实用化的新阶段，以强化学习为代表的智能决策算法将在企业运营中扮演愈加重要的角色。很高兴魏宁能够在这一关键时间节点与业界同仁分享自己在实践方面的心得，期待这些心得为行业发展贡献正能量！ ——周游杭州浮云网络科技有限公司总经理深度强化学习技术作为人工智能领域的重要组成部分，在过去几年得到了快速发展。本书作者在研究基础理论、算法实现的基础上，从深度强化学习在行业中的应用角度出发，总结了其在工程实践过程中的经验、方法和心得，内容全面实用，对从事深度强化学习的工程师和科研人员具有非常重要的参考意义。 ——王金强深度强化学习实验室创始人

内容简介

本书从工业界一线算法工作者的视角，对深度强化学习落地实践中的工程经验和相关方法论做出了深度思考和系统归纳。本书跳出了原理介绍加应用案例的传统叙述模式，转而在横向上对深度强化学习落地过程中的核心环节进行了完整复盘。主要内容包括需求分析和算法选择的方法，动作空间、状态空间和回报函数设计的理念，训练调试和性能冲刺的技巧等。本书既是前人智慧与作者个人经验的交叉印证和精心整合，又构成了从理论到实践再到统一方法论的认知闭环，与市面上侧重于算法原理和代码实现的强化学习书籍形成了完美互补。

第1章需求分析 1
1．1 需求分析：勿做DRL铁锤人 1
1．2 一问“是不是” 2
1．2．1 Agent和环境定义 2
1．2．2 马尔可夫决策过程和强化学习 3
1．3 二问“值不值” 5
1．3．1 试试规则和启发式搜索 5
1．3．2 别忘了传统强化学习 7
1．3．3 使用DRL的理由 7
1．4 三问“能不能” 9
1．4．1 场景固定：两个分布一致 9
1．4．2 数据廉价：多、快、好、费 13
1．5 四问“边界在哪里” 16
1．6 本章小结 18
参考文献 19
第2章动作空间设计 23
2．1 动作空间设计：这里大有可为 23
2．1．1 被忽视的价值 23
2．1．2 动作空间的常见类型 24
2．1．3 动作空间设计的基本原则 26
2．2 动作空间的完备性 26
2．2．1 功能完备 27
2．2．2 时效完备 29
2．3 动作空间的高效性 30
2．3．1 化整为零：以精度换效率 31
2．3．2 有机组合：尺度很重要 33
2．4 动作空间的合法性 35
2．4．1 非法动作屏蔽机制 36
2．4．2 Agent的知情权 37
2．5 本章小结 39
参考文献 40
第3章状态空间设计 43
3．1 状态空间设计：特征工程的诱惑 43
3．2 状态空间设计的两种常见误区 44
3．2．1 过分依赖端到端特征学习 44
3．2．2 极致特征工程 44
3．3 与动作空间和回报函数的协同设计 45
3．3．1 与动作空间尺度一致 45
3．3．2 以回报函数为中心 46
3．4 状态空间设计的四个步骤 47
3．4．1 任务分析 47
3．4．2 相关信息筛选 49
3．4．3 泛化性考量 53
3．4．4 效果验证 58
3．5 本章小结 61
参考文献 62
第4章回报函数设计 64
4．1 回报函数设计：面向强化学习的编程 64
4．2 稀疏回报问题 65
4．2．1 孤独无援的主线回报 65
4．2．2 稀疏回报问题的本质 66
4．3 辅助回报 67
4．3．1 子目标回报 67
4．3．2 塑形回报 70
4．3．3 内驱回报 76
4．3．4 回报取值的注意事项 77
4．4 回报函数设计的常见陷阱 78
4．4．1 鲁莽 79
4．4．2 贪婪 80
4．4．3 懦弱 82
4．5 *优回报问题 83
4．6 基于学习的回报函数 84
4．6．1 经典方法 84
4．6．2 前沿方法 85
4．7 本章小结 87
参考文献 88
第5章算法选择 92
5．1 算法选择：拿来主义和改良主义 92
5．1．1 DRL算法的发展脉络 92
5．1．2 一筛、二比、三改良 94
5．1．3 从独当一面到众星捧月 96
5．2 牢记经典勿忘本 97
5．2．1 DQN 98
5．2．2 DDPG 99
5．2．3 A3C 102
5．3 关注SOTA算法别留恋 105
5．3．1 TD3 105
5．3．2 SAC 107
5．3．3 PPO 110
5．4 其他算法 112
5．5 本章小结 113
参考文献 113
第6章训练调试 119
6．1 训练调试：此事要躬行 119
6．2 训练前的准备工作 120
6．2．1 制定训练方案 120
6．2．2 选择网络结构 124
6．2．3 随机漫步 128
6．2．4 数据预处理 129
6．3 训练进行时 131
6．3．1 反脆弱：拥抱不确定性 131
6．3．2 调节超参数 134
6．3．3 监控训练状态 143
6．4 给初学者的建议 146
6．5 本章小结 148
参考文献 149
第7章性能冲刺 154
7．1 性能冲刺：为DRL注入强心剂 154
7．2 课程学习 155
7．2．1 源任务及其分类 155
7．2．2 应用方式 157
7．3 额外监督信号 162
7．3．1 有监督预训练 163
7．3．2 辅助任务 164
7．4 进化策略 169
7．4．1 基本原理 169
7．4．2 关键细节 170
7．4．3 应用方式 174
7．5 本章小结 175
参考文献 176

展开全部

作者简介

魏　宁本科和硕士分别毕业于西安交通大学和中国科学院大学计算机专业，在国际顶级会议和期刊上发表多篇学术论文，曾就职于德国KUKA Robotics从事协作机器人智能应用研发工作，目前在海康威视研究院任算法专家，负责深度学习、强化学习等领域的创新研究和落地应用，同时也是互联网社区“深度强化学习实验室”核心成员。

本类五星书