强化学习与机器人控制

目 录 第I部分 人机交互控制 第1章 介绍 2 1.1 人机交互控制 2 1.2 控制强化学习 5 1.3 本书的结构安排 6 第2章 人机交互的环境模型 10 2.1 阻抗和导纳 10 2.2 人机交互阻抗模型 15 2.3 人机交互模型的识别 18 2.4 本章小结 25 第3章 基于模型的人机交互控制 26 3.1 任务空间阻抗/导纳控制 26 3.2 关节空间阻抗控制 29 3.3 准确性和鲁棒性 30 3.4 模拟 33 3.5 本章小结 38 第4章 无模型人机交互控制 39 4.1 使用关节空间动力学进行任务空间控制 39 4.2 使用任务空间动力学进行任务空间控制 47 4.3 关节空间控制 48 4.4 模拟 49 4.5 实验 55 4.6 本章小结 65 第5章 基于欧拉角的回路控制 67 5.1 引言 67 5.2 关节空间控制 68 5.3 任务空间控制 74 5.4 实验 77 5.5 本章小结 89 第II部分 机器人交互控制的强化学习 第6章 机器人位置/力控制的强化学习 92 6.1 引言 92 6.2 使用阻抗模型的位置/力控制 93 6.3 基于强化学习的位置/力控制 96 6.4 模拟和实验 104 6.5 本章小结 110 第7章 用于力控制的连续时间强化学习 111 7.1 引言 111 7.2 用于强化学习的K均值聚类 112 7.3 使用强化学习的位置/力控制 116 7.4 实验 123 7.5 本章小结 129 第8章 使用强化学习在*坏情况下的不确定性机器人控制 130 8.1 引言 130 8.2 使用离散时间强化学习的鲁棒控制 131 8.3 具有k个*近邻的双Q学习 135 8.4 使用连续时间强化学习的鲁棒控制 142 8.5 模拟和实验：离散时间情况 146 8.6 模拟和实验：连续时间情况 154 8.7 本章小结 162 第9章 使用多智能体强化学习的冗余机器人控制 163 9.1 引言 163 9.2 冗余机器人控制 164 9.3 冗余机器人控制的多智能体强化学习 169 9.4 模拟和实验 174 9.5 本章小结 179 第10章 使用强化学习的机器人 2神经控制 180 10.1 引言 180 10.2 使用离散时间强化学习的 2神经控制 181 10.3 连续时间的 2神经控制 196 10.4 示例 209 10.5 本章小结 219 第11章 结论 220 附录A 机器人运动学和动力学 222 附录B 强化学习控制 235