基于深度强化学习的作战任务规划技术研究

第1章 概述
1.1 作战任务规划及其技术发展
1.1.1 作战任务规划的概念内涵
1.1.2 作战任务规划的功能定位
1.1.3 国外作战任务规划系统与技术
1.1.4 国内作战任务规划系统与技术
1.2 深度强化学习及其发展现状
1.3 基于深度强化学习的作战任务规划适用性分析
1.4 基于深度强化学习的作战任务规划面临的挑战
1.4.1 不完信息条件下的战场态势特征建模问题
1.4.2 作战任务规划行动决策空间维度灾难问题
1.4.3 基于DRL的作战行动序列奖赏函数设计问题
1.4.4 基于DRL的作战任务规划模型可解释性问题
第2章 基于分层强化学习的作战任务规划框架
2.1 基于分层强化学习的作战任务规划框架设计
2.2 基于层次任务网的作战任务分解
2.3 基于强化学习的作战任务规划模型
2.3.1 复杂战场态势特征表示的基本过程
2.3.2 作战任务规划中不确定性与对手建模
2.3.3 战场态势特征深度神经网络建模
2.3.4 作战任务智能规划的POMDP模型
2.4 面向作战任务规划的分层强化学习算法
2.4.1 HAM分层抽象机
2.4.2 MAxQ值函数分解
2.4.3 0ption选项框架
第3章 知识引导的深度强化学习方法
3.1 基于知识与DQN的单智能体任务规划
3.1.1 基于规则的强化学习算法框架
3.1.2 智能战术决策中的MDP模型
3.1.3 基于产生式规则的战术知识
3.1.4 基于产生式规则的损失函数设计
3.1.5 基于产生式规则的作战任务智能规划仿真实验
3.2 基于综合势能的强化学习启发式探索策略
3.2.1 综合势能理论分析
3.2.2 综合势能模型构建
3.2.3 综合势能驱动的强化学习探索策略
3.2.4 基于综合势能的作战仿真实验设计
3.3 Actor-Critic框架下基于知识的多智能体协同规划
3.3.1 智能战术兵棋环境中强化学习的奖励函数设计
3.3.2 Actor-Crific框架下的多智能体协同作战算法
3.3.3 算法仿真实验验证与分析
第4章 数据驱动的多智能体博弈对抗协同规划
4.1 数据驱动的多智能体博弈对抗协同规划
4.1.1 作战实体博弈对抗算法设计
4.1.2 基于PPO的算法实验验证
4.1.3 仿真实验结果分析
4.2 基于逆向强化学习的陆战分队战术任务规划
4.2.1 基于深度强化学习韵陆战分队战术任务规划模型
4.2.2 基于IRL和DQN的陆战分队战术规划求解模型
4.2.3 实验方案总结
第5章 离线学习与在线博弈结合的作战任务规划与评估
5.1 作战想定设计与实验平台选择
5.1.1 实验总体设计
5.1.2 作战想定描述
5.1.3 陆战兵棋对抗平台
5.2 MCTS框架下基于深度策略网的在线行动规划
5.2.1 蒙特卡洛树搜索基本思想与模型
5.2.2 基于MCTS和深度策略网的行动序列生成
5.3 典型作战任务智能规划与分析评估
5.3.1 基于综合势能的智能任务规划算例分析
5.3.2 基于MCTS和综合势能的智能任务规划算例分析
5.3.3 多视角、全过程的作战任务规划评估与分析
附录A “先胜1号”陆战智能兵棋推演平台Al接口
A.1 文档说明
A.1.1 功能描述
A.1.2 阅读对象
A.1.3 使用环境
A.2 接口设计框架
A.2.1 接口设计需求
A.2.2 接口设计框架
A.3 接口说明
A.3.1 算子介绍
A.3.2 算子控制接口
A.3.3 信息查询接口
A.3.4 分析工具接口
附录B 强化学习对抗赛算法设计说明
基于Actor-Critic算法的混合智能战术兵棋模型设计
基于PPO算法的兵棋强化学习
基于规则优先级选择的智能兵棋规则算法设计
基于规则和随机*近距离的算法设计
基于博弈策略选择的规则驱动型智能兵棋模型设计
基于先验知识及DQN算法的混合智能兵棋研究与实现
实时态势驱动的智能战术兵棋算法模型设计与实现
参考文献