公共安全决策技术与方法

第1章 马尔可夫决策理论简介 1
1.1 序列决策问题 1
1.2 马尔可夫过程定义 2
1.3 马尔可夫决策理论表示方法 4
1.4 马尔可夫决策过程问题分类 7
第2章 有限阶段问题 8
2.1 有限阶段问题概述与逆推归纳法 8
2.2 动态规划理论 12
2.3 相关例题与讲解 15
第3章 折扣成本问题 20
3.1 折扣成本问题的引入 20
3.2 贝尔曼方程与动态规划算子 21
3.3 数值迭代算法与解的存在性 23
3.4 贝尔曼方程解的唯一性 29
3.5 策略迭代算法 30
3.6 平稳策略*优化 35
第4章 平均成本问题 36
4.1 问题描述与问题转化 36
4.2 平均成本问题的*优策略 38
4.3 与折扣成本问题的关系 39
第5章 Q学习 46
5.1 异步数值迭代与实时数值迭代 46
5.2 探索-利用权衡 47
5.3 Q函数与Q学习算法 49
5.4 Q学习算法的收敛性分析 50
5.5 Q学习的应用实例 51
第6章 线性规划方法 55
6.1 贝尔曼方程求解的线性规划表述 55
6.2 线性规划问题的对偶形式 56
6.3 近似线性规划 58
6.4 应用实例 61
第7章 隐马尔可夫模型 66
7.1 隐马尔可夫模型简介 66
7.2 隐马尔可夫模型动力学 67
7.3 前向算法 69
7.4 后向算法 74
7.5 维特比算法 78
第8章 部分可观测马尔可夫决策过程 85
8.1 HMM滤波 85
8.2 有限阶段POMDP问题 86
8.3 POMDP的信念空间表述 88
8.4 机器更换的POMDP示例 90
8.5 有限观测状态的有限阶段POMDP求解方法介绍 93
8.5.1 精确算法：逐步剪枝 94
8.5.2 Lovejoy次优算法 95
第9章 应用案例介绍 97
9.1 灾难中的人员疏散问题 97
9.2 基于马尔可夫过程和SEIR模型的传染病预测 100
9.2.1 模型分析 101
9.2.2 数据来源及参数 102
9.2.3 结果分析 104
9.2.4 不足与改进 106
9.3 贫困县精准扶贫资源分配优化 107
9.3.1 精准扶贫解析 107
9.3.2 模型假设 108
9.3.3 模型构建 108
9.3.4 算例验证 110
9.4 基于马尔可夫决策过程的国家撤侨方案设计 112
9.4.1 撤侨模型的建立步骤 113
9.4.2 利比亚撤侨问题的MATLAB(r) 仿真 117
9.4.3 结论与总结 120
第10章 其他常用算法介绍 122
10.1 贪婪算法 122
10.2 分治算法 123
10.3 回溯法 124
10.4 分支限界法 125
10.5 大数据决策方法概述 128
附录 数学基础补充内容 129
参考文献 131