随机动态决策理论与应用

第1章 有限阶段 2 1.1 单阶段决策 2 1.2 多阶段动态决策：确定性 3 1.3 多阶段马尔可夫决策过程 8 1.3.1 模型 9 1.3.2 *优方程与*优策略 11 1.4 若干随机动态决策问题 13 1.4.1 期权的购买与执行问题 13 1.4.2 *优选择问题 15 1.4.3 产品定价问题 17 1.5 模函数与单调策略 18 1.5.1 *优策略的单调性 18 1.5.2 受罚款限制的*优分配问题 20 习题 22 参考文献 23 第2章 离散时间马尔可夫决策过程：折扣准则 24 2.1 模型与折扣*优方程 24 2.1.1 模型 24 2.1.2 *优方程 25 2.2 算法 29 2.2.1 逐次逼近法(值迭代法) 29 2.2.2 策略迭代法 32 2.2.3 线性规划法 34 2.3 应用 36 2.3.1 *优停止问题 36 2.3.2 项目管理：Bandit问题 40 2.4 MDP模型的推广 43 2.4.1 一种无界报酬条件 43 2.4.2 非可数决策集 48 2.4.3 一般策略集 50 2.5 期望总报酬准则 51 2.5.1 模型缩减 52 2.5.2 报酬函数的有限性 53 2.5.3 *优值函数的有限性及*优方程 53 习题 55 参考文献 56 第3章 离散时间马尔可夫决策过程：平均准则 57 3.1 平均准则的*优方程 57 3.1.1 平均准则的*优方程与*优策略 57 3.1.2 常返性条件 63 3.1.3 有限MDP 65 3.2 算法 66 3.2.1 逐次逼近法 66 3.2.2 策略迭代法 70 3.2.3 线性规划法 72 3.3 *优不等式 75 本章附录：若干引理 79 习题 81 参考文献 82 第4章 半马尔可夫决策过程 83 4.1 半马尔可夫决策过程模型 83 4.1.1 SMDP模型 83 4.1.2 正则性条件 84 4.1.3 准则函数 86 4.2 转换为离散时间马尔可夫决策过程 86 4.2.1 期望折扣总报酬准则 86 4.2.2 平均准则 88 4.3 马尔可夫型SMDP 92 4.4 模型推广：报酬函数的一般形式 93 习题 95 参考文献 95 第5章 连续时间马尔可夫决策过程 96 5.1 时齐模型 96 5.2 期望折扣总报酬准则 98 5.2.1 折扣准则 98 5.2.2 期望折扣总报酬准则 102 5.3 平均准则 104 5.4 非时齐模型 106 习题 113 参考文献 113 第6章 强化学习与近似算法 114 6.1 强化学习：折扣准则 114 6.1.1 折扣目标函数值的估计 114 6.1.2 强化学习算法 115 6.1.3 TD(λ) 118 6.2 强化学习：平均准则 119 6.2.1 平均准则函数值的估计 119 6.2.2 平均准则的强化学习算法 120 6.3 近似算法 122 6.3.1 近似逐次逼近法 123 6.3.2 近似策略迭代法 124 习题 126 参考文献 126 应 用 篇 第7章 库存管理 128 7.1 多周期随机库存管理问题 128 7.1.1 多周期库存管理问题 128 7.1.2 有限阶段期望折扣总费用 130 7.1.3 短视策略 131 7.2 无限阶段随机存贮问题 132 7.2.1 无限阶段折扣准则 132 7.2.2 无限阶段平均准则 135 7.2.3 损失制 135 7.3 存贮与定价的联合动态决策 137 7.3.1 有限阶段 138 7.3.2 无限阶段 140 习题 141 参考文献 141 第8章 收益管理 142 8.1 价格固定时的容量分配 142 8.1.1 静态模型 142 8.1.2 动态模型 145 8.1.3 预订和超订 146 8.2 价格动态变化时的多阶段容量分配 147 8.3 连续时间动态定价 151 8.4 基于Priceline的买方/卖方定价收益管理问题 156 8.4.1 买方定价 156 8.4.2 卖方定价 159 8.5 房地产市场的政府调控策略：基于收益管理 160 8.6 收益管理的进一步讨论 163 习题 164 参考文献 165 第9章 网上拍卖 166 9.1 拍卖简介 166 9.2 单物品网上拍卖中的顾客投标策略 167 9.2.1 问题与模型 168 9.2.2 IPV下硬性结束规则的一级价格网上拍卖 169 9.2.3 IPV下软性结束规则的一级价格网上拍卖 174 9.2.4 其他类型的网上拍卖 175 9.3 单阶段多物品网上拍卖的收益 177 习题 181 参考文献 182 第10章 网上拍卖下的收益管理、库存管理 183 10.1 网上分批拍卖下的收益管理 183 10.1.1 问题与模型 183 10.1.2 *优分配策略的单调性 184 10.1.3 数值分析 189 10.2 网上拍卖下的库存管理 191 10.2.1 有限阶段 191 10.2.2 折扣准则 194 10.2.3 平均准则 197 10.2.4 *优保留价 198 10.2.5 数值分析 199 习题 202 参考文献 203 第11章 技术的采用与选择 204 11.1 *优更换 204 11.1.1 有限阶段 204 11.1.2 无限阶段折扣准则 206 11.1.3 平均准则 208 11.2 技术采用 209 11.3 基于购买的技术更新问题 212 11.4 基于自行研发的技术更新问题 215 11.5 新产品策略与库存管理 219 习题 221 参考文献 221 第12章 排队(服务)系统的*优控制 222 12.1 排队系统的到达控制 222 12.1.1 M/G/1排队系统的静态到达率控制 222 12.1.2 M/M/K排队系统的动态到达率控制 224 12.1.3 一般动态到达控制 226 12.2 排队系统服务控制 228 12.2.1 M/M/1: 队长模型 229 12.2.2 M/PH/1: 队长与工作量混合模型 233 12.3 排队网络控制 234 12.3.1 到达控制 234 12.3.2 服务控制 235 12.3.3 路径控制 236 习题 237 参考文献 237 第13章 组合证券选择与风险管理 239 13.1 动态资产定价 239 13.2 多阶段组合证券的期望-方差分析 241 13.3 多阶段风险管理：条件风险值CVaR 248 13.3.1 问题与模型 248 13.3.2 *小CVaR和*优策略 249 13.3.3 应用：组合证券优化 251 习题 255 参考文献 255 第14章 供应链动态管理 256 14.1 易腐产品的供应链多周期管理 256 14.2 连续时间收益供应链管理 259 14.2.1 集中决策 260 14.2.2 分散决策 267 习题 270 参考文献 271 后记272