多臂机序列决策: 策略、性能及应用

目录
“博士后文库”序言
前言
第1章 绪论 1
1.1 引言 1
1.1.1 多臂机 1
1.1.2 无休多臂机 2
1.2 技术难点 4
参考文献 4
第2章 同构两态完美观测多臂机：短视策略及性能 6
2.1 引言 6
2.2 系统模型和优化问题 8
2.3 正则收益函数 10
2.3.1 正则收益函数定义 10
2.3.2 值函数的性质 11
2.4 贪婪策略的优化性 14
2.5 *优性条件应用 16
2.5.1 应用1 16
2.5.2 应用2 17
2.5.3 应用3 17
2.6 引理证明 18
2.6.1 引理2.9的证明 18
2.6.2 引理2.5～引理2.7的证明 18
2.7 本章小结 24
参考文献 24
第3章 同构两态完美观测多臂机：第二高策略及性能 26
3.1 引言 26
3.2 系统模型和优化问题 27
3.2.1 系统模型 27
3.2.2 决策问题及策略 29
3.2.3 动机 30
3.3 伪值函数 31
3.4 优化性分析 32
3.4.1 正相关信道(λ.0) 32
3.4.2 奇数K的负相关信道(λ<0) 35
3.4.3 偶数K的负相关信道(λ<0) 36
3.5 优化性扩展 36
3.5.1 探测多个信道 36
3.5.2 探测两个信道访问其中一个信道 36
3.6 仿真实验 36
3.6.1 正相关信道(λ.0) 37
3.6.2 负相关信道(λ<0) 38
3.7 引理证明 39
3.7.1 引理3.2的证明 39
3.7.2 引理3.3的证明 43
3.7.3 引理3.4的证明 46
3.8 本章小结 50
参考文献 50
第4章 同构两态非完美观测多臂机：短视策略及性能 52
4.1 引言 52
4.1.1 机会谱访问 52
4.1.2 无休多臂机及短视策略 52
4.2 系统模型和优化问题 53
4.2.1 系统模型 53
4.2.2 无休多臂机模型 54
4.2.3 短视策略和正则收益 55
4.3 短视策略优化性分析 56
4.3.1 符号说明 56
4.3.2 辅助值函数及属性 58
4.3.3 短视策略优化性 60
4.4 分析讨论 62
4.5 引理证明 63
4.5.1 引理4.5的证明 63
4.5.2 引理4.6的证明 64
4.5.3 引理4.7的证明 67
4.5.4 引理4.8～引理4.10的证明 69
4.6 本章小结 77
参考文献 77
第5章 同构两态非完美观测多臂机：第二高策略及性能 79
5.1 引言 79
5.2 系统模型和优化问题 79
5.2.1 系统模型 79
5.2.2 混合尺度决策问题 81
5.3 小尺度与大尺度问题 82
5.3.1 小尺度决策 82
5.3.2 大尺度决策 85
5.3.3 启发式策略 86
5.4 优化性分析：信道正相关(p11.p01) 86
5.4.1 伪值函数 86
5.4.2 场景ζ .<1 86
5.4.3 场景ζ 1 89
5.5 引理5.3(. ζ<1，λ.0)的证明 90
5.6 本章小结 99
参考文献 99
第6章 异构两态非完美观测多臂机：因子策略及性能 100
6.1 引言 100
6.1.1 背景简介 100
6.1.2 主要结果和贡献 100
6.2 相关工作 101
6.3 系统模型和优化问题 101
6.4 怀特因子及可行性简介 104
6.5 怀特因子和调度策略 106
6.5.1 怀特因子 106
6.5.2 调度策略 108
6.5.3 技术挑战 108
6.6 线性化分析：基于不动点理论 109
6.7 门限策略和伴随动态系统 113
6.7.1 门限策略 113
6.7.2 伴随动态系统 114
6.8 值函数线性化：信道负相关 115
6.8.1 区间1[p11，ω0)和区间2[ω0，Γ(p11)) 116
6.8.2 区间3 117
6.8.3 区间4 118
6.9 值函数线性化：信道正相关 118
6.9.1 区间n.1:[Γn(φ(p11))，Γn 1(φ(p01))) 120
6.9.2 区间n.2:[ˉωn0，Γn(φ(p11))) 121
6.9.3 区间n.4:[Γn(φ(p01))，ωn0) 123
6.9.4 区间n.3:[ωn0，ˉωn0) 124
6.9.5 区间5:[ω0，p11) 124
6.10 因子计算：信道负相关 124
6.10.1 区间1 125
6.10.2 区间2 126
6.10.3 区间3 126
6.10.4 区间4 127
6.11 因子计算：信道正相关 128
6.11.1 区间1 128
6.11.2 区间2 129
6.11.3 区间3 129
6.11.4 区间4 130
6.11.5 区间5 130
6.11.6 区间6 130
6.12 仿真实验 131
6.12.1 怀特因子策略和优化策略 131
6.12.2 怀特因子策略和短视策略 132
6.13 本章小结 133
参考文献 133
第7章 异构两态非完美观测多臂机：前看策略及性能 136
7.1 引言 136
7.1.1 背景简介 136
7.1.2 主要贡献 137
7.2 系统模型和优化问题 138
7.2.1 系统模型 138
7.2.2 优化探测序和停止问题 139
7.2.3 停止探测决策 139
7.3 ν步前看策略 141
7.3.1 上下界 141
7.3.2 ν步前看策略的结构 142
7.3.3 ν步前看策略实现 143
7.3.4 低复杂性实现：一步前看策略 144
7.4 仿真实验 150
7.4.1 同构信道 150
7.4.2 异构信道 152
7.5 本章小结 152
参考文献 152
第8章 同构多态完美观测多臂机：短视策略及性能 155
8.1 引言 155
8.1.1 研究简介 155
8.1.2 技术贡献 156
8.2 系统模型和优化问题 157
8.2.1 系统模型 157
8.2.2 信息态 158
8.2.3 优化问题 159
8.2.4 短视策略和部分序 160
8.3 短视策略优化性分析 163
8.3.1 值函数及其解耦性 163
8.3.2 状态转换矩阵结构属性 164
8.3.3 短视策略优化性 164
8.4 短视策略优化性：扩展情况 167
8.5 案例分析 169
8.6 引理和命题证明 171
8.6.1 引理8.1的证明 171
8.6.2 命题8.3的证明 172
8.6.3 命题8.4的证明 173
8.6.4 命题8.5的证明 174
8.6.5 引理8.2的证明 175
8.6.6 命题8.6的证明 180
8.6.7 命题8.7的证明 182
8.7 本章小结 183
参考文献 184
第9章 同构多态非完美观测多臂机：短视策略及性能 187
9.1 引言 187
9.2 系统模型和优化问题 187
9.2.1 系统模型 187
9.2.2 信息态 188
9.2.3 短视策略 189
9.3 短视策略优化性分析 190
9.3.1 辅助值函数及解耦性 190
9.3.2 条件 191
9.3.3 性质 192
9.3.4 优化性分析 195
9.3.5 讨论 197
9.4 优化性扩展 198
9.4.1 条件 198
9.4.2 优化性分析 199
9.4.3 扩展：调度多个信道 200
9.5 引理证明 200
9.5.1 引理9.1的证明 200
9.5.2 引理9.2的证明 202
9.6 本章小结 208
参考文献 208
第10章 异构多态完美观测多臂机：因子策略及性能 209
10.1 引言 209
10.1.1 相关工作 209
10.1.2 主要贡献 210
10.2 系统模型和优化问题 210
10.2.1 任务、信道和用户模型 210
10.2.2 服务器模型 212
10.2.3 机会调度问题 212
10.3 多臂机模型及分析 212
10.3.1 任务–信道–用户 212
10.3.2 多臂机和机会调度 213
10.4 可因子性分析和因子计算 215
10.4.1 状态转换矩阵和门限结构 215
10.4.2 可因子性分析 216
10.4.3 因子计算 220
10.5 可因子性扩展及调度策略 221
10.5.1 可因子性扩展 221
10.5.2 转换矩阵近似 222
10.5.3 调度策略 222
10.6 仿真实验 223
10.6.1 场景1 225
10.6.2 场景2 226
10.6.3 场景3 227
10.7 引理和定理证明 228
10.7.1 引理10.1的证明 228
10.7.2 引理10.2的证明 232
10.7.3 定理10.2的证明 235
10.8 本章小结 237
参考文献 237
编后记 240