网络智能化中的深度强化学习技术

第 1章 网络智能概述 1
1．1 概述 2
1．1．1 网络架构的持续演进 2
1．1．2 网络管理与控制的挑战 3
1．1．3 网络智能的兴起 4
1．2 网络智能的基础 7
1．2．1 大数据 7
1．2．2 算力支持 7
1．2．3 集中式控制 9
1．3 网络智能的现状 10
1．3．1 意图网络 10
1．3．2 自动驾驶网络 12
1．3．3 知识定义网络 14
1．3．4 标准化工作 17
1．4 网络智能的实现途径 18
1．4．1 监督学习 18
1．4．2 无监督学习 20
1．4．3 强化学习 21
1．5 网络智能的愿景与挑战 22
1．5．1 网络智能的愿景 22
1．5．2 网络智能的挑战 24
参考文献 25
第 2章 深度强化学习方法 29
2．1 强化学习方法概述 30
2．1．1 马尔可夫决策过程 30
2．1．2 多臂赌博机 32
2．1．3 蒙特卡洛树搜索与时间差分方法 33
2．1．4 值迭代与策略迭代 35
2．2 深度强化学习 37
2．2．1 深度Q网络 38
2．2．2 策略梯度方法 40
2．2．3 策略梯度单调提升优化算法 44
2．2．4 *大熵算法 50
2．3 多智能体强化学习 52
2．3．1 独立强化学习及其涌现行为分析 53
2．3．2 多智能体通信 55
2．3．3 多智能体合作机制 56
2．3．4 多智能体建模与策略推断 59
2．4 分层强化学习 61
2．5 迁移强化学习 64
2．5．1 迁移强化学习框架 65
2．5．2 根据迁移设置的分类 66
2．5．3 根据迁移知识类型的分类 67
2．5．4 根据迁移目标的分类 68
2．6 多任务强化学习 69
2．6．1 多任务学习基本概念 69
2．6．2 多任务强化学习 70
2．6．3 基于多任务学习的迁移强化学习 71
2．7 逆强化学习 73
2．8 分布式强化学习 75
参考文献 77
第3章 基于强化学习的无线接入优化 81
3．1 多信道无线接入 81
3．1．1 多信道无线接入概述 82
3．1．2 基于DRL的动态多信道无线接入 83
3．1．3 异构无线网络的多信道接入 87
3．2 异构无线网络的调制和编码 91
3．2．1 调制和编码问题概述 91
3．2．2 基于DRL的调制和编码 93
3．3 基站自适应能量控制 99
3．3．1 基站自适应能量控制内容概述 99
3．3．2 基站自适应能量控制问题引入 100
3．3．3 基于DRL的自适应能量控制 100
参考文献 105
第4章 基于强化学习的网络管理 108
4．1 智能服务编排 108
4．1．1 NFV的资源配置 108
4．1．2 服务功能链映射 110
4．1．3 服务功能链选路 117
4．1．4 无线网络VNF的资源编排 122
4．2 智能网络切片 124
4．2．1 网络切片的需求与概念 124
4．2．2 网络切片的资源管理 127
4．2．3 无线接入网切片 128
4．2．4 核心网切片 133
参考文献 136
第5章 基于强化学习的网络控制 141
5．1 智能路由控制 141
5．1．1 时间相关QoS的路由控制 143
5．1．2 边缘网络路由控制 147
5．1．3 带缓存的DCN路由控制 151
5．2 智能拥塞控制 158
5．2．1 多路径TCP控制 160
5．2．2 智能拥塞控制模型Aurora 164
5．3 智能流量调度 167
5．3．1 流量工程概述 168
5．3．2 智能流量调度 169
5．3．3 分布式流量调度 170
参考文献 172
第6章 基于强化学习的任务调度 175
6．1 并行计算的任务调度 175
6．1．1 问题定义 176
6．1．2 基于RL的并行任务调度方法 177
6．1．3 基于DRL的并行任务调度方法 178
6．2 基于有向无环图的任务调度 182
6．2．1 分布式系统任务模型 182
6．2．2 边缘计算任务调度 183
6．2．3 云计算的任务调度 185
6．2．4 数据处理集群的任务调度 188
6．3 混合任务调度 192
6．3．1 多类型任务调度 192
6．3．2 任务调度相关的联合优化 195
参考文献 198
第7章 基于强化学习的流媒体控制 200
7．1 超低时延的流媒体传输 201
7．1．1 超低时延的流媒体传输框架 201
7．1．2 码率自适应算法 204
7．1．3 基于强化学习的超低时延传输算法 206
7．2 个性化的流媒体传输 210
7．2．1 个性化用户体验 210
7．2．2 基于强化学习的个性化QoE设计 212
7．3 新场景下的流媒体传输展望 214
参考文献 215
第8章 基于强化学习的自组织网络 218
8．1 网联自动驾驶 218
8．1．1 车载通信任务 218
8．1．2 车载资源分配 221
8．2 无人机网络概述 226
8．2．1 无人机通信资源调度 227
8．2．2 无人机公平效率覆盖 231
8．2．3 无人机传感数据收集 235
参考文献 238
名词索引 241