交通大数据

第1章 绪论 1

1.1　从数据到智慧 1

1.1.1　数据 1

1.1.2　大数据 2

1.1.3　信息 2

1.1.4　知识 4

1.1.5　智能 6

1.1.6　人工智能 7

1.1.7　决策 8

1.1.8　智慧 13

1.1.9　数据分析与挖掘 15

1.1.10　机器学习 16

1.2　交通运输行业基础知识 20

1.2.1　交通运输的定义 20

1.2.2　交通运输业分类简介 20

1.2.3　交通行业参与者及诉求 22

1.3　交通行业中的决策与决策支持 25

1.3.1　运输企业内部决策与决策支持 25

1.3.2　交通行业服务对象决策与决策支持 26

1.3.3　政府与行业管理部门决策与决策支持 27

1.4　交通行业信息化发展 27

1.4.1　运输组织与安全生产信息化 27

1.4.2　运输客货营销与服务信息化 28

1.4.3　运输企业经营管理信息化 29

1.4.4　政府与交通运输行业管理信息化 29

1.4.5　交通运输行业信息化的发展趋势 29

1.5　交通大数据研究与应用定位 32

1.5.1　交通运输运营效率 32

1.5.2　交通与社会安全 33

1.5.3　交通服务质量 33

1.6　本书内容结构 34

第2章　交通大数据概况 35

2.1　交通大数据形态 35

2.1.1　基于内容格式的交通大数据分类 36

2.1.2　原始数据与导出数据 42

2.1.3　数据使用与分类 42

2.1.4　交易、行为与日志数据 43

2.1.5　元数据 45

2.2　交通地理大数据 46

2.2.1　交通地理空间单元层数据 46

2.2.2　交通网络拓扑数据 48

2.2.3　交通地理层数据 49

2.3　客货营销与服务大数据 50

2.3.1　客运营销大数据 50

2.3.2　货运营销大数据 52

2.3.3　客货服务大数据 53

2.3.4　营销市场环境大数据 55

2.4　交通网络生产运行与安全大数据 55

2.4.1　运输生产计划与调度大数据 56

2.4.2　运输生产作业流程与保障大数据 57

2.4.3　交通运输流与客货流大数据 60

2.4.4　交通运输安全大数据 62

2.4.5　交通导航与移动终端大数据 65

2.5　交通运输企业运营管理与行业管理大数据 66

2.5.1　交通运输企业运营管理大数据 66

2.5.2　政府与行业管理部门交通大数据 67

2.6　本章小结 67

第3章 交通大数据处理技术 69

3.1　大数据及处理概述 69

3.1.1　大数据基本概念与特征 69

3.1.2　大数据生命周期模型组成 70

3.1.3　大数据平台与数据仓库 72

3.2　交通大数据系统常见架构 79

3.2.1　企业大数据平台系统架构设计因素 79

3.2.2　交通客货运营支撑大数据平台典型架构 82

3.2.3　互联网+交通企业典型大数据平台架构 87

3.2.4　交通指挥控制大数据平台架构 89

3.3　交通大数据的生成与采集 91

3.3.1　交通信息系统数据生成与采集 91

3.3.2　基础采集设备 92

3.3.3　专用采集系统 95

3.4　交通大数据集成 96

3.4.1　数据集成方法 97

3.4.2　实时、近实时集成技术 98

3.4.3　异常值检测方法 102

3.4.4　缺失值处理方法 106

3.5　交通大数据组织、存储与维护 114

3.5.1　大数据应用主题与数据组织方法 114

3.5.2　多粒度级数据组织策略 118

3.5.3　操作型数据存储 124

3.5.4　交通大数据存储技术 127

3.5.5　交通大数据载入、更新与维护技术 135

3.6　交通大数据典型应用系统模式 142

3.6.1　交通大数据服务系统 143

3.6.2　交通大数据驱动智慧业务系统 144

3.6.3　数据驱动交通企业生产运营管理决策支持系统 145

3.6.4　大数据驱动交通客户决策支持系统 146

3.6.5　基于交通大数据的智能算法训练及应用系统研发平台 148

3.7　本章小结 149

第4章 时空交通大数据预测 150

4.1　时空交通大数据概述 150

4.1.1　时空交通数据的类型 150

4.1.2　时空交通数据的典型特征 153

4.2　时空交通数据预测任务 155

4.2.1　交通流量预测 155

4.2.2　交通需求预测 155

4.2.3　交通状态预测 156

4.2.4　通行时间预测 156

4.2.5　交通事故风险预测 156

4.2.6　用户位置预测 156

4.2.7　出行路径预测 157

4.3　传统时间序列预测方法 157

4.3.1　传统统计预测方法 157

4.3.2　传统机器学习预测方法 159

4.4　深度学习预测方法 163

4.4.1　时空网格数据预测 164

4.4.2　时空图数据预测 174

4.4.3　时空轨迹数据预测 183

4.5　本章小结 191

第5章 视觉交通大数据 192

5.1　视觉交通大数据概述 192

5.1.1　线路监控视觉数据 192

5.1.2　车载视觉数据 193

5.1.3　站场监控数据 193

5.2　交通视觉数据分析任务 194

5.2.1　道路监控数据分析任务 194

5.2.2　车载视觉数据分析任务 195

5.2.3　站场监控数据分析任务 196

5.3　静态交通场景感知相关技术 196

5.3.1　通用目标检测方法 197

5.3.2　行人检测方法 201

5.3.3　交通场景语义分割方法 203

5.3.4　车道线检测方法 204

5.3.5　三维场景重建技术 206

5.4　动态交通场景感知相关技术 210

5.4.1　单目标跟踪方法 210

5.4.2　多目标跟踪方法 213

5.4.3　行人重识别方法 215

5.4.4　车辆重识别方法 217

5.5　本章小结 220

第6章 交通运营大数据应用与案例 221

6.1　交通运营大数据应用概述 222

6.1.1　交通运营大数据应用常见场景 222

6.1.2　交通运营应用相关的数据 222

6.2　交通产品需求预测案例——航班需求预测 223

6.2.1　概述 223

6.2.2　航班需求预测问题定义 224

6.2.3　解决方案 225

6.2.4　实验分析 228

6.2.5　小结 231

6.3　交通产品价格预测案例——机票价格预测 231

6.3.1　概述 231

6.3.2　案例背景 232

6.3.3　机票价格预测问题定义 232

6.3.4　解决方案 234

6.3.5　实验分析 237

6.3.6　小结 239

6.4　交通产品推荐案例——民航旅客后续行程预测与推荐 240

6.4.1　概述 240

6.4.2　案例背景 241

6.4.3　民航旅客后续行程预测问题定义 241

6.4.4　解决方案 242

6.4.5　实验分析 245

6.4.6　小结 249

6.5　交通用户群体分析案例——民航旅客社交网络挖掘 249

6.5.1　概述 249

6.5.2　民航旅客社交网络构建 250

6.5.3　家庭团体发现 253

6.5.4　小结 257

6.6　交通用户价值预测案例——民航旅客价值预测 257

6.6.1　概述 257

6.6.2　案例背景 258

6.6.3　民航旅客价值预测问题定义 258

6.6.4　解决方案 260

6.6.5　实验分析 263

6.6.6　小结 265

6.7　交通用户行为预测案例——民航旅客出行目的推断 265

6.7.1　概述 265

6.7.2　案例背景 266

6.7.3　民航旅客出行目的推断问题定义 267

6.7.4　解决方案 268

6.7.5　实验分析 274

6.7.6　小结 277

6.8　交通产品库存预测案例——基于库存变化预测的智能缓存优化 277

6.8.1　案例背景 278

6.8.2　在线订票系统的缓存策略 279

6.8.3　数据准备 280

6.8.4　库存变化时间间隔预测 281

6.8.5　动态缓存有效时间设置 282

6.8.6　技术应用效果 282

6.9　交通流量仿真案例——基于历史通行数据的高速公路流量仿真 284

6.9.1　案例背景 284

6.9.2　解决方案框架 284

6.9.3　数据描述 285

6.9.4　相关算法 286

6.10　本章小结 288

参考文献 289