城市大数据

第1章城市大数据概论1
1.1城市发展的挑战和机遇1
1.1.1城市发展与“城市病”1
1.1.2城市精细化管理2
1.2城市大数据概念3
1.2.1城市大数据的定义4
1.2.2城市大数据的来源和规模4
1.2.3城市大数据的多源采集8
1.3城市大数据特征14
1.3.1三元空间14
1.3.2城市大数据特性15
1.4城市大数据应用领域16
1.4.1国外城市大数据应用案例18
1.4.2我国城市大数据应用案例21
1.5城市大数据亟待解决的问题26
1.6本章小结29
参考文献29
第2章群体智能30
2.1群体智能的基本概念30
2.2群体智能的主要类型31
2.2.1众包模式31
2.2.2工作流模式32
2.2.3协同求解模式33
2.2.4志愿计算34
2.2.5集群智能与集体智能35
2.3城市大数据采集与群智感知35
2.4城市大数据融合与群智认知37
2.5群智应用的控制41
2.6城市大数据运算与群智数据管理45
2.7本章小结47
参考文献47
〖1〗〖1〗〖2〗第3章城市大数据协同感知51
3.1城市大数据的多源协同感知模式51
3.1.1单一空间的数据感知51
3.1.2多维空间的数据感知53
3.2城市大数据的泛在感知54
3.2.1泛在感知数据54
3.2.2泛在感知覆盖56
3.2.3泛在感知方法60
3.3城市大数据的高效收集68
3.3.1任务驱动的数据收集68
3.3.2协作式感知数据收集71
3.3.3交互式感知数据收集73
3.4本章小结75
参考文献75
第4章城市大数据质量评估80
4.1数据质量评估方法80
4.1.1数据质量评估的重要性80
4.1.2数据质量评估的基本指标81
4.1.3数据质量评估的方法82
4.2城市感知大数据质量评估方法84
4.2.1应用驱动的数据质量评估方法85
4.2.2数据驱动的数据质量评估方法95
4.3本章小结98
参考文献99
第5章城市大数据智能分析102
5.1群体认知发现102
5.1.1用户活动轨迹挖掘102
5.1.2用户社交跨平台轨迹分析108
5.2群智认知的数据处理技术: 群组查询分析112
5.2.1什么是群组分析113
5.2.2群组查询基础113
5.2.3COHANA查询引擎116
5.3智能分析案例一: 事件的智能推荐118
5.3.1事件的智能推荐问题描述119
5.3.2事件的智能推荐算法120
5.4智能分析案例二: 电商的智能推荐122
5.4.1电商的智能推荐问题描述122
5.4.2电商的智能推荐算法124
5.5智能分析案例三: 地标的智能识别127
5.5.1地标的智能识别问题描述127
5.5.2地标的智能识别算法127
5.6智能分析案例四: 街拍照片的智能识别130
5.6.1街拍照片的智能识别问题描述131
5.6.2街拍照片的智能识别算法132
5.7本章小结136
参考文献136
第6章城市大数据处理技术141
6.1计算模型141
6.1.1Hadoop系统142
6.1.2Spark系统146
6.1.3Storm系统148
6.1.4Yita大数据处理引擎151
6.2深度计算引擎153
6.2.1分布式弹性高性能计算引擎epiC154
6.2.2分布式深度计算引擎SINGA160
6.2.3分布式P2P环境的信任框架BLOCKBENCH164
6.2.4索引技术LazyLSH167
6.3城市大数据查询技术171
6.3.1弹性聚合*近邻查询171
6.3.2*远邻查询174
6.3.3分布式城市空间大数据查询系统176
6.3.4分布式城市时态大数据查询系统179
6.4本章小结181
参考文献181
第7章城市大数据计算平台185
7.1资源管理与调度185
7.1.1任务依赖关系表达与调度策略185
7.1.2远程数据访问与位置感知的任务窃取188
7.1.3负载均衡的任务分配190
7.1.4缓存友好的任务图切分191
7.1.5三层任务窃取策略193
7.1.6精细化后台服务管理194
7.2服务质量保障195
7.2.1数据中心应用类型与资源利用率195
7.2.2基于冲突预测的方案——BubbleX196
7.2.3基于显式资源分配的方案——Heracles198
7.2.4请求级显式资源分配——Avalon199
7.2.5数据中心加速器共享与应用延迟202
7.2.6加速器资源利用率提升方案——Baymax204
7.3能效管理208
7.3.1服务器能耗调节的基本手段209
7.3.2服务器负载调度与合并211
7.3.3功率资源配给优化212
7.3.4非IT设施能耗管理213
7.3.5大数据平台负载扰动217
7.4本章小结219
参考文献219
第8章城市大数据安全与隐私保护223
8.1网络与系统安全225
8.1.1网络安全防护技术225
8.1.2云系统安全服务体系226
8.2数据安全及隐私保护228
8.2.1城市大数据安全隐患228
8.2.2数据隐私保护技术230
8.3基于大数据和人工智能的新一代安全防护技术232
8.3.1网络大数据异常智能检测技术232
8.3.2面向虚拟化云基础设施的安全防护技术235
8.3.3城市大数据完整性验证及隐私保护技术238
8.4本章小结241
参考文献242
第9章城市大数据实践243
9.1智能交通244
9.1.1地铁乘客路径选择模式分析244
9.1.2夜间公交线路设计248
9.2城市管理——城市商圈吸引力分析257
9.2.1商圈吸引力评价方法257
9.2.2商铺类型推荐260
9.3公共安全262
9.3.1公共安全大数据特征262
9.3.2公共安全大数据路线263
9.3.3公共安全大数据示例265
9.4本章小结266
参考文献267