腾讯大数据构建之道

前言
第1章　打造腾讯大数据平台1
1.1　腾讯大数据的缘起3
1.2　腾讯大数据的构建理念5
1.3　腾讯大数据的总体架构7
第2章　数据实时采集平台11
2.1　接入层挑战12
2.2　接入管理层TDManager14
2.3　数据采集17
2.4　数据总线23
2.5　消息中间件30
2.6　数据分拣40
2.7　接入层展望44
第3章　分布式存储平台46
3.1　文件存储HDFS47
3.2　统一存储Ceph62
3.3　下一代大数据存储Ozone77
3.4　KV存储HBase88
第4章　分布式计算平台99
4.1　批处理MapReduce100
4.2　批处理Spark107
4.3　批处理漂移计算SuperSQL123
4.4　流处理Flink146
4.5　SQL数据仓库Hive165
4.6　任务调度175
第5章　数据分析引擎184
5.1　关系型OLAP：腾讯实时多维分析平台185
5.2　关系型OLAP：ClickHouse200
5.3　多维OLAP：Kylin211
5.4　多维OLAP：Druid222
第6章　资源调度平台234
6.1　Yarn项目背景235
6.2　调度器性能优化241
6.3　集群的高可用性244
6.4　多资源维度弹性管理254
第7章　数据治理体系261
7.1　元数据262
7.2　数据资产管理271
7.3　大数据安全283
第8章　机器学习平台298
8.1　图智能平台299
8.2　Angel310
8.3　联邦学习333
第9章　数据内容挖掘350
9.1　概览351
9.2　广告内容挖掘352
9.3　用户画像数据体系365
9.4　用户画像构建方法366
9.5　数据内容挖掘与推荐379
9.6　数据内容挖掘与AI创作380
第10章　大数据平台运营384
10.1　大数据服务规划385
10.2　大数据平台治理393
10.3　自动化运维体系构建397
10.4　平台运营成本优化404
10.5　大数据运营分析与应用体系408
第11章　大数据平台产品设计410
11.1　TBDS大数据处理套件411
11.2　Oceanus实时流式数据处理平台419
11.3　ideX数据分析与探索挖掘工具425
11.4　智能钛TI机器学习平台429
第12章　企业级容器云平台GaiaStack438
12.1　GaiaStack产品背景和目标439
12.2　GaiaStack架构和技术特点446
12.3　GaiaStack核心技术454
第13章　大数据应用服务503
13.1　智能客服机器人504
13.2　移动推送526
13.3　数据可视化产品小马BI535
参考文献549