云计算大数据处理

目录
第1章 大数据挑战
1.1 当前面临的大数据挑战
1.1.1 大数据急剧膨胀
1.1.2 大数据智能分析
1.1.3 大数据深度挖掘
1.1.4 业务与技术脱节
1.2 大数据催生云计算
1.2.1 云计算不是偶然
1.2.2 云计算带来挑战与机遇
1.2.3 云计算对大数据的意义
1.2.4 云计算未来展望
1.3 大数据存储
1.3.1 存储仅是**步
1.3.2 行存储还是列存储
1.3.3 pb级大数据存储
1.3.4 大数据存储的未来
1.4 大数据处理
1.4.1 大数据处理的瓶颈
1.4.2 大数据处理的需求
1.4.3 大数据处理技术决定未来
1.4.4 大数据处理解决方案
第2章 当前的大数据处理系统
2.1 开源大数据处理平台
2.1.1 hadoop
2.1.2 mapreduce
2.2 nosql数据库
2.2.1 google bigtable 的开源java实现：hbase
2.2.2 纯分布式数据库：cassandra
2.2.3 nosql数据库的应用场景
2.3 数据仓库平台
2.3.1 hive
第3章 数据立方简介
3.1 数据立方产生背景
3.2 相关技术
3.2.1 云计算中的大数据处理技术－－mapreduce
3.2.2 并行数据库技术
3.2.3 云计算与数据库相结合的技术
3.3 新一代eb级云计算数据库－－数据立方
3.3.1 数据立方的体系架构
3.3.2 数据立方与hadoop的关系
第4章 数据立方及配套环境的安装
4.1 安装流程
4.2 操作系统的安装
4.2.1 centos6.3的安装
4.2.2 安装jdk
4.2.3 配置ssh
4.3 hadoop的安装
4.3.1 hadoop的版本
4.3.2 hdfs的配置安装
4.3.3 mapreduce的配置安装
4.4 数据立方的配置安装
4.4.1 安装mysql-connector
4.4.2 编辑数据立方的配置文件
4.4.3 数据立方的启动
4.5 监控工具ganglia的安装
4.5.1安装依赖
4.5.2 安装ganglia
4.5.3 配置ganglia
4.6 数据导入工具sqoop的安装
4.6.1 安装前提
4.6.2 安装步骤
第5章 hello word数据立方快速入门
5.1 智慧交通数据处理实例
5.1.1 智慧交通数据处理实例背景
5.1.2 建表
5.1.3 数据入库
5.1.4 数据查询
5.2 编程实现
5.2.1 java开发包
5.2.2 示例
5.3 总结
第6章 数据立方开发
6.1 开发说明
6.2 数据立方sql规范
6.2.1 数据定义与数据操作语言
6.2.2 数据查询语言
6.3 数据入库接口开发
6.3.1 单条多条记录入库java开发包
6.3.2 开发说明
6.3.3 示例
6.4 数据查询接口开发
6.4.1 java开发包
6.4.2 接口介绍
6.4.3 示例
6.5 数据导入工具sqoop的使用
6.5.1 sqoop命令
6.5.2 sqoop命令的使用
第7章 数据立方的维护
7.1 hdfs的维护
7.1.1 hdfs的dfsadmin命令
7.1.2 hdfs的balancer工具
7.2 shell的使用
7.2.1数据立方shell说明
7.2.2数据定义与数据操作的shell
7.2.3数据查询的shell
7.3 数据立方的常见问题及其解决方法
7.3.1 启动时的常见问题
7.4 sqoop的常见问题及其解决方法
7.4.1 mysql的用户问题
7.4.2 mysql的权限问题
7.4.3 mysql的path问题
7.4.4 mysql的path问题
7.5 数据立方管理系统
第8章 数据立方的可靠性
8.1 hadoop的可靠性
8.1.1 hdfs中namenode单点问题
8.1.2 hdfs数据块副本机制
8.1.3 hdfs心跳机制
8.1.4 hdfs负载均衡
8.1.5 mapreduce容错
8.2 hadoop的secondarynamenode机制
8.2.1磁盘镜像与日志文件
8.2.2 secondarynamenode更新镜像的流程
8.3 avatar机制
8.3.1 系统架构
8.3.2 avatar元数据同步机制
8.3.3 故障切换过程
8.3.4 avatar运行流程
8.3.5 avatar故障切换流程
8.4 avatar实战
8.4.1 实验环境
8.4.2 编译avatar
8.4.3 avatar安装和配置
8.5 数据立方可靠性
8.5.1 数据立方的可靠性
8.5.2 数据立方的工作流程
8.5.3 数据立方的可靠性
第9章 数据统计分析实例--供电信息采集系统
9.1 客户需求分析
9.1.1 测试过程及数据量描述
9.1.2 测试过程分解及效率统计
9.2 数据表设计
9.3 查询语句设计与结果展现
9.4 查询优化
9.4.1 存储方面的优化
9.4.2 内存方面的优化
9.5 性能测试结果
9.5.1 数据下载解压及标记
9.5.2 数据解析入库
9.5.3 数据计算流程
9.5.4 数据导入oracle数据库
9.5.5 查询总时长统计
第10章 在线数据检索实例--移动信令分析云平台
10.1 需求分析
10.2 数据表设计
10.2.1 cdr数据文件的检测与索引创建任务调度
10.2.2 从hdfs读取数据并创建索引
10.2.3 查询cdr信息
10.3 查询语句设计与结果展现
10.3.1 cdr文件检测和索引创建任务调度程序
10.3.2 读取cdr数据和索引创建处理
10.3.3 cdr查询
10.4 查询优化
10.5 性能测试结果
第11章 实时数据处理实例-地震数据
11.1 需求分析
11.2 数据表分析
11.3 查询语句设计与结果展现
11.4 查询优化
11.4.1 存储方面的优化
11.4.2 计算方面的优化
11.5 性能测试结果
11.5.1 单机模拟集群测试
11.5.2 字段测试
11.5.3 排序测试
11.5.4 随机读取测试