大数据应用部署与调优

第1 章 大数据导论

1.1 大数据的概念 ·

1.1.1 大数据的来源

1.1.2 大数据的分类

1.2 大数据的特征

1.2.1 数量（volume）

1.2.2 多样性（variety）

1.2.3 速度（velocity）

1.2.4 价值（value）

1.3 大数据关键技术

1.3.1 大数据存储技术

1.3.2 并行计算技术

1.3.3 数据分析技术

1.3.4 数据可视化技术

1.3.5 数据挖掘技术

1.4 大数据应用场景

1.4.1 电商行业大数据应用

1.4.2 金融行业大数据应用

1.4.3 医疗行业大数据应用

1.4.4 教育行业大数据应用

1.4.5 工业大数据应用

1.4.6 农业大数据应用

1.4.7 环境大数据应用

1.4.8 智慧城市大数据应用

习题

参考文献

第2 章 基础云架构

2.1 云计算简介

X 大数据应用部署与调优

2.1.1 云计算的概念

2.1.2 云计算发展现状

2.1.3 云计算实现机制

2.1.4 云计算部署模型

2.2 云计算与大数据

2.2.1 云计算与大数据的关系

2.2.2 云计算与大数据相结合的优势

2.3 私有云平台OpenStack

2.3.1 OpenStack 背景介绍

2.3.2 计算服务Nova

2.3.3 对象存储服务Swift ·

2.3.4 镜像服务Glance

2.4 公有云平台阿里云

2.4.1 阿里云简介

2.4.2 计算服务ECS

2.4.3 存储服务

2.4.4 网络服务VPC

习题

参考文献

第3 章 大数据业务流程

3.1 数据采集

3.1.1 数据采集的概念

3.1.2 数据采集的工具

3.1.3 数据采集的方法

3.2 数据预处理ETL

3.2.1 数据清洗

3.2.2 数据集成

3.2.3 数据转换

3.2.4 数据归约

3.2.5 常用ETL 工具

3.3 大数据存储

3.3.1 大数据存储困境

3.3.2 大数据存储中的数据结构处理样例 ·

目录 XI

3.3.3 分布式系统 ·

3.3.4 Hadoop 框架

3.3.5 NoSQL 数据库

3.3.6 云存储

3.4 大数据处理

3.4.1 大数据处理框架

3.4.2 批处理系统 ·

3.4.3 流处理系统 ·

3.4.4 混合处理系统

3.4.5 大数据处理框架的选择

3.5 环境监控大数据应用实例

习题

参考文献

第4 章 系统安装部署 ·

4.1 安装部署的概念

4.1.1 软件安装概述

4.1.2 大数据部署概述

4.2 安装部署分布式系统

4.2.1 Hadoop 安装部署 ·

4.2.2 Spark 部署

4.3 升级管理

4.3.1 系统升级的概念

4.3.2 Hadoop 升级管理

4.3.3 Spark 升级管理 ·

习题

参考文献

第5 章 日常维护管理

5.1 系统管理对象 ·

5.1.1 系统软件

5.1.2 系统硬件

5.1.3 系统数据

XII 大数据应用部署与调优

5.2 系统管理的内容

5.2.1 事件管理

5.2.2 问题管理

5.2.3 故障管理

5.2.4 性能管理

5.2.5 配置管理

5.2.6 日志管理

5.2.7 备份管理

5.3 故障管理

5.3.1 集群结构

5.3.2 故障报告

5.3.3 故障处理

5.3.4 故障后期管理

5.4 性能管理

5.4.1 性能监控

5.4.2 性能分析

5.5 日志管理

5.5.1 平台及组件相关命令行 ·

5.5.2 日志和告警监控

5.6 日常巡检

5.6.1 检查内容分类

5.6.2 巡检方法分类

5.6.3 巡检流程

5.7 系统管理制度规范

5.7.1 系统管理标准

5.7.2 系统管理制度

5.7.3 系统管理规范

习题

参考文献

第6 章 高级系统运维

6.1 安全管理

6.1.1 资产安全

6.1.2 应用安全

目录 XIII

6.1.3 安全威胁

6.1.4 安全措施

6.2 系统优化

6.2.1 Hadoop 配置优化

6.2.2 Hadoop 性能优化

6.2.3 作业优化

6.3 高可用

6.3.1 高可用概述

6.3.2 高可用技术

6.3.3 业务连续性

习题

参考文献

第7 章 基础应用开发

7.1 Python 简介

7.1.1 Python 的前世今生

7.1.2 Python 的应用场合

7.1.3 Python 的特性

7.2 Python 语法

7.2.1 Python 赋值语句

7.2.2 顺序结构

7.2.3 选择结构

7.2.4 循环结构

7.2.5 绘图（用matplotlib 等新库）

7.2.6 函数

7.2.7 常用模块

7.3 Python 程序调试

7.3.1 拼接字符串

7.3.2 使用 generator

7.3.3 死循环

7.3.4 巧用多重赋值

7.3.5 使用C 扩展（extension）

7.3.6 并行编程

习题

XIV 大数据应用部署与调优

参考文献

第8 章 大数据应用开发

8.1 数据获取

8.1.1 通过传感器采集数据

8.1.2 通过API 获取数据

8.1.3 网络信息抓取

8.1.4 通过网络信息系统获取数据 ·

8.2 数据分析

8.2.1 数据分析概念和分类

8.2.2 数据分析方法

8.3 数据可视化

8.3.1 数据可视化基础

8.3.2 大数据可视化方法

8.4 应用案例开发

8.4.1 案例一 Python 数据分析：商圈分析 ·

8.4.2 案例二 Python 数据分析：招聘信息可视化案例

习题

参考文献

附录A 大数据和人工智能实验环境