包邮21世纪高等学校通识教育规划教材大数据基础教程

第1章大数据概述

1.1大数据发展背景

1.1.1引言

1．1．2发展历程

1．2大数据相关概念及特点

1．2．1大数据特点

1．2．2相关概念介绍

1．3大数据应用过程

1．3．1数据采集

1．3．2预处理

1．3．3数据存储管理

1．3．4数据挖掘分析

1．4大数据技术

1．4．1大数据集群

1．4．2大数据技术架构

1．5大数据行业应用

1．5．1互联网与电子商务行业

1．5．2医疗健康行业

1．5．3交通行业大数据应用

1．5．4金融行业

1．5．5政府机构

1．5．6零售业

1．5．7其他应用领域

1．6大数据的挑战和机遇

1．6．1大数据的挑战

1．6．2大数据的机遇

1．7本书内容结构介绍

第2章Hadoop基础

2．1概念介绍

2．1．1架构

2．1．2Apache Hadoop概述

2．2Hadoop的安全性

2．2．1安全问题

2．2．2Simple机制

2．2．3Kerberos机制

2．2．4委托令牌

2．3实验环境准备

2．3．1虚拟机安装

2．3．2CentOS 7 系统安装

2．3．3其他软件安装

2．4搭建Hadoop

2．4．1CentOS 7系统配置

2．4．2SSH免密码登录

2．4．3配置JDK

2．4．4解压Hadoop

2．4．5配置Hadoop

2．4．6启动Hadoop

第3章HDFS的介绍和简单操作

3．1Hadoop分布式文件系统(HDFS)

3．2HDFS的原理

3．3HDFS写操作

3．4HDFS读操作

3．5HDFS删除操作

3．6HDFS常用命令

3．7实验

3．7．1创建目录

3．7．2上传文件命令

3．7．3罗列HDFS上的文件

3．7．4查看HDFS里某一个文件

3．7．5将HDFS中的文件复制到本地

3．7．6递归删除HDFS下的文档

第4章YARN的原理和操作

4．1YARN简介

4．1．1YARN的概念及背景

4．1．2YARN的使用

4．1．3YARN介绍

4．2YARN的基本架构

4．3YARN的工作流程

4．4YARN协议

4．5YARN的优点

第5章MapReduce的介绍和简单使用

5．1MapReduce简介

5．2Map过程

5．3Reduce过程

5．4开发环境的搭建

5．5实验

5．5．1单词计数

5．5．2二次排序实验

5．5．3计数器实验

第6章Hive

6．1Hive 简介

6．1．1Hive基础

6．1．2Hive的工作原理

6．1．3Hive与传统数据库

6．2HiveQL基础

6．3Hive的安装与配置

6．3．1搭建Hive

6．3．2安装配置MySQL

6．3．3配置Hive

6．4实验

第7章HBase

7．1HBase简介

7．1．1HBase基础

7．1．2HBase数据模型

7．1．3HBase访问接口

7．2HBase与RDBMS

7．3HBase的安装与配置

7．3．1伪分布式安装

7．3．2完全分布式

7．4实验

第8章ZooKeeper基础

8．1ZooKeeper简介

8．1．1概念简介

8．1．2主要特点

8．2ZooKeeper体系结构

8．3关键算法ZAB

8．4ZooKeeper集群搭建

8．5ZooKeeper四字命令

8．6实验

8．6．1ZooKeeper客户端

8．6．2ZooKeeper Java API的使用

第9章Spark基础

9．1Spark介绍

9．1．1概念介绍

9．1．2组件介绍

9．1．3特性

9．2Spark主要架构

9．3Spark计算模型

9．4Spark运行模式

9．5Spark SQL

9．5．1Hive and Shark

9．5．2Shark和Spark SQL

9．5．3Spark SQL运行架构

9．5．4sqlContext和hiveContext的运行过程

9．6Spark Steaming

9．6．1术语定义

9．6．2Storm与Spark Streaming的比较

9．6．3运行原理

9．7安装Spark

9．8实验

第10章Apache Kafka

10．1基础概念介绍

10．1．1消息队列

10．1．2消息中间件

10．2Kafka结构

10．3Producer和Consumer

10．3．1Kafka Producer

10．3．2Kafka Consumer

10．3．3消费状态跟踪

10．4Kafka的特性

10．5消息与日志

10．5．1写操作

10．5．2读操作

10．5．3删除操作

10．5．4消息可靠性

10．6实验

10．6．1Kafka集群搭建

10．6．2消息发送与接收

参考文献