大数据理论与应用基础

目 录 第1章 绪论 1 1.1 大数据的形成和发展 1 1.2 大数据的基本概念 3 1.2.1 什么是大数据 3 1.2.2 大数据的特征 3 1.3 大数据关键技术 5 1.3.1 大数据采集技术 5 1.3.2 大数据预处理技术 6 1.3.3 大数据存储与管理技术 7 1.3.4 大数据分析与挖掘技术 8 1.3.5 大数据展现与应用技术 10 1.4 大数据的行业应用 11 1.4.1 水利领域 11 1.4.2 生物医学领域 13 1.4.3 智慧城市领域 14 1.4.4 商业领域 15 1.4.5 信息安全领域 15 1.5 大数据领域的主要职位及其能力要求 16 1.5.1 首席数据官 16 1.5.2 数据科学家 17 1.5.3 大数据开发工程师 17 1.5.4 大数据运维工程师 18 1.6 本章小结 18 1.7 习题 18 第2章 Linux的基础操作 19 2.1 Linux概述 19 2.1.1 Linux系统的发行版本及特点 19 2.1.2 Linux与Windows系统对比 19 2.2 Linux命令 20 2.2.1 命令行技巧 20 2.2.2 Linux帮助命令 22 2.2.3 Linux文件类型及查看操作 24 2.2.4 文件与目录操作 27 2.2.5 文本编辑 34 2.2.6 文本过滤器与处理 39 2.2.7 用户与用户组管理 43 2.2.8 文件权限管理 49 2.2.9 归档与压缩 53 2.2.10 进程管理 56 2.3 本章小结 57 2.4 习题 57 第3章 Hadoop大数据处理架构 59 3.1 Hadoop简介 59 3.1.1 Hadoop的概念 59 3.1.2 Hadoop的发展史 59 3.1.3 Hadoop版本介绍 61 3.2 Hadoop的特性 61 3.3 Hadoop生态系统 62 3.3.1 Hadoop集群的架构 62 3.3.2 Hadoop生态系统的组件 62 3.4 部署Hadoop集群 64 3.4.1 Hadoop集群的部署方式 64