包邮Hadoop大数据处理技术基础与实践:微课版

目录 第 1章 Hadoop概述 1 1.1 Hadoop简介 1 1.2 Hadoop体系架构 3 1.2.1 Hadoop基础架构 3 1.2.2 Hadoop生态系统 3 1.3 Hadoop与分布式开发 5 1.4 Hadoop行业应用案例分析 6 1.4.1 Hadoop在门户网站中的应用 6 1.4.2 Hadoop在搜索引擎中的应用 7 1.4.3 Hadoop在电商平台中的应用 7 习题 8 第 2章 Hadoop的安装、配置与管理 9 2.1 实验准备 9 2.2 配置一个单节点环境 10 2.2.1 运行一个虚拟环境CentOS 10 2.2.2 配置网络 11 2.2.3 创建新的用户组和用户 15 2.2.4 上传文件到CentOS并配置Java和Hadoop环境 16 2.2.5 修改Hadoop 3.2配置文件 19 2.2.6 修改CentOS主机名 22 2.2.7 绑定hostname与IP地址 22 2.2.8 关闭防火墙 23 2.3 节点之间的免密码登录 23 2.3.1 什么是SSH 23 2.3.2 复制虚拟机节点 24 2.3.3 配置SSH免密码登录 25 2.4 Hadoop的启动和测试 27 2.4.1 格式化文件系统 27 2.4.2 启动HDFS 28 2.4.3 启动YARN 29 2.4.4 启动JobHistory Server 29 2.4.5 集群验证 30 2.4.6 需要了解的默认配置 31 2.5 动态管理节点 32 2.5.1 动态增加和删除DataNode 32 2.5.2 动态修改TaskTracker 33 习题 34 第3章 HDFS技术 36 3.1 HDFS的特点 36 3.2 HDFS架构 37 3.2.1 数据块 38 3.2.2 NameNode与DataNode 39 3.2.3 辅助NameNode 40 3.2.4 安全模式与负载均衡 42 3.2.5 垃圾回收 43 3.3 HDFS Shell命令 44 3.3.1 文件处理命令 44 3.3.2 交互式命令 49 3.4 HDFS中Java API的使用 53 3.4.1 上传文件 54 3.4.2 新建文件 55 3.4.3 查看文件详细信息 56 3.4.4 下载文件 57 3.5 RPC通信 58