Hadoop大数据技术基础(Python版)微课视频版

第1章大数据概述 1.1大数据的产生与发展 1.2大数据的基础知识 1.3大数据架构 1.4本章小结 1.5课后习题 第2章Linux系统的安装与使用 2.1系统安装 2.1.1安装 CentOS 7.x 2.1.2安装步骤 2.2基本命令 2.2.1cd命令 2.2.2打包和解压命令 2.2.3其他常用命令 2.3权限与目录 2.3.1权限 2.3.2目录 2.4文件操作 2.4.1文件与目录管理 2.4.2用户和用户组管理 2.5网络配置 2.6本章小结 2.7课后习题 第3章Python 3语言基础 3.1Python 3简介 3.1.1Python 的发展历史 3.1.2Python的应用 3.2环境搭建 3.2.1Python 3环境的搭建 3.2.2PyCharm 3.3基础语法 3.3.1语法规范 3.3.2数据类型 3.3.3Number数据类型 3.3.4字符串 3.3.5列表 3.3.6元组 3.3.7字典 3.3.8集合 3.3.9函数 3.3.10模块 3.3.11类和对象 3.3.12封装 3.3.13构造函数 3.3.14继承 3.3.15异常 3.3.16操作MySQL 3.4本章小结 3.5课后习题 3.6实训 第4章Hadoop开发环境 4.1Hadoop生态圈工具 4.2环境搭建 4.2.1Linux虚拟机基础配置 4.2.2Xshell工具 4.2.3安装JDK 4.2.4安装Hadoop 4.2.5安装SSH 4.2.6复制虚拟机 4.2.7修改其他虚拟机 4.2.8设置免密 4.2.9启动Hadoop集群 4.3常见问题汇总 4.4本章小结 4.5课后习题 第5章HDFS技术 5.1HDFS架构 5.2HDFS命令 5.2.1version命令 5.2.2dfsadmin命令 5.2.3jar命令 5.2.4fs命令 5.3API的使用 5.3.1hdfs模块 5.3.2pyhdfs模块 5.4本章小结 5.5课后习题 5.6实训 第6章MapReduce技术 6.1MapReduce工作原理 6.1.1MapReduce作业流程 6.1.2早期MapReduce架构存在的问题 6.2YARN运行概述 6.2.1yarn模块介绍 6.2.2YARN的工作流程 6.3利用Python进行MapReduce编程 6.3.1Hadoop Streaming概述 6.3.2Hadoop Streaming原理 6.3.3Hadoop Streaming用法 6.3.4Python编写MapReduce环境搭建 6.3.5用Python编写MapReduce代码入门程序(词频统计) 6.3.6清洗数据 6.4mrjob模块 6.4.1mrjob模块概述 6.4.2安装mrjob模块 6.4.3mrjob模块的**个例子(词频统计) 6.4.4mrjob模块的运行方式 6.4.5MRJob类的工作原理 6.4.6mrjob模块的数据清洗 6.4.7mrjob模块的两表合并 6.5本章小结 6.6课后习题 6.7实训 第7章Hive数据仓库 7.1Hive模型 7.1.1Hive的架构与基本组成 7.1.2Hive的数据模型 7.2Hive安装 7.2.1Hive的基本安装 7.2.2MySQL的安装 7.2.3Hive的配置 7.3HiveQL详解 7.3.1元数据存储 7.3.2数据存储 7.3.2HQL操作 7.4本章小结 7.5课后习题 7.6实训 第8章HBase分布式数据库 8.1HBase工作原理 8.1.1HBase的表结构 8.1.2体系结构 8.1.3物理模型 8.1.4HBase读写流程 8.2HBase完全分布式 8.2.1安装前准备 8.2.2配置文件 8.2.3集群启动 8.3HBase Shell 8.3.1DDL操作 8.3.2DML操作 8.4本章小结 8.5课后习题 第9章Sqoop工具 9.1Sqoop的安装 9.2Sqoop的使用 9.2.1MySQL数据的导入导出 9.2.2Oracle数据的导入导出 9.3本章小结 9.4课后习题 第10章Hadoop实战——货运车分布分析平台 10.1需求分析 10.2案例1： 各个城市中各种货运车的数量 10.2.1业务简介 10.2.2业务模型 10.2.3业务逻辑 10.2.4数据呈现 10.3案例2： 报废货运车占比 10.3.1业务简介 10.3.2业务模型 10.3.3业务逻辑 10.3.4数据呈现 10.4案例3： 各种货运车的总量 10.4.1业务简介 10.4.2业务模型 10.4.3业务逻辑 10.4.4数据呈现