Spark编程基础:Python版:附微课视频

目录 第1章 大数据技术概述 1 1.1 大数据概念与关键技术 1 1.1.1 大数据概念 1 1.1.2 大数据关键技术 2 1.2 代表性大数据技术 3 1.2.1 Hadoop 3 1.2.2 Spark 7 1.2.3 Flink 9 1.2.4 Beam 11 1.3 编程语言的选择 12 1.4 在线资源 13 1.5 本章小结 14 1.6 习题 14 第2章 Spark的设计与运行原理 15 2.1 概述 15 2.2 Spark生态系统 16 2.3 Spark运行架构 18 2.3.1 基本概念 18 2.3.2 架构设计方法 18 2.3.3 Spark运行的基本流程 19 2.3.4 RDD的设计与运行原理 20 2.4 Spark部署方式 29 2.5 本章小结 30 2.6 习题 30 第3章 大数据实验环境搭建 31 3.1 Linux操作系统的安装 31 3.1.1 下载安装文件 31 3.1.2 Linux操作系统的安装方式 32 3.1.3 虚拟机和Linux操作系统的安装 33 3.2 Hadoop的安装 39 3.2.1 Hadoop简介 39 3.2.2 安装Hadoop前的准备工作 40 3.2.3 Hadoop的3种安装模式 42 3.2.4 下载Hadoop安装文件 42 3.2.5 单机模式配置 43 3.2.6 伪分布式模式配置 43 3.2.7 分布式模式配置 47 3.3 MySQL的安装 57 3.3.1 执行安装命令 57 3.3.2 启动MySQL服务 58 3.3.3 进入MySQL Shell界面 58 3.3.4 解决MySQL出现的中文乱码问题 58 3.4 Kafka的安装 60 3.4.1 Kafka简介 60 3.4.2 Kafka的安装和使用 60 3.5 Anaconda的安装和使用方法 61 3.6 本章小结 63 实验1 Linux、Hadoop和MySQL的安装与使用 64 第4章 Spark环境搭建和使用方法 66 4.1 安装Spark（Local模式） 66 4.1.1 基础环境 66 4.1.2 下载安装文件 67 4.1.3 配置相关文件 67 4.1.4 验证Spark是否安装成功 68 4.2 在PySpark中运行代码 68 4.2.1 pyspark命令 68 4