APACHE SPARK大数据分析 基于AZURE DATABRICKS云平台

第 1章　大规模数据分析简介 1

1.1 宣传中的数据分析 1

1.2 现实中的数据分析 2

1.3 大规模数据分析 3

1.4 数据—分析中的燃料 5

1.5 免费的工具 6

1.6 进入云端 8

1.7 Databricks—懒人的分析工具 9

1.8 如何分析数据 9

1.9 真实世界的大规模数据分析示例 11

1.9.1 Volvo Trucks的远程信息处理 11

1.9.2 Visa的欺诈识别 11

1.9.3 Target的客户分析 12

1.9.4 Cambridge Analytica有针对性的广告投放 12

1.10 小结 12

第 2章　Spark和Databricks 14

2.1 Apache Spark简介 14

2.2 Databricks—受管的Apache Spark 16

2.3 Spark的架构 18

2.3.1 Apache Spark如何处理作业 19

2.3.2 数据 20

2.4 内核之上的出色组件 23

2.5 小结 23

第3章　Databricks初步 25

3.1 只能通过云来使用 25

3.2 免费的社区版 26

3.2.1 差不多够用了 26

3.2.2 使用社区版 26

3.3 梦寐以求的商业版 28

3.3.1 Amazon Web Services上的Databricks 29

3.3.2 Azure Databricks 32

3.4 小结 34

第4章　工作区、集群和笔记本 35

4.1 在UI中漫游 35

4.2 集群 38

4.3 数据 40

4.4 笔记本 42

4.5 小结 44

第5章　将数据载入Databricks 46

5.1 Databricks文件系统 46

5.1.1 文件系统导航 47

5.1.2 FileStore—通往自有数据的门户 49

5.2 模式、数据库和表 50

5.3 各种类型的数据源 文件 51

5.3.1 二进制格式 53

5.3.2 其他传输方式 54

5.4 从你的计算机中导入数据 54

5.5 从Web获取数据 56

5.5.1 使用shell 56

5.5.2 使用Python执行简单导入 58

5.5.3 使用SQL获取数据 60

5.6 挂载文件系统 60

5.6.1 Amazon S3挂载示例 61

5.6.2 Microsoft Blog Storage挂载示例 62

5.6.3 删除挂载 63

5.7 如何从Databricks中获取数据 64

5.8 小结 65

第6章　使用SQL查询数据 67

6.1 Databricks中的SQL 67

6.2 准备工作 68

6.3 选择数据 69

6.4 筛选数据 70

6.5 连接和合并 73

6.6 对数据进行排序 75

6.7 函数 76

6.8 窗口函数 77

6.9 视图 79

6.10 层次型数据 80

6.11 创建数据 82

6.12 操作数据 84

6.13 Delta Lake SQL 85

6.13.1 UPDATE、DELETE和MERGE 86

6.13.2 确保Delta Lake状况良好 88

6.13.3 事务日志 88

6.13.4 选择元数据 89

6.13.5 收集统计信息 90

6.14 小结 91

第7章　Python的威力 92

7.1 Python—不二的选择 92

7.2 加强版Python简介 93

7.3 查找数据 96

7.4 DataFrame—活动数据的居住之所 97

7.5 加载一些数据 98

7.6 从DataFrame中选择数据 101

7.7 串接命令 103

7.8 使用多个DataFrame 112

7.9 整理数据 118

7.10 小结 122

第8章　ETL和高级数据整理 123

8.1 再谈ETL 123

8.2 Spark UI简介 124

8.3 数据清理和变换 125

8.3.1 查找NULL 126

8.3.2 删除NULL 128

8.3.3 使用值来填充NULL列 129

8.3.4 去重 131

8.3.5 找出并清除值 132

8.3.6 处理列 135

8.3.7 转置 137

8.3.8 爆裂 138

8.3.9 什么情况下惰性求值有益 139

8.3.10 缓存数据 140

8.3.11 数据压缩 142

8.3.12 有关函数的简短说明 144

8.3.13 lambda函数 145

8.4 数据存储和混洗 146

8.4.1 保存模式 146

8.4.2 受管表和非受管表 148

8.4.3 处理分区 149

8.5 小结 154

第9章　在Databricks和外部工具之间建立连接 155

9.1 为何要在Databricks和外部工具之间建立连接 155

9.2 让ODBC和JDBC运转起来 156

9.2.1 创建令牌 157

9.2.2 准备集群 157

9.2.3 创建测试表 158

9.2.4 在Windows系统中安装ODBC 158

9.2.5 在macOS系统中安装ODBC 159

9.3 在外部工具中连接到Databricks 162

9.3.1 Microsoft Excel（Windows） 162

9.3.2 Microsoft Power BI桌面版（Windows） 163

9.3.3 Tableau（macOS） 164

9.3.4 PyCharm（通过Databricks Connect进行连接） 165

9.4 使用RStudio Server 168

9.5 访问外部系统 170

9.6 连接到外部系统 171

9.6.1 连接到Azure SQL 171

9.6.2 连接到Oracle 172

9.6.3 连接到MongoDB 174

9.7 小结 175

第 10章　在生产环境中运行解决方案 176

10.1 一般性建议 176

10.1.1 设想糟的情况 177

10.1.2 编写可反复运行的代码 177

10.1.3 对代码进行注释 177

10.1.4 编写简单易懂的代码 178

10.1.5 打印相关的信息 178

10.2 作业 179

10.2.1 调度 180

10.2.2 在笔记本中运行其他笔记本 181

10.2.3 小部件 183

10.2.4 运行接受参数的作业 185

10.3 命令行接口 186

10.3.1 安装CLI 186

10.3.2 运行CLI命令 187

10.4 再谈费用 193

10.5 用户、组和安全选项 194

10.5.1 用户和组 194

10.5.2 访问控制 195

10.5.3 其他特性 198

10.6 小结 199

第 11章　杂项 200

11.1 MLlib 201

11.2 频繁模式增长 201

11.2.1 创建一些数据 202

11.2.2 准备好数据 203

11.2.3 运行算法 204

11.2.4 分析结果 204

11.3 MLflow 205

11.3.1 运行代码 206

11.3.2 检查结果 208

11.4 更新表 208

11.4.1 创建源表 209

11.4.2 从Databricks连接到Oracle数据库 210

11.4.3 提取变更的数据 211

11.4.4 验证格式 212

11.4.5 更新表 212

11.5 Pandas简介 213

11.6 Koalas—Spark版Pandas 213

11.6.1 鼓捣Koalas 214

11.6.2 Koalas的未来 216

11.7 数据呈现艺术 217

11.7.1 准备数据 218

11.7.2 使用Matplotlib 219

11.7.3 创建并显示仪表板 220

11.7.4 添加小部件 220

11.7.5 添加图表 221

11.7.6 调度 221

11.8 REST API和Databricks 222

11.8.1 能够做什么 222

11.8.2 不能做什么 222

11.8.3 为使用API做好准备 223

11.8.4 示例：获取集群数据 223

11.8.5 示例：创建并执行作业 226

11.8.6 示例：获取笔记本 228

11.8.7 所有API及其用途 229

11.9 Delta流处理 230

11.9.1 运行流 231

11.9.2 检查和停止流 234

11.9.3 加快运行节奏 234

11.9.4 使用检查点 235