大数据实验手册

目 录

实验一 大数据实验一体机基础操作 1
1.1 实验目的 1
1.2 实验要求 1
1.3 实验原理 1
1.4 实验步骤 9
实验二 HDFS实验：部署HDFS 17
2.1 实验目的 17
2.2 实验要求 17
2.3 实验原理 17
2.4 实验步骤 19
实验三 HDFS实验：读写HDFS文件 21
3.1 实验目的 21
3.2 实验要求 21
3.3 实验原理 21
3.4 实验步骤 23
实验四 YARN实验：部署YARN集群 31
4.1 实验目的 31
4.2 实验要求 31
4.3 实验原理 31
4.4 实验步骤 33
4.5 实验结果 35
实验五 MapReduce实验：单词计数 37
5.1 实验目的 37
5.2 实验要求 37
5.3 实验原理 37
5.4 实验步骤 39
5.5 实验结果 41
实验六 MapReduce实验：二次排序 43
6.1 实验目的 43
6.2 实验要求 43
6.3 实验原理 43
6.4 实验步骤 43
6.5 实验结果 48
实验七 MapReduce实验：计数器 49
7.1 实验目的 49
7.2 实验要求 49
7.3 实验背景 49
7.4 实验步骤 51
7.5 实验结果 53
实验八 MapReduce实验：Join操作 55
8.1 实验目的 55
8.2 实验要求 55
8.3 实验背景 55
8.4 实验步骤 56
8.5 实验结果 61
实验九 MapReduce实验：分布式缓存 63
9.1 实验目的 63
9.2 实验要求 63
9.3 实验步骤 63
9.4 实验结果 68
实验十 Hive实验：部署Hive 69
10.1 实验目的 69
10.2 实验要求 69
10.3 实验原理 69
10.4 实验步骤 70
10.5 实验结果 71
实验十一 Hive实验：新建Hive表 73
11.1 实验目的 73
11.2 实验要求 73
11.3 实验原理 73
11.4 实验步骤 73
11.5 实验结果 75
实验十二 Hive实验：Hive分区 77
12.1 实验目的 77
12.2 实验要求 77
12.3 实验原理 77
12.4 实验步骤 77
12.5 实验结果 79
实验十三 Spark实验：部署Spark集群 80
13.1 实验目的 80
13.2 实验要求 80
13.3 实验原理 80
13.4 实验内容和步骤 81
13.5 实验结果 83
实验十四 Spark实验：SparkWordCount 85
14.1 实验目的 85
14.2 实验要求 85
14.3 实验原理 85
14.4 实验步骤 89
14.5 实验结果 89
实验十五 Spark实验：RDD综合实验 90
15.1 实验目的 90
15.2 实验要求 90
15.3 实验原理 90
15.4 实验步骤 91
15.5 实验结果 93
实验十六 Spark实验：Spark综例 94
16.1 实验目的 94
16.2 实验要求 94
16.3 实验原理 94
16.4 实验步骤 96
实验十七 Spark实验：Spark SQL 99
17.1 实验目的 99
17.2 实验要求 99
17.3 实验原理 99
17.4 实验步骤 100
17.5 实验结果 101
实验十八 Spark实验：Spark Streaming 103
18.1 实验目的 103
18.2 实验要求 103
18.3 实验原理 103
18.4 实验步骤 107
18.5 实验结果 110
实验十九 Spark实验：GraphX 111
19.1 实验目的 111
19.2 实验要求 111
19.3 实验原理 111
19.4 实验步骤 111
19.5 实验结果 116
实验二十 部署ZooKeeper 117
20.1 实验目的 117
20.2 实验要求 117
20.3 实验原理 117
20.4 实验步骤 117
20.5 实验结果 119
实验二十一 ZooKeeper进程协作 121
21.1 实验目的 121
21.2 实验要求 121
21.3 实验原理 121
21.4 实验步骤 121
21.5 实验结果 123
实验二十二 部署HBase 124
22.1 实验目的 124
22.2 实验要求 124
22.3 实验原理 124
22.4 实验步骤 125
22.5 实验结果 127
实验二十三 新建HBase表 128
23.1 实验目的 128
23.2 实验要求 128
23.3 实验原理 128
23.4 实验步骤 128
23.5 实验结果 133
实验二十四 部署Storm 135
24.1 实验目的 135
24.2 实验要求 135
24.3 实验原理 135
24.4 实验步骤 136
24.5 实验结果 138
实验二十五 实时WordCountTopology 139
25.1 实验目的 139
25.2 实验要求 139
25.3 实验原理 139
25.4 实验步骤 141
25.5 实验结果 144
实验二十六 文件数据Flume至HDFS 145
26.1 实验目的 145
26.2 实验要求 145
26.3 实验原理 145
26.4 实验步骤 147
26.5 实验结果 149
实验二十七 Kafka订阅推送示例 150
27.1 实验目的 150
27.2 实验要求 150
27.3 实验原理 150
27.4 实验步骤 152
27.5 实验结果 154
实验二十八 Pig版WordCount 155
28.1 实验目的 155
28.2 实验要求 155
28.3 实验原理 155
28.4 实验步骤 156
28.5 实验结果 158
实验二十九 Redis部署与简单使用 160
29.1 实验目的 160
29.2 实验要求 160
29.3 实验原理 160
29.4 实验步骤 162
29.5 实验结果 163
实验三十 MapReduce与Spark读写Redis 164
30.1 实验目的 164
30.2 实验要求 164
30.3 实验原理 164
30.4 实验步骤 165
30.5 实验结果 170
实验三十一 MongoDB实验：读写MongoDB 172
31.1 实验目的 172
31.2 实验要求 172
31.3 实验原理 172
31.4 实验步骤 173
31.5 实验结果 177
实验三十二 LevelDB实验：读写LevelDB 178
32.1 实验目的 178
32.2 实验要求 178
32.3 实验原理 178
32.4 实验步骤 181
32.5 实验结果 183
实验三十三 Mahout实验：K-Means 184
33.1 实验目的 184
33.2 实验要求 184
33.3 实验原理 184
33.4 实验步骤 187
33.5 实验结果 188
实验三十四 使用Spark实现K-Means 189
34.1 实验目的 189
34.2 实验要求 189
34.3 实验原理 189
34.4 实验步骤 189
34.5 实验结果 191
实验三十五 使用Spark实现SVM 192
35.1 实验目的 192
35.2 实验要求 192
35.3 实验原理 192
35.4 实验步骤 194
35.5 实验结果 195
实验三十六 使用Spark实现FP-Growth 197
36.1 实验目的 197
36.2 实验要求 197
36.3 实验原理 197
36.4 实验步骤 199
36.5 实验结果 200
实验三十七 综合实战：车牌识别 202
37.1 实验目的 202
37.2 实验要求 202
37.3 实验步骤 202
37.4 实验结果 209
实验三十八 综合实战：搜索引擎 211
38.1 实验目的 211
38.2 实验要求 211
38.3 实验步骤 211
38.4 实验结果 236
实验三十九 综合实战：推荐系统 239
39.1 实验目的 239
39.2 实验要求 239
39.3 实验步骤 239
39.4 实验结果 245
实验四十 综合实战：环境大数据 247
40.1 实验目的 247
40.2 实验要求 247
40.3 实验原理 247
40.4 实验步骤 247
实验四十一 综合实战：智能硬件大数据托管 259
41.1 实验目的 259
41.2 实验要求 259
41.3 实验原理 259
41.4 实验步骤 261
41.5 实验结果 266
实验四十二 综合实战：贷款风险评估 268
42.1 实验目的 268
42.2 实验要求 268
42.3 实验原理 268
42.4 实验相关 269
42.5 实验结果 275