R语言:大数据分析中的统计方法及应用/薛薇

第1章 R语言与统计分析概述 1
1.1 写在前面的话 1
1.1.1 大数据的广义概念 1
1.1.2 目标定位 2
1.1.3 初识R 3
1.2 R语言入门 3
1.2.1 R中的基本概念 3
1.2.2 R的下载安装 5
1.2.3 R程序的运行 6
1.2.4 R使用的其他方面 10
1.3 Rstudio简介 12
1.4 从大数据分析案例看统计分析的基本框架 13
1.4.1 数据集 14
1.4.2 分析目标和数据预处理 16
1.4.3 数据的基本分析 17
1.4.4 总体特征的推断 17
1.4.5 推断多个变量间的总体相关性 18
1.4.6 数据的聚类 19
1.5 本章涉及的R函数 19
第2章 R的数据组织 20
2.1 R的数据对象 20
2.1.1 R对象的类型划分 20
2.1.2 创建和管理R对象 21
2.2 R数据组织的基本方式 22
2.2.1 R向量及其创建与访问 22
2.2.2 R矩阵和数组及其创建与访问 27
2.2.3 R数据框及其创建与访问 32
2.2.4 R列表及其创建与访问 36
2.3 R数据组织的其他问题 37
2.3.1 R对象数据的保存 37
2.3.2 通过键盘读入数据 38
2.3.3 共享R自带的数据包 39
2.4 大数据案例的数据结构和R组织 39
2.4.1 读文本文件数据到R数据框 39
2.4.2 大数据分析案例：北京市空气质量监测数据 40
2.4.3 大数据分析案例：美食餐馆食客点评数据 41
2.4.3 大数据分析案例：超市顾客购买行为数据 42
2.5 本章涉及的R函数 43
第3章 R的数据整理和编程基础 45
3.1 从大数据分析案例看数据整理 45
3.1.1 美食餐馆食客点评数据的整理问题 45
3.1.2 超市顾客购买行为数据的整理问题 45
3.1.3 北京市空气质量监测数据的整理问题 46
3.2 数据的初步整理 46
3.2.1 数据整合 46
3.2.2 数据筛选 46
3.2.3 大数据分析案例：美食餐馆食客点评数据的初步整理 47
3.3 数据质量评估 49
3.3.1 缺失数据报告 49
3.3.2 异常值排查 50
3.3.3 大数据分析案例：美食餐馆食客点评数据的质量评估 50
3.4 数据加工 52
3.4.1 数据加工管理中的常用函数 53
3.4.2 数据分组和重编码 59
3.4.3 大数据分析案例：利用数据加工寻找“人气”餐馆 60
3.5 数据管理中的R编程基础 61
3.5.1 分支结构的流程控制及示例——促销折扣的计算 61
3.5.2 循环结构的流程控制及示例：等差数列的求和 63
3.5.3 用户自定义函数及示例：汇总数据还原为原始数据 65
3.5.4 R编程大数据分析案例：超市顾客购买行为数据的RFM计算 67
3.5.5 R编程大数据分析案例：北京市空气质量监测数据的整理 68
3.6 本章涉及的R函数 70
第4章 R的基本分析和统计图形 71
4.1 从大数据分析案例看数据基本分析 71
4.1.1 美食餐馆食客点评数据的基本分析 71
4.1.2 北京市空气质量监测数据的基本分析 72
4.2 R的绘图基础 73
4.2.1 图形设备和图形文件 73
4.2.2 图形组成和图形参数 74
4.3 分类型单变量的基本分析 78
4.3.1 计算频数分布表 78
4.3.2 分类型变量的基本统计图形 78
4.3.3 大数据分析案例：主打菜的餐馆分布有怎样的特点 79
4.4 数值型单变量的基本分析 80
4.4.1 计算基本描述统计量 80
4.4.2 数值型变量的基本统计图形 81
4.4.3 大数据分析案例：餐馆评分的分布有怎样的特点 83
4.5 大数据分析案例综合：北京市空气质量监测数据的基本分析 85
4.6 本章涉及的R函数 88
第5章 R的变量相关性分析和统计图形 89
5.1 分类型变量相关性的分析 89
5.1.1 分类型变量相关性的描述 89
5.1.2 分类型变量相关性的统计图形 93
5.1.3 大数据分析案例：餐馆的区域分布与主打菜分布是否具有相关性 93
5.2 数值型变量相关性的分析 94
5.2.1 数值型变量相关性的描述 94
5.2.2 数值型变量相关性的统计图形 95
5.2.3 大数据分析案例：餐馆各打分之间、打分与人均消费之间是否具有相关性 96
5.3 大数据分析案例综合：北京市空气质量监测数据的相关性分析 100
5.4 本章涉及的R函数 102
第6章 R的均值检验：单个总体的均值推断及两个总体均值的对比 104
6.1 从大数据分析案例看推断统计 104
6.1.1 美食餐馆食客点评数据分析中的推断统计问题 104
6.1.2 北京市空气质量监测数据分析中的推断统计问题 105
6.2 单个总体的均值推断 106
6.2.1 以PM2.5总体均值推断为例看假设检验基本原理 106
6.2.2 大数据案例分析：估计供暖季北京市PM2.5浓度的总体均值 110
6.3 两个总体均值的对比：基于独立样本的常规t检验 111
6.3.1 两个独立样本均值t检验的原理和R实现 111
6.3.2 深入问题：方差齐性检验和R实现 114
6.3.3 大数据分析案例：两个区域美食餐馆人均消费金额是否存在差异 115
6.4 两个总体均值的对比：置换检验 117
6.4.1 两个独立样本均值差的置换检验原理和R实现 117
6.4.2 大数据分析案例：利用置换检验对比两个区域美食餐馆人均消费金额的总体均值 118
6.5 两个总体的均值对比：自举法检验 118
6.5.1 两个独立样本均值差的自举法检验原理和R实现 118
6.5.2 大数据分析案例：利用自举法对比两个区域美食餐馆人均消费金额的总体均值 120
6.6 两个总体的均值对比：基于配对样本的常规t检验 121
6.6.1 两个配对样本均值t检验的原理和R实现 121
6.6.2 大数据分析案例：两个区域美食餐馆口味评分与就餐环境评分的均值是否存在差异 122
6.7 大数据分析案例综合：北京市空气质量监测数据的均值研究 123
6.8 本章涉及的R函数 125
第7章 R的方差分析：多个总体均值的对比 127
7.1 从大数据分析案例看方差分析 127
7.1.1 美食餐馆食客点评数据分析中的方差分析问题 127
7.1.2 北京市空气质量监测数据分析中的方差分析问题 128
7.2 多个总体均值的对比：单因素方差分析 128
7.2.1 单因素方差分析原理和R实现 128
7.2.2 深入问题：方差齐性检验和多重比较检验 131
7.2.3 大数据分析案例：利用单因素方差分析对比不同主打菜餐馆人均消费金额的
总体均值 131
7.3 多个总体均值的对比：多因素方差分析 135
7.3.1 多因素方差分析原理和R实现 135
7.3.2 大数据分析案例：利用多因素方差分析对比不同主打菜餐馆人均消费金额的
总体均值 137
7.4 大数据分析案例综合：北京市空气质量监测数据的均值研究 140
7.5 本章涉及的R函数 142
第8章 R的线性回归分析：对数值变量影响程度的度量和预测 143
8.1 从数据分析案例看线性回归分析 143
8.1.1 美食餐馆食客点评数据分析中的回归分析问题 143
8.1.2 北京市空气质量监测数据分析中的回归分析问题 143
8.1.3 线性回归分析的一般步骤 143
8.2 建立回归方程 145
8.2.1 线性回归模型和线性回归方程 145
8.2.2 线性回归方程的参数估计和R实现 145
8.2.3 大数据分析案例：建立美食餐馆食客评分的线性回归模型 146
8.3 回归方程的检验 147
8.3.1 回归方程的显著性检验 148
8.3.2 回归系数的显著性检验 149
8.3.3 大数据分析案例：美食餐馆食客评分回归方程的检验 149
8.4 回归方程的应用 152
8.4.1 回归方程拟合效果的度量 152
8.4.2 预测和预测误差 153
8.4.3 大数据分析案例：美食餐馆食客评分回归方程的评价和预测 153
8.5 回归模型的验证 154
8.5.1 回归模型的N折交叉验证法和R实现 155
8.5.2 回归模型的自举法验证和R实现 155
8.5.3 大数据分析案例：美食餐馆食客评分回归模型的验证 156
8.6 虚拟自变量回归和协方差分析 157
8.6.1 虚拟自变量回归 157
8.6.2 协方差分析 159
8.6.3 大数据分析案例：就餐环境对不同区域美食餐馆人均消费的影响 159
8.7 大数据分析案例综合：北京市空气质量监测数据的回归分析研究 162
8.8 本章涉及的R函数 168
第9章 R的Logistic回归分析：对分类变量影响程度的度量和预测 169
9.1 从大数据分析案例看Logistic回归分析 169
9.1.1 人力资源调查数据分析中的Logistic回归分析问题 169
9.1.2 Logistic回归分析的基本建模思路 172
9.2 Logistic回归方程的解读 173
9.2.1 Logistic回归方程的系数 173
9.2.2 Logistic回归方程的检验 174
9.2.3 大数据分析案例：基于人力资源调查数据探讨技术人员离职的原因 176
9.3 Logistic回归方程的应用 179
9.3.1 Logistic回归方程拟合效果的评价 179
9.3.2 大数据分析案例：基于人力资源调查数据预测技术人员离职的可能性 180
9.4 本章涉及的R函数 181
第10章 R的聚类分析：数据分组 182
10.1 从大数据分析案例看聚类分析 182
10.1.1 超市顾客购买行为数据分析中的聚类分析问题 182
10.1.2 北京市空气质量监测数据分析中的聚类分析问题 183
10.1.3 聚类分析的基本思路 183
10.2 K-Means聚类 185
10.2.1 K-Means聚类原理和R实现 185
10.2.2 大数据分析案例：超市顾客购买行为数据分析中的K-Means聚类 187
10.3 分层聚类 191
10.3.1 分层聚类原理和R实现 191
10.3.2 大数据分析案例：超市顾客购买行为数据分析中的分层聚类 192
10.4 大数据分析案例综合：北京市空气质量监测数据的聚类分析研究 195
10.5 本章涉及的R函数 197
第11章 R的线性判别分析：分类预测 198
11.1 从大数据分析案例看判别分析 198
11.1.1 人力资源调查数据分析中的判别分析问题 198
11.1.2 判别分析的数据和基本出发点 199
11.2 距离判别法 199
11.2.1 距离判别的基本思路 199
11.2.2 判别函数的计算和R实现 201
11.2.3 大数据分析案例：利用距离判别预测技术人员离职的可能性 203
11.3 Fisher判别法 205
11.3.1 Fisher判别的基本原理 2