数据分析与预测算法:基于R语言

目　　录　　Contents
前言
致谢
第1章　R和RStudio入门 1
1.1　为什么是R 1
1.2　R控制台 2
1.3　脚本 2
1.4　RStudio 3
1.4.1　窗格 3
1.4.2　按键绑定 4
1.4.3　编辑脚本时运行命令 5
1.4.4　更改全局选项 7
1.5　安装R包 8
**部分　R语言
第2章　R基础知识 10
2.1　案例研究：美国枪杀人数 10
2.2　非常基础的知识 11
2.2.1　对象 11
2.2.2　工作区 12



2.2.3　函数 13
2.2.4　其他预构建对象 14
2.2.5　变量名 15
2.2.6　保存工作区 15
2.2.7　启发性脚本 15
2.2.8　注释代码 16
2.3　练习 16
2.4　数据类型 17
2.4.1　数据帧 17
2.4.2　检查对象 17
2.4.3　访问器：$ 18
2.4.4　向量：数值型、字符型和
逻辑型 18
2.4.5　因子 19
2.4.6　列表 20
2.4.7　矩阵 21
2.5　练习 22
2.6　向量 23
2.6.1　创建向量 23
2.6.2　命名 24
2.6.3　序列 24
2.6.4　子集 25
2.7　强制转换 25
2.8　练习 26
2.9　排序 27
2.9.1　sort 27
2.9.2　order 27
2.9.3　max和which.max 28
2.9.4　rank 29
2.9.5　注意循环使用 29
2.10　练习 29
2.11　向量运算 30
2.11.1　重新缩放向量 31
2.11.2　两个向量 31
2.12　练习 32
2.13　索引 32
2.13.1　逻辑子集 32
2.13.2　逻辑运算符 33
2.13.3　which 33
2.13.4　match 33
2.13.5　%in% 34
2.14　练习 34
2.15　基本图 35
2.15.1　plot 35
2.15.2　hist 35
2.15.3　boxplot 36
2.15.4　image 36
2.16　练习 36
第3章　编程基础 38
3.1　条件表达式 38
3.2　函数 40
3.3　命名空间 41
3.4　for循环 42
3.5　向量化和泛函 43
3.6　练习 43
第4章　tidyverse 45
4.1　tidy数据 45
4.2　练习 46
4.3　操作数据帧 47
4.3.1　使用mutate添加列 47
4.3.2　使用filter构造子集 48
4.3.3　使用select选择列 48
4.4　练习 48
4.5　管道：%>% 50
4.6　练习 51
4.7　汇总数据 51
4.7.1　summarize 52
4.7.2　pull 53
4.7.3　group_by 54
4.8　数据帧排序 55
4.8.1　嵌套排序 55
4.8.2　top_n 56
4.9　练习 56
4.10　tibble 57
4.10.1　tibble展示效果更好 58
4.10.2　tibble的子集仍是tibble 58
4.10.3　tibble可以有复杂的条目 59
4.10.4　tibble可以分组 59
4.10.5　使用tibble代替data.frame 59
4.11　点运算符 60
4.12　do 60
4.13　purrr包 62
4.14　tidyverse条件 63
4.14.1　case_when 63
4.14.2　between 63
4.15　练习 64
第5章　导入数据 65
5.1　路径和工作目录 66
5.1.1　文件系统 66
5.1.2　相对路径和完整路径 67
5.1.3　工作目录 67
5.1.4　生成路径名 67
5.1.5　使用路径复制文件 68
5.2　readr和readxl包 68
5.2.1　readr 68
5.2.2　readxl 69
5.3　练习 70
5.4　下载文件 70
5.5　R-base导入函数 71
5.6　文本与二进制文件 72
5.7　Unicode与ASCII 72
5.8　用电子表格组织数据 73
5.9　练习 74
第二部分　数据可视化
第6章　数据可视化导论 76
第7章　ggplot2 80
7.1　图的组件 81
7.2　ggplot对象 82
7.3　几何图形 82
7.4　美学映射 83
7.5　图层集合 84
7.6　全局与局部美学映射 85
7.7　尺度 86
7.8　标签和标题 86
7.9　类别的颜色 87
7.10　注释、形状和调整 88
7.11　附加组件包 89
7.12　综合 90
7.13　用qplot快速绘图 91
7.14　绘图网格 91
7.15　练习 92
第8章　可视化数据分布 94
8.1　变量类型 94
8.2　案例研究：描述学生的身高 95
8.3　分布函数 95
8.4　累积分布函数 96
8.5　直方图 97
8.6　平滑密度图 97
8.6.1　解读y轴 100
8.6.2　密度容许分层 100
8.7　练习 101
8.8　正态分布 103
8.9　标准单位 104
8.10　分位数图 105
8.11　百分位数 106
8.12　箱线图 107
8.13　分层法 108
8.14　案例研究：描述学生的
身高（续） 108
8.15　练习 109
8.16　ggplot2几何图形 111
8.16.1　条形图 111
8.16.2　直方图 112
8.16.3　密度图 113
8.16.4　箱线图 113
8.16.5　QQ图 114
8.16.6　图像 114
8.16.7　快速绘图 115
8.17　练习 116
第9章　实践中的数据可视化 118
9.1　案例研究：对贫困的新见解 118
9.2　散点图 120
9.3　分面 121
9.3.1　facet_wrap 123
9.3.2　采用固定尺度以更好地
进行比较 123
9.4　时间序列图 124
9.5　数据转换 127
9.5.1　对数转换 127
9.5.2　使用哪一个底数 128
9.5.3　转换值还是标记尺度 129
9.6　可视化多峰分布 130
9.7　用箱线图和脊线图比较多种分布 130
9.7.1　箱线图 131
9.7.2　脊线图 132
9.7.3　示例：1970年和2010年的
收入分布 134
9.7.4　访问计算变量 139
9.7.5　加权密度 142
9.8　生态谬误和显示数据的重要性 143
9.8.1　逻辑转换 143
9.8.2　显示数据 144
第10章　数据可视化原则 145
10.1　使用视觉线索编码数据 145
10.2　知道什么时候包含0 148
10.3　不要扭曲数量 150
10.4　按有意义的值对类别排序 150
10.5　显示数据 152
10.6　简单的比较 153
10.6.1　使用公共的轴 153
10.6.2　垂直对齐图可以看到
水平变化，水平对齐图
可以看到垂直变化 154
10.6.3　考虑数据转换 155
10.6.4　比较相邻视觉线索 157
10.6.5　使用颜色 157
10.7　考虑色盲 158
10.8　两个变量的图 158
10.8.1　斜率图 158
10.8.2　Bland-Altman图 159
10.9　编码第三个变量 160
10.10　避免拟三维图 161
10.11　避免使用过多有效数字 162
10.12　了解你的读者 163
10.13　练习 164
10.14　案例研究：疫苗和传染病 167
10.15　练习 170
第11章　鲁棒的汇总 171
11.1　离群值 171
11.2　中值 172
11.3　四分位距 172
11.4　Tukey对离群值的定义 173
11.5　绝对中位差 173
11.6　练习 174
11.7　案例研究：学生报告的身高 175
第三部分　R语言统计学
第12章　R语言统计学导论 178
第13章　概率 179
13.1　离散概率 179
13.1.1　相对频率 179
13.1.2　符号 180
13.1.3　概率分布 180
13.2　分类数据的蒙特卡罗模拟 180
13.2.1　设置随机种子 181
13.2.2　有无放回 182
13.3　独立性 182
13.4　条件概率 183
13.5　加法和乘法法则 183
13.5.1　乘法法则 183
13.5.2　独立条件下的乘法法则 184
13.5.3　加法法则 184
13.6　排列组合 184
13.7　示例 188
13.7.1　蒙提·霍尔问题 188
13.7.2　生日问题 189
13.8　无限实验 191
13.9　练习 191
13.10　连续概率 193
13.11　理论连续分布 194
13.11.1　近似理论分布 194
13.11.2　概率密度 195
13.12　连续变量的蒙特卡罗模拟 196
13.13　连续分布 197
13.14　练习 197
第14章　随机变量 199
14.1　生成随机变量 199
14.2　抽样模型 200
14.3　随机变量的概率分布 201
14.4　分布与概率分布 202
14.5　随机变量符号 203
14.6　期望值和标准误差 203
14.7　中心极限定理 205
14.8　平均值统计特性 206
14.9　大数定律 208
14.10　练习 208
14.11　案例研究：大空头 209
14.11.1　利率解释与机会模型 209
14.11.2　大空头 212
14.12　练习 215
第15章　统计推断 216
15.1　民意调查 216
15.2　总体、样本、参数和估计 218
15.2.1　样本平均值 219
15.2.2　参数 220
15.2.3　民意调查与预测 220
15.2.4　估计值的性质：期望值和
标准误差 220
15.3　练习 221
15.4　实践中的中心极限定理 222
15.4.1　蒙特卡罗模拟 224
15.4.2　差值 225
15.4.3　偏差：为什么不进行一次
大规模的民意调查呢 225
15.5　练习 226
15.6　置信区间 227
15.6.1　蒙特卡罗模拟 229
15.6.2　正确的语言 230
15.7　练习 231
15.8　幂 232
15.9　p值 232
15.10　联合检验 233
15.10.1　女士品茶 234
15.10.2　二乘二表 234
15.10.3　卡方检验 235
15.10.4　比值比 236
15.10.5　比值比的置信区间 237
15.10.6　小计数校正 237
15.10.7　样本大，p值小 238
15.11　练习 238
第16章　统计模型 239
16.1　民意调查聚合器 240
16.1.1　民意调查数据 242
16.1.2　民意调查机构偏差 243
16.2　数据驱动模型 244
16.3　练习 245
16.4　贝叶斯统计 248
16.5　贝叶斯定理模拟 249
16.6　层次模型 251
16.7　练习 253
16.8　案例研究：选举预测 255
16.8.1　贝叶斯方法 255
16.8.2　一般偏差 256
16.8.3　模型的数学表示 256
16.8.4　预测选举团 259
16.8.5　预测 263
16.9　练习 264
16.10　t分布 266
第17章　回归 268
17.1　案例研究：身高是遗传的吗 268
17.2　相关系数 269
17.2.1　样本相关系数是一个
随机变量 271
17.2.2　相关系数并不总是有用 272
17.3　条件期望 272
17.4　回归线 274
17.4.1　回归提高精度 275
17.4.2　二元正态分布（高级） 276
17.4.3　可释方差 278
17.4.4　警告：有两条回归线 278
17.5　练习 279
第18章　线性模型 280
18.1　案例研究：《点球成金》 280
18.1.1　棒球统计学 281
18.1.2　棒球基础知识 282
18.1.3　投球上垒无奖 283
18.1.4　投球上垒还是盗垒 284
18.1.5　应用于棒球统计的回归 285
18.2　混杂因素 287
18.2.1　通过分层理解混杂因素 288
18.2.2　多元回归 291
18.3　*小二乘估计 291
18.3.1　解释线性模型 292
18.3.2　*小二乘估计 292
18.3.3　lm函数 293
18.3.4　LSE是随机变量 294
18.3.5　预测值是随机变量 295
18.4　练习 296
18.5　tidyverse中的线性回归 297
18.6　练习 301
18.7　案例研究：《点球成金》（续） 302
18.7.1　添加薪水和位置信息 304
18.7.2　选择9名球员 306
18.8　回归谬论 307
18.9　测量误差模型 308
18.10　练习 310
第19章　关联关系并非因果关系 312
19.1　伪相关 312
19.2　离群值 314
19.3　颠倒因果 315
19.4　混杂因素 316
19.4.1　示例：加州大学伯克利分校的
招生 316
19.4.2　混杂解释图形 317
19.4.3　分层后的平均值 318
19.5　辛普森悖论 319
19.6　练习 319
第四部分　数据整理
第20章　数据整理导论 322
第21章　重塑数据 323
21.1　gather函数 323
21.2　spread函数 324
21.3　separate函数 325
21.4　unite函数 327
21.5　练习 328
第22章　连接表 330
22.1　连接 331
22.1.1　左连接 332
22.1.2　右连接 332
22.1.3　内部连接 333
22.1.4　全连接 333
22.1.5　半连接 333
22.1.6　反连接 333
22.2　绑定 334
22.2.1　按列绑定 334
22.2.2　按行绑定 335
22.3　集合运算符 335
22.3.1　intersect函数 335
22.3.2　union函数 335
22.3.3　setdiff函数 336
22.3.4　setequal函数 336
22.4　练习 337
第23章　网页抓取 338
23.1　HTML 339
23.2　rvest包 340
23.3　CSS选择器 342
23.4　JSON 342
23.5　练习 344
第24章　字符串处理 346
24.1　stringr包 347
24.2　案例研究：美国枪杀数据 348
24.3　案例研究：学生报告的身高 349
24.4　定义字符串时如何转义 351
24.5　正则表达式 353
24.5.1　字符串是正则表达式 353
24.5.2　特殊字符 353
24.5.3　字符类 354
24.5.4　锚点 355
24.5.5　量词 356
24.5.6　空格 357
24.5.7　量词*、?和 357
24.5.8　非检测元素 358
24.5.9　组 358
24.6　使用正则表达式搜索并替换 359
24.7　测试和改进 361
24.8　修剪 364
24.9　更改字母大小写 364
24.10　案例研究：学生报告的
身高（续） 365
24.10.1　extract函数 365
24.10.2　整合 366
24.11　字符串拆分 367
24.12　案例研究：从PDF中提取表 369
24.13　重新编码 372
24.14　练习 373
第25章　解析日期和时间 376
25.1　日期数据类型 376
25.2　lubridate包 377
25.3　练习 380
第26章　文本挖掘 381
26.1　案例研究：特朗普推文 381
26.2　文本作为数据 383
26.3　情感分析 388
26.4　练习 392
第五部分　机器学习
第27章　机器学习导论 394
27.1　概念 394
27.2　示例 396
27.3　练习 397
27.4　评价标准 397
27.4.1　训练集和测试集 398
27.4.2　总体准确度 398
27.4.3　混淆矩阵 400
27.4.4　灵敏度和特异性 401
27.4.5　平衡准确度和评分 402
27.4.6　类别主导优势在实践中的
重要性 404
27.4.7　ROC和精度-召回率曲线 404
27.4.8　损失函数 406
27.5　练习 407
27.6　条件概率和期望 407
27.6.1　条件概率 408
27.6.2　条件期望 409
27.6.3　条件期望使平方损失
函数*小 409
27.7　练习 410
27.8　案例研究：是2还是7 410
第28章　平滑化 413
28.1　箱平滑化 414
28.2　核函数 416
28.3　局部加权回归 418
28.3.1　抛物线拟合 421
28.3.2　注意默认平滑化参数 422
28.4　平滑化和机器学习的联系 423
28.5　练习 423
第29章　交叉验证 425
29.1　k*近邻法的动机 425
29.1.1　过度训练 427
29.1.2　过度平滑化 428
29.1.3　挑选kNN中的k 429
29.2　交叉验证的数学描述 430
29.3　K折交叉验证 431
29.4　练习 433
29.5　自举法 434
29.6　练习 436
第30章　caret包 438
30.1　caret的train函数 438
30.2　执行交叉验证 439
30.3　示例：使用局部加权回归
进行拟合 441
第31章　算法示例 443
31.1　线性回归 443
31.2　练习 445
31.3　逻辑回归 446
31.3.1　广义线性模型 448
31.3.2　有不止一个预测因素的
逻辑回归 450
31.4　练习 451
31.5　k*近邻法 451
31.6　练习 452
31.7　生成模型 453
31.7.1　朴素贝叶斯模型 453
31.7.2　控制类别主导优势 454
31.7.3　二次判别分析 455
31.7.4　线性判别分析 458
31.7.5　与距离的联系 458
31.8　案例研究：类别的数量大于3 459
31.9　练习 461
31.10　分类回归树 462
31.10.1　维数灾难 462
31.10.2　CART动机 463
31.10.3　回归树 465
31.10.4　分类树 469
31.11　随机森林 470
31.12　练习 474
第32章　机器学习实践 476
32.1　预处理 477
32.2　k*近邻法和随机森林 478
32.3　变量重要性 480
32.4　视觉评价 480
32.5　集成模型 481
32.6　练习 481
第33章　大型数据集 483
33.1　矩阵代数 483
33.1.1　符号 484
33.1.2　将向量转化为矩阵 486
33.1.3　行汇总和列汇总 487
33.1.4　apply 487
33.1.5　根据汇总量对列进行过滤 488
33.1.6　矩阵索引 489
33.1.7　数据的二值化 490
33.1.8　矩阵的向量化 490
33.1.9　矩阵代数运算 490
33.2　练习 491
33.3　距离 491
33.3.1　欧氏距离 491
33.3.2　高维空间中的距离 492
33.3.3　欧氏距离举例 492
33.3.4　预测因素空间 494
33.3.5　预测因素之间的距离 494
33.4　练习 494
33.5　维数缩减 495
33.5.1　距离的保持 495
33.5.2　线性变换（进阶） 497
33.5.3　正交变换（进阶） 498
33.5.4　主成分分析 499
33.5.5　鸢尾花示例 501
33.5.6　MNIST 示例 503
33.6　练习 505
33.7　推荐系统 505
33.7.1　movielens 数据 505
33.7.2　推荐系统是一个机器学习
挑战 507
33.7.3　损失函数 507
33.7.4　**个模型 508
33.7.5　电影效应建模 508
33.7.6　用户效应 509
33.8　练习 510
33.9　正则化 511
33.9.1　动机 511
33.9.2　补偿*小二乘法 513
33.9.3　惩罚项的选择 515
33.10　练习 517
33.11　矩阵分解 518
33.11.1　因子分析 520
33.11.2　连接SVD和PCA 523
33.12　练习 525
第34章　聚类 529
34.1　分层聚类 530
34.2　k均值聚类 531
34.3　热点图 531
34.4　特征过滤 532
34.5　练习 532
第六部分　生产力工具
第35章　生产力工具导论 534
第36章　使用UNIX进行组织 536
36.1　命名约定 536
36.2　终端 537
36.3　文件系统 537
36.3.1　目录和子目录 538
36.3.2　主目录 538
36.3.3　工作目录 540
36.3.4　路径 540
36.4　UNIX命令 541
36.4.1　ls：列出目录内容 541
36.4.2　mkdir和rmdir：目录的
创建和删除 541
36.4.3　cd：通过更改目录来
浏览文件系统 542
36.5　示例 543
36.6　其他UNIX命令 545
36.6.1　mv：移动文件 545
36.6.2　cp：复制文件 545
36.6.3　rm：移除文件 546
36.6.4　less：查看文件 546
36.7　为数据科学项目做准备 546
36.8　UNIX的进阶内容 547
36.8.1　参数 547
36.8.2　获取帮助 548
36.8.3　管道 548
36.8.4　通配符 549
36.8.5　环境变量 549
36.8.6　框架 550
36.8.7　可执行文件 550
36.8.8　权限和文件类型 551
36.8.9　应该掌握的命令 551
36.8.10　R中的文件管理 551
第37章　Git和GitHub 552
37.1　为什么要使用Git和GitHub 552
37.2　GitHub账户 553
37.3　GitHub库 554
37.4　Git概述 556
37.5　初始化Git目录 559
37.6　在RStudio中使用Git和
GitHub 561
第38章　使用RStudio和R markdown的
可复现项目 565
38.1　RStudio项目 565
38.2　R markdown 569
38.2.1　头文件 570
38.2.2　R代码块 570
38.2.3　全局选项 571
38.2.4　knitr 571
38.2.5　更多有关R markdown的
内容 572
38.3　组织数据科学项目 572
38.3.1　在UNIX中创建目录 572
38.3.2　创建RStudio项目 573
38.3.3　编辑R脚本 574
38.3.4　用UNIX创建更多的目录 575
38.3.5　添加README文件 575
38.3.6　初始化Git目录 575
38.3.7　用RStudio进行文件的添加、
提交和推送 576