大数据及人工智能产教融合系列丛书大数据时代下的统计学(第2版)

目 录

第1章 大数据时代下的统计学 1

1.1　统计学——天使还是恶魔 2

【知识点】统计学的定义 2

1.2　概率——上帝的指引 3

【案例1】硬币的指引 3

【案例2】赌徒的错觉 4

【知识点1】随机性 5

【知识点2】概率 5

1.3　小概率事件≠必然不会发生的事件 7

【案例】挑战者号航天飞机失事 7

【知识点】“必然会发生”的事件和“必然不会发生”的事件 7

1.4　你真的了解数据吗？ 8

【案例】淘宝的客户评价体系 9

【知识点】数据的类型 10

1.5　数据来自哪里？ 11

【案例】大数据，大偏差——谷歌的流感预测模型真的靠谱吗？ 12

【知识点1】二手数据 13

【知识点2】相关关系和因果关系 13

第2章 样本魅影 15

2.1　样本——窥一斑而见全豹，观滴水而知沧海 16

【案例1】客户满意度调查 16

【案例2】救护车垄断业务调查 17

【知识点】随机样本、方便样本和自愿回应样本 18

2.2　抽样——尝一勺锅里的靓汤 20

【案例1】红豆和绿豆 20

【案例2】“捉放法”估算鱼苗成活率 21

【案例3】被解雇的市场调研部员工 22

【知识点1】简单随机抽样 23

【知识点2】抽样中存在的错误风险 24

【知识点3】访问员 25

2.3　不回应误差——沉默不是金 26

【案例】“不回应”的影响有多大 26

【知识点1】不回应 27

【知识点2】如何降低不回应率 27

2.4　措辞的艺术——僧推/敲月下门 29

【案例】几字之差对民众支持率的影响 29

【知识点1】响应误差 30

【知识点2】有效性和可靠性 30

2.5　大数据时代，当“样本”已成往事 32

【案例】Farecast，美国创业梦 32

【知识点】大数据的4V特征 33

第3章 描述数据 36

3.1　均值——可能会说谎的天平 37

【案例1】中关村创业者平均年龄39岁 37

【案例2】令人“啼笑皆非”的统计局数据 38

【知识点】均值计算 38

3.2　寻找中位数 39

【案例1】腾讯笔试题：大数据量寻找中位数 39

【案例2】淘宝卖家评分体系 40

【知识点1】求取中位数 42

【知识点2】四分位数 42

3.3　标准差、标准误，傻傻分不清楚 45

【案例1】均值-方差证券资产组合理论 45

【案例2】语文成绩调研 45

【知识点1】标准差 46

【知识点2】标准误 47

3.4　数据可视化——“云想衣裳花想容” 49

【知识点1】什么是数据可视化？ 50

【知识点2】数据可视化的主要应用 50

【知识点3】数据可视化的工具 51

第4章 正态“女神” 53

4.1　期望——量化你的预期 54

【案例1】掷骰子和伯努利试验 54

【案例2】赌场就是概率场 55

【知识点1】概率分布 56

【知识点2】期望 57

【知识点3】方差 59

4.2　大数定律——为什么十赌九输 60

【案例1】澳门风云 60

【案例2】谁会是被骗的人 61

【知识点】大数定律 62

4.3　正态分布——大道至简，大美天成 63

【案例】高尔顿钉板 63

【知识点】正态分布 64

4.4　中心极限定理 66

【案例】肯德基和麦当劳的博弈 66

【知识点】中心极限定理 67

第5章 统计推断 70

5.1　点估计——统计学家比间谍干得漂亮 71

【案例1】第二次世界大战中的德军坦克数 71

【案例2】首家新鲜咖啡速递服务企业 72

【知识点1】样本统计量和总体参数 73

【知识点2】点估计 74

5.2　置信区间——责善切戒尽言 75

【案例】美国盖洛普公司的民意调查 75

【知识点1】置信水平 76

【知识点2】置信区间 76

5.3　两类错误：有罪被判无罪和无罪被判有罪哪个更严重 78

【案例1】法律中的人文精神 78

【案例2】抗击埃博拉要避免两类错误 79

【知识点1】零假设和备择假设 80

【知识点2】两类错误 81

5.4　假设检验——“凑巧”可以拒绝吗？ 82

【案例1】奶茶情缘 82

【案例2】咖啡新鲜吗？ 84

【知识点1】显著性水平 85

【知识点2】p值 85

【知识点3】统计显著 86

【知识点4】统计显著对比实际显著 86

【知识点5】假设检验对比置信区间 87

【知识点6】单侧检验对比双侧检验 87

5.5　p 值——打开“潘多拉魔盒”的钥匙 89

【案例】p值变了，结果就变了 90

【知识点1】p值的历史和思想 91

【知识点2】p值误用 92

第6章 变量间的关系 94

6.1　卡方分析——细腻的眼神里岂容得半粒沙 94

【案例1】仙道迟到事件发生率分析 94

【案例2】性别和文化程度是相互独立的吗？ 95

【知识点1】卡方分布 96

【知识点2】卡方检验 97

6.2　相关性分析——早起的鸟儿有虫吃 100

【案例1】早起的鸟儿有虫吃 100

【案例2】化妆品销售额与广告费的关系分析 101

【知识点1】相关关系 102

【知识点2】相关分析 103

【知识点3】相关表、相关图和相关系数 104

【知识点4】t统计量 105

6.3　ANOVA——地域，我们没有什么不同 105

【案例】“地域歧视”问题 105

【知识点1】方差分析 106

【知识点2】方差分析统计模型 107

【知识点3】离差平方和及其分解 109

【知识点4】均方 110

【知识点5】F统计量 111

【知识点6】方差分析表 112

6.4　回归分析——对不起，其实我也想长高 116

【案例1】子女身高的遗传发现 116

【案例2】身高的地区差异分析 117

【知识点1】回归分析 118

【知识点2】随机误差项 119

【知识点3】*小二乘法 119

【知识点4】回归分析T检验 121

【知识点5】回归分析F检验 122

【知识点6】拟合优度 123

第7章 统计杂谈 124

7.1　为什么对回归情有独钟 124

【回归和电影】 126

【回归和手游】 128

7.2　调查问卷中的分类变量 132

【疼痛】 133

【Rank-Invariant】 135

【Svensson Method】 135

【工作环境和员工满意度】 137

7.3　条件概率 139

【生男生女的问题】 140

【门后的世界：到底是谁错了】 141

7.4　极大似然估计——看起来*像 144

【白狐，iPhone 6 Plus和房价】 144

7.5　统计软件 146

【名门闺秀SAS】 147

【国民初恋SPSS】 148

【小家碧玉Stata，Minitab，Excel】 148

【清新萝莉R】 150

7.6　贝叶斯 151

【起源】 152

【核心思想】 153

【自拍杆和蓝牙耳机】 155

7.7　来自星星的统计陷阱 157

【问卷调查的潜在陷阱】 157

【王老吉状告加多宝】 158

第8章 大数据，在水一方 161

8.1　洛阳纸贵——大数据思维 161

【案例1】罩杯和“败家”程度 166

【案例2】外滩踩踏事件 168

【案例3】大数据和途牛网 170

8.2　大数据驱动运营 171

【案例】DataEye，数据驱动手游运营 176

8.3　商业智能——决策者的锦囊 178

【案例】广告业的商业智能 179

8.4　市场智能——商业智能的衍生智慧 180

8.5　消费智能——当数据成为一种服务 183