大数据通识教程(微课版)数字文明与数字治理

【导读案例】“数字文明”到底是个什么文明？ 1
1.1　数字劳动推动数字文明　4
1.2　大数据时代　5
1.2.1　天文学——信息爆炸的起源　6
1.2.2　爆发式增长的数据量　7
1.2.3　大数据的定义　9
1.2.4　用3V描述大数据特征　9
1.2.5　广义的大数据　11
1.3　大数据结构类型　12
1.4　大数据的发展　13
1.4.1　硬件性价比提高与软件技术进步　13
1.4.2　云计算的普及　14
1.4.3　大数据作为BI的进化形式　14
1.4.4　从交易数据到交互数据　15
【习题】　16
【导读案例】数字文明如何作答四问？　19
2.1　什么是数字化　21
2.1.1　数字化的概念　21
2.1.2　从历史发展看数字化　23
2.1.3　从技术层面看数字化　25
2.1.4　数字化的意义　26
2.2　数字化转型　26
2.2.1　购物流程的变化　27
2.2.2　信息化与数字化　27
2.2.3　数字化企业解决方案　28
2.3　数字孪生　29
2.3.1　数字孪生的原理　29
2.3.2　数据孪生基本组成　30
2.3.3　数字孪生的研究　31
2.3.4　数字孪生与数字生产线　31
2.4　数字经济　34
2.4.1　数字经济的概念　34
2.4.2　数字经济的要素　35
2.4.3　数字经济的研究　36
【习题】　37 【导读案例】购物网站的推荐系统　40
3.1　大数据思维　43
3.2　转变之一：样本=总体　44
3.2.1　小数据时代的随机采样　45
3.2.2　全数据模式：样本=总体　47
3.3　转变之二：接受数据的混杂性　48
3.3.1　允许不精确　48
3.3.2　大数据简单算法与小数据复杂算法　50
3.3.3　纷繁的数据越多越好　51
3.3.4　混杂性是标准途径　52
3.4　转变之三：数据的相关关系　53
3.4.1　关联物，预测的关键　53
3.4.2　“是什么”，而不是“为什么”　55
3.4.3　通过因果关系了解世界　56
3.4.4　通过相关关系了解世界　57
【习题】　58
【导读案例】准确预测地震　59
4.1　大数据的跨界年度　60
4.1.1　商业动机和驱动力　61
4.1.2　企业的大数据行动　62
4.1.3　数据驱动的企业文化　63
4.2　将信息变成竞争优势　65
4.2.1　数据价格下降而需求上升　66
4.2.2　大数据应用程序兴起　66
4.2.3　企业构建大数据战略　67
4.3　大数据营销　68
4.3.1　像媒体公司一样思考　68
4.3.2　面对新的机遇与挑战　69
4.3.3　自动化营销　70
4.3.4　创建高容量和高价值内容　71
4.3.5　用投资回报率评价营销效果　71
4.4　内容创作与众包　72
【习题】　73
【导读案例】大数据变革公共卫生　76
5.1　大数据与循证医学　78
5.2　大数据带来的医疗新突破　80
5.2.1　量化自我，关注个人健康　80
5.2.2　可穿戴的个人健康设备　81
5.2.3　大数据时代的医疗信息　83
5.2.4　CellMiner，对抗癌症的新工具　84
5.3　医疗信息数字化　86
5.4　搜索：超级大数据的*佳伙伴　88
5.5　数据决策的崛起　89
5.5.1　数据辅助诊断　90
5.5.2　你考虑过……了吗　90
5.5.3　大数据分析使数据决策崛起　92
【习题】　92
【导读案例】城市大脑是这样炼成的　95
6.1　智慧交通驶入快车道　98
6.1.1　导航和感知更精准　99
6.1.2　机场管理更精细　99
6.1.3　数字航道动态监测　100
6.1.4　创新驱动赋能增效　101
6.2　城市大脑建设　102
6.2.1　对城市大脑的认识　102
6.2.2　城市大脑产生根源和背景　103
6.2.3　城市大脑的未来目标　104
6.2.4　城市大脑的重要性　105
6.3　大数据——智慧城市的“核心”　105
6.3.1　城市大脑与数据可视化　106
6.3.2　城市大脑与数据共享　106
6.3.3　大数据驱动城市大脑　106
6.4　城市大数据治理　107
6.4.1　数据治理内容　107
6.4.2　数据治理类型　108
6.4.3　元数据管理　110
6.4.4　数据治理方案　111
6.4.5　数据治理模型　112
6.4.6　数据治理工具　113
【习题】　113 【导读案例】南丁格尔“极区图”　116
7.1　数据与可视化　118
7.1.1　数据的可变性　118
7.1.2　数据的不确定性　120
7.1.3　数据的背景信息　120
7.1.4　打造*好的可视化效果　122
7.2　数据与图形　122
7.2.1　数据与走势　123
7.2.2　视觉信息的科学解释　124
7.3　视觉分析　125
7.3.1　热点图　125
7.3.2　时间序列图　126
7.3.3　网络图　126
7.3.4　空间数据制图　127
7.4　实时可视化　128
7.5　数据可视化的运用　128
【作　业】　130
【导读案例】葡萄酒的品质　133
8.1　什么是预测分析　137
8.1　1 预测分析的作用　138
8.1.2　数据具有内在预测性　140
8.1.3　定量分析与定性分析　140
8.2　统计分析　141
8.2.1　A/B测试　141
8.2.2　相关性分析　142
8.2.3　回归性分析　143
8.3　数据挖掘　144
8.4　大数据分析生命周期　145
8.4.1　商业案例评估　145
8.4.2　数据标识　146
8.4.3　数据获取与过滤　147
8.4.4　数据提取　147
8.4.5　数据验证与清理　148
8.4.6　数据聚合与表示　149
8.4.7　数据分析　150
8.4.8　数据可视化　150
8.4.9　分析结果的使用　151
【习题】　151
【导读案例】什么是开源？　154
9.1　开源技术商业支援　156
9.2　Hadoop基础　157
9.2.1　Hadoop的由来　157
9.2.2　Hadoop的优势　158
9.3　分布式处理　159
9.3.1　分布式系统　159
9.3.2　分布式文件系统　160
9.3.3　并行与分布式数据处理　160
9.3.4　分布式存储　161
9.4　NoSQL数据库　161
9.4.1　主要特征　162
9.4.2　键-值存储　164
9.4.3　文档存储　165
9.4.4　列簇存储　166
9.4.5　图存储　167
9.4.6　与RDBMS的主要区别　168
9.5　NewSQL数据库　169
【习题】　170 【导读案例】数字经济时代云发展趋势　173
10.1　与数字化相关的技术　175
10.2　云计算概述　177
10.2.1　云计算定义　177
10.2.2　云基础设施　179
10.3　计算虚拟化　180
10.4　网络虚拟化　181
10.4.1　网卡虚拟化　181
10.4.2　虚拟交换机　182
10.4.3　接入层虚拟化　182
10.4.4　覆盖网络虚拟化　183
10.4.5　软件定义网络（SDN）　183
10.5　存储虚拟化　184
10.6　云计算服务形式　185
10.6.1　云计算的服务层次　185
10.6.2　大数据与云相辅相成　186
10.6.3　云的挑战　187
10.7　大数据与云计算　187
【习题】　188
【导读案例】大数据与人工智能的关系　191
11.1　人工智能概述　192
11.2　机器学习基础　193
11.2.1　机器学习的定义　194
11.2.2　基本结构　195
11.2.3　研究领域　196
11.3　机器学习分类　196
11.3.1　基于学习策略分类　196
11.3.2　基于知识表示形式分类　197
11.3.3　按应用领域分类　198
11.3.4　按学习形式分类　198
11.4　神经网络与深度学习　201
11.4.1　人工神经网络的特征　201
11.4.2　深度学习的意义　202
11.4.3　深度学习的方法　203
11.4.4　深度学习的实现　205
11.5　机器学习与深度学习　207
【习题】　208 【导读案例】中国《个人信息保护法》施行　211
12.1　大数据的安全问题　213
12.1.1　采集汇聚安全　213
12.1.2　存储处理安全　214
12.1.3　共享使用安全　215
12.2　大数据的管理维度　216
12.3　大数据的安全体系　216
12.3.1　安全技术体系　217
12.3.2　大数据安全治理　218
12.3.3　大数据安全测评　218
12.3.4　大数据安全运维　218
12.3.5　以数据为中心的安全要素　219
12.4　大数据伦理与法规　220
12.4.1　大数据的伦理问题　220
12.4.2　大数据的伦理规则　221
12.4.3　数据安全法施行　222
【习题】　223
【导读案例】得数据者得天下　226
13.1　计算思维　229
13.1.1　计算思维的概念　229
13.1.2　计算思维的作用　230
13.1.3　计算思维的特点　232
13.2　数据工程师的社会责任　233
13.2.1　职业化和道德责任　233
13.2.2　ACM职业道德责任　234
13.2.3　软件工程师道德基础　235
13.3　数据科学与职业技能　236
13.3.1　数据科学重要技能　236
13.3.2　重要数据科学技能　237
13.3.3　技能因职业角色而异　238
13.3.4　大数据生态系统关键角色　240
【习题】　241
【导读案例】加快建立完善数据产权制度　244
14.1　连接开放数据　245
14.1.1　LOD运动　246
14.1.2　利用开放数据的创业型公司　247
14.2　大数据资产的崛起　248
14.2.1　数据市场的兴起　248
14.2.2　不同的商业模式　248
14.2.3　将原创数据变为增值数据　249
14.2.4　大数据催生新的应用程序　249
14.2.5　在大数据“空白”中提取*大价值　250
14.3　大数据发展趋势　250
14.3.1　信息领域的突破性发展　251
14.3.2　未来发展趋势的专家预测　252
14.4　大数据技术展望　254
14.4.1　数据管理仍然很难　254
14.4.2　数据孤岛继续激增　254
14.4.3　流媒体分析的突破　255
14.4.4　技术发展带来技能转变　255
14.4.5　“快速数据”和“可操作数据”　256
14.4.6　预测分析将数据转化为预测　256
【习题】　257
【导读案例】“数字文明”到底是个什么文明？　1
1.1　数字劳动推动数字文明　4
1.2　大数据时代　5
1.2.1　天文学——信息爆炸的起源　6
1.2.2　爆发式增长的数据量　7
1.2.3　大数据的定义　9
1.2.4　用3V描述大数据特征　9
1.2.5　广义的大数据　11
1.3　大数据结构类型　12
1.4　大数据的发展　13
1.4.1　硬件性价比提高与软件技术进步　13
1.4.2　云计算的普及　14
1.4.3　大数据作为BI的进化形式　14
1.4.4　从交易数据到交互数据　15
【习题】　16
【导读案例】数字文明如何作答四问？　19
2.1　什么是数字化　21
2.1.1　数字化的概念　21
2.1.2　从历史发展看数字化　23
2.1.3　从技术层面看数字化　25
2.1.4　数字化的意义　26
2.2　数字化转型　26
2.2.1　购物流程的变化　27
2.2.2　信息化与数字化　27
2.2.3　数字化企业解决方案　28
2.3　数字孪生　29
2.3.1　数字孪生的原理　29
2.3.2　数据孪生基本组成　30
2.3.3　数字孪生的研究　31
2.3.4　数字孪生与数字生产线　31
2.4　数字经济　34
2.4.1　数字经济的概念　34
2.4.2　数字经济的要素　35
2.4.3　数字经济的研究　36
【习题】　37 【导读案例】购物网站的推荐系统　40
3.1　大数据思维　43
3.2　转变之一：样本=总体　44
3.2.1　小数据时代的随机采样　45
3.2.2　全数据模式：样本=总体　47
3.3　转变之二：接受数据的混杂性　48
3.3.1　允许不精确　48
3.3.2　大数据简单算法与小数据复杂算法　50
3.3.3　纷繁的数据越多越好　51
3.3.4　混杂性是标准途径　52
3.4　转变之三：数据的相关关系　53
3.4.1　关联物，预测的关键　53
3.4.2　“是什么”，而不是“为什么”　55
3.4.3　通过因果关系了解世界　56
3.4.4　通过相关关系了解世界　57
【习题】　58
【导读案例】准确预测地震　59
4.1　大数据的跨界年度　60
4.1.1　商业动机和驱动力　61
4.1.2　企业的大数据行动　62
4.1.3　数据驱动的企业文化　63
4.2　将信息变成竞争优势　65
4.2.1　数据价格下降而需求上升　66
4.2.2　大数据应用程序兴起　66
4.2.3　企业构建大数据战略　67
4.3　大数据营销　68
4.3.1　像媒体公司一样思考　68
4.3.2　面对新的机遇与挑战　69
4.3.3　自动化营销　70
4.3.4　创建高容量和高价值内容　71
4.3.5　用投资回报率评价营销效果　71
4.4　内容创作与众包　72
【习题】　73
【导读案例】大数据变革公共卫生　76
5.1　大数据与循证医学　78
5.2　大数据带来的医疗新突破　80
5.2.1　量化自我，关注个人健康　80
5.2.2　可穿戴的个人健康设备　81
5.2.3　大数据时代的医疗信息　83
5.2.4　CellMiner，对抗癌症的新工具　84
5.3　医疗信息数字化　86
5.4　搜索：超级大数据的*佳伙伴　88
5.5　数据决策的崛起　89
5.5.1　数据辅助诊断　90
5.5.2　你考虑过……了吗　90
5.5.3　大数据分析使数据决策崛起　92
【习题】　92
【导读案例】城市大脑是这样炼成的　95
6.1　智慧交通驶入快车道　98
6.1.1　导航和感知更精准　99
6.1.2　机场管理更精细　99
6.1.3　数字航道动态监测　100
6.1.4　创新驱动赋能增效　101
6.2　城市大脑建设　102
6.2.1　对城市大脑的认识　102
6.2.2　城市大脑产生根源和背景　103
6.2.3　城市大脑的未来目标　104
6.2.4　城市大脑的重要性　105
6.3　大数据——智慧城市的“核心”　105
6.3.1　城市大脑与数据可视化　106
6.3.2　城市大脑与数据共享　106
6.3.3　大数据驱动城市大脑　106
6.4　城市大数据治理　107
6.4.1　数据治理内容　107
6.4.2　数据治理类型　108
6.4.3　元数据管理　110
6.4.4　数据治理方案　111
6.4.5　数据治理模型　112
6.4.6　数据治理工具　113
【习题】　113 【导读案例】南丁格尔“极区图”　116
7.1　数据与可视化　118
7.1.1　数据的可变性　118
7.1.2　数据的不确定性　120
7.1.3　数据的背景信息　120
7.1.4　打造*好的可视化效果　122
7.2　数据与图形　122
7.2.1　数据与走势　123
7.2.2　视觉信息的科学解释　124
7.3　视觉分析　125
7.3.1　热点图　125
7.3.2　时间序列图　126
7.3.3　网络图　126
7.3.4　空间数据制图　127
7.4　实时可视化　128
7.5　数据可视化的运用　128
【作　业】　130
【导读案例】葡萄酒的品质　133
8.1　什么是预测分析　137
8.1　1 预测分析的作用　138
8.1.2　数据具有内在预测性　140
8.1.3　定量分析与定性分析　140
8.2　统计分析　141
8.2.1　A/B测试　141
8.2.2　相关性分析　142
8.2.3　回归性分析　143
8.3　数据挖掘　144
8.4　大数据分析生命周期　145
8.4.1　商业案例评估　145
8.4.2　数据标识　146
8.4.3　数据获取与过滤　147
8.4.4　数据提取　147
8.4.5　数据验证与清理　148
8.4.6　数据聚合与表示　149
8.4.7　数据分析　150
8.4.8　数据可视化　150
8.4.9　分析结果的使用　151
【习题】　151
【导读案例】什么是开源？　154
9.1　开源技术商业支援　156
9.2　Hadoop基础　157
9.2.1　Hadoop的由来　157
9.2.2　Hadoop的优势　158
9.3　分布式处理　159
9.3.1　分布式系统　159
9.3.2　分布式文件系统　160
9.3.3　并行与分布式数据处理　160
9.3.4　分布式存储　161
9.4　NoSQL数据库　161
9.4.1　主要特征　162
9.4.2　键-值存储　164
9.4.3　文档存储　165
9.4.4　列簇存储　166
9.4.5　图存储　167
9.4.6　与RDBMS的主要区别　168
9.5　NewSQL数据库　169
【习题】　170 【导读案例】数字经济时代云发展趋势　173
10.1　与数字化相关的技术　175
10.2　云计算概述　177
10.2.1　云计算定义　177
10.2.2　云基础设施　179
10.3　计算虚拟化　180
10.4　网络虚拟化　181
10.4.1　网卡虚拟化　181
10.4.2　虚拟交换机　182
10.4.3　接入层虚拟化　182
10.4.4　覆盖网络虚拟化　183
10.4.5　软件定义网络（SDN）　183
10.5　存储虚拟化　184
10.6　云计算服务形式　185
10.6.1　云计算的服务层次　185
10.6.2　大数据与云相辅相成　186
10.6.3　云的挑战　187
10.7　大数据与云计算　187
【习题】　188
【导读案例】大数据与人工智能的关系　191
11.1　人工智能概述　192
11.2　机器学习基础　193
11.2.1　机器学习的定义　194
11.2.2　基本结构　195
11.2.3　研究领域　196
11.3　机器学习分类　196
11.3.1　基于学习策略分类　196
11.3.2　基于知识表示形式分类　197
11.3.3　按应用领域分类　198
11.3.4　按学习形式分类　198
11.4　神经网络与深度学习　201
11.4.1　人工神经网络的特征　201
11.4.2　深度学习的意义　202
11.4.3　深度学习的方法　203
11.4.4　深度学习的实现　205
11.5　机器学习与深度学习　207
【习题】　208 【导读案例】中国《个人信息保护法》施行　211
12.1　大数据的安全问题　213
12.1.1　采集汇聚安全　213
12.1.2　存储处理安全　214
12.1.3　共享使用安全　215
12.2　大数据的管理维度　216
12.3　大数据的安全体系　216
12.3.1　安全技术体系　217
12.3.2　大数据安全治理　218
12.3.3　大数据安全测评　218
12.3.4　大数据安全运维　218
12.3.5　以数据为中心的安全要素　219
12.4　大数据伦理与法规　220
12.4.1　大数据的伦理问题　220
12.4.2　大数据的伦理规则　221
12.4.3　数据安全法施行　222
【习题】　223
【导读案例】得数据者得天下　226
13.1　计算思维　229
13.1.1　计算思维的概念　229
13.1.2　计算思维的作用　230
13.1.3　计算思维的特点　232
13.2　数据工程师的社会责任　233
13.2.1　职业化和道德责任　233
13.2.2　ACM职业道德责任　234
13.2.3　软件工程师道德基础　235
13.3　数据科学与职业技能　236
13.3.1　数据科学重要技能　236
13.3.2　重要数据科学技能　237
13.3.3　技能因职业角色而异　238
13.3.4　大数据生态系统关键角色　240
【习题】　241
【导读案例】加快建立完善数据产权制度　244
14.1　连接开放数据　245
14.1.1　LOD运动　246
14.1.2　利用开放数据的创业型公司　247
14.2　大数据资产的崛起　248
14.2.1　数据市场的兴起　248
14.2.2　不同的商业模式　248
14.2.3　将原创数据变为增值数据　249
14.2.4　大数据催生新的应用程序　249
14.2.5　在大数据“空白”中提取*大价值　250
14.3　大数据发展趋势　250
14.3.1　信息领域的突破性发展　251
14.3.2　未来发展趋势的专家预测　252
14.4　大数据技术展望　254
14.4.1　数据管理仍然很难　254
14.4.2　数据孤岛继续激增　254
14.4.3　流媒体分析的突破　255
14.4.4　技术发展带来技能转变　255
14.4.5　“快速数据”和“可操作数据”　256
14.4.6　预测分析将数据转化为预测　256
【习题】　257