大数据导论

项目1大数据与大数据时代1
任务1.1进入大数据时代1
【导读案例】 准确预测地震1
【任务描述】2
【知识准备】 进入大数据时代3
1.1.1天文学——信息爆炸的起源3
1.1.2大数据的发展7
1.1.3重新认识数据9
1.1.4数据集与数据分析10
【作业】14
【实训操作】15
任务1.2熟悉大数据的定义19
【导读案例】 得数据者得天下19
【任务描述】21
【知识准备】 定义大数据21
1.2.1大数据的定义21
1.2.2大数据的3V和5V特征22
1.2.3广义的大数据24
1.2.4大数据的结构类型25
【作业】26
【实训操作】27
项目2大数据时代思维变革31
任务2.1理解思维转变之一：样本=总体31
【导读案例】 亚马逊推荐系统31
【任务描述】33
【知识准备】 分析更多数据而不再是只依赖于随机采样33
2.1.1小数据时代的随机采样34
2.1.2大数据与乔布斯的癌症治疗37
2.1.3全数据模式：样本=总体38
【作业】39
【实训操作】40
任务2.2理解思维转变之二：接受数据的混杂性42
【导读案例】 数据驱动≠大数据42
【任务描述】44
【知识准备】 不再热衷于追求精确度44
2.2.1允许不精确45
2.2.2大数据的简单算法与小数据的复杂算法47
2.2.3纷繁的数据越多越好48
2.2.4混杂性是标准途径49
2.2.5新的数据库设计50
2.2.6 5%的数字数据与95%的非结构化数据51
【作业】52
【实训操作】54
任务2.3理解思维转变之三：数据的相关关系55
【导读案例】 美国百亿美元望远镜主镜安装完毕55
【任务描述】58
【知识准备】 不再热衷于寻找因果关系58
2.3.1关联物，预测的关键58
2.3.2“是什么”，而不是“为什么”61
2.3.3通过因果关系了解世界62
2.3.4通过相关关系了解世界63
【作业】64
【实训操作】65
项目3大数据促进行业发展67
任务3.1理解大数据促进医疗与健康67
【导读案例】 大数据变革公共卫生67
【任务描述】69
【知识准备】 大数据促进医疗与健康69
3.1.1大数据促进循证医学发展69
3.1.2大数据带来医疗保健新突破71
3.1.3医疗信息数字化76
3.1.4超级大数据的佳伙伴——搜索78
3.1.5数据决策的成功崛起79
【作业】82
【实训操作】83
任务3.2理解大数据激发创造力84
【导读案例】 脸书的设计决策84
【任务描述】86
【知识准备】 大数据激发创造力87
3.2.1大数据帮助改善设计87
3.2.2大数据操作回路90
3.2.3大数据资产的崛起92
【作业】93
【实训操作】95
项目4大数据方法的驱动力96
任务4.1理解采用大数据的商业动机96
【导读案例】 大数据企业的缩影——谷歌（Google）96
【任务描述】97
【知识准备】 将数据变成竞争优势98
4.1.1大数据的跨界年度98
4.1.2谷歌的大数据行动99
4.1.3亚马逊的大数据行动100
4.1.4将信息变成一种竞争优势102
4.1.5市场动态105
4.1.6业务架构106
4.1.7业务流程管理108
【作业】109
【实训操作】110
任务4.2理解大数据规划考虑111
【导读案例】 Google搜索算法告诉你，如何将一个人变成傻瓜111
【任务描述】112
【知识准备】 大数据的规划考虑112
4.2.1信息与通信技术113
4.2.2万物互联网114
4.2.3数据获取与数据来源114
4.2.4不同的性能挑战116
4.2.5不同的管理需求116
【作业】117
【实训操作】118
任务4.3熟悉大数据商务智能120
【导读案例】 微信支付新广告，讲了一个支付之外的故事120
【任务描述】123
【知识准备】 熟悉大数据商务智能123
4.3.1 OLTP与OLAP123
4.3.2抽取、转换和加载技术124
4.3.3数据仓库与数据集市124
4.3.4传统商务智能125
4.3.5大数据商务智能125
4.3.6大数据营销126
【作业】132
【实训操作】133
项目5大数据存储技术136
任务5.1熟悉大数据存储概念136
【导读案例】 2018未来交通峰会召开，高德地图升级易行平台136
【任务描述】139
【知识准备】 大数据存储的主要概念139
5.1.1数据清理139
5.1.2集群139
5.1.3文件系统和分布式文件系统140
5.1.4分片与复制143
5.1.5 CAP定理149
5.1.6 ACID设计原则150
5.1.7 BASE设计原理153
【作业】155
【实训操作】157
任务5.2了解大数据存储技术159
【导读案例】 基础领域突破非一日之功，是数十年耕耘159
【任务描述】162
【知识准备】 大数据存储的核心技术162
5.2.1 RDBMS数据库163
5.2.2 NoSQL数据