数据科学概论――从概念到应用

目录
第1章 数据与信息概述 1
1．1 数据的概念、特征和作用 1
1．1．1 数据的概念 1
1．1．2 数据的特征 2
1．1．3 数据的作用 3
1．2 数据的尺度与类型 3
1．2．1 定性数据和定量数据 4
1．2．2 离散数据和连续数据 5
1．2．3 结构化数据和非结构化数据 5
1．3 数据的表格化 8
1．3．1 个体数据的表格化 8
1．3．2 批量汇总数据的表格化 9
1．3．3 统计指标 11
1．4 数据的数字化 12
1．4．1 二进制与数字化 12
1．4．2 文本的数字化 13
1．4．3 数字的数字化 15
1．4．4 多媒体的数字化 17
1．4．5 数字化转型与数字化经济 18
1．5 信息与信息熵 19
1．5．1 信息熵：不确定性的度量 19
1．5．2 信息增益：不确定性减少的度量 20
第2章 数据科学概述 22
2．1 数据科学的科学观 22
2．1．1 从科学高度看数据科学 22
2．1．2 通过案例初识数据科学 23
2．2 数据科学概念 25
2．2．1 数据科学产生的重大技术背景 25
2．2．2 数据科学产生的典型应用背景 25
2．2．3 数据科学的定义 27
2．3 历史观察：探讨数据科学的发展历程 27
2．3．1 古代：从结绳记事到阿拉伯数字 27
2．3．2 古典：政治算术和国势学 29
2．3．3 近代：随机现象、概率论与数理统计 29
2．3．4 现代：抽样与推断统计 31
2．3．5 计算机时代：技术革命带来的繁荣 32
2．3．6 大数据时代：奠定数据科学基础 33
2．4 数据世界：探讨数据科学的对象 37
2．4．1 数据世界和数据科学 37
2．4．2 数据世界和数字孪生 38
2．5 DIKW模型：探讨数据科学中的若干基本概念 39
2．5．1 DIKW模型 39
2．5．2 从DIKW模型看数据科学 41
2．6 维恩图：探讨数据科学的学科交叉性 42
2．6．1 文献中的数据科学维恩图 42
2．6．2 数据科学学科交叉性的总结 43
2．7 从数据到模型：探讨数据科学的一般方法 45
2．7．1 反问题的方法 45
2．7．2 数据驱动的方法 46
2．7．3 模型化的方法 47
2．8 数据处理流程：探讨数据科学方法论 53
2．8．1 传统理念下的数据处理方法论 53
2．8．2 计算机时代的数据处理方法论 54
2．8．3 大数据时代的数据处理方法论 56
2．9 三维视角：总览数据科学 58
2．9．1 从三维视角看数据科学 58
2．9．2 理论方法维度 58
2．9．3 处理流程维度 60
2．9．4 应用领域维度 60
第3章 数据科学中的计算机基础 61
3．1 计算机系统概述 61
3．1．1 计算机的发展 62
3．1．2 计算机的种类 62
3．2 计算机硬件 63
3．2．1 计算机硬件的组成 63
3．2．2 计算机硬件的工作原理 64
3．3 计算机软件 65
3．3．1 操作系统 65
3．3．2 计算机语言 66
3．3．3 应用软件 68
3．4 计算机网络 68
3．4．1 局域网、广域网和因特网 69
3．4．2 计算机网络的通信协议 71
3．5 计算机应用的技术模式 72
3．5．1 主机/终端模式 72
3．5．2 客户机/服务器模式 73
3．5．3 浏览器/服务器模式 74
3．5．4 云计算模式 75
3．5．5 对等模式 78
3．6 计算机应用 79
3．6．1 科学计算 79
3．6．2 数据处理与大数据 80
3．6．3 人工智能 81
3．6．4 过程控制 85
第4章 数据科学中的数学与统计学基础 86
4．1 微积分与数据科学应用 87
4．1．1 微积分的产生背景 87
4．1．2 微积分的基本思想方法 88
4．1．3 梯度下降法及数据科学应用示例 90
4．2 线性代数与数据科学应用 93
4．2．1 向量与向量空间及应用示例 93
4．2．2 矩阵与线性变换及应用示例 95
4．2．3 特征值与奇异值及数据科学应用示例 99
4．3 统计学与数据科学应用 103
4．3．1 描述统计要点 104
4．3．2 概率与概率分布要点 107
4．3．3 推断统计和多元统计分析要点 108
4．3．4 贝叶斯思维在数据科学中的应用 109
4．4 集合论与数据科学的应用 113
4．4．1 集合论与罗素悖论 113
4．4．2 粗糙集与数据科学应用示例 115
4．5 图论与数据科学的应用 120
4．5．1 欧拉和哥尼斯堡七桥问题 120
4．5．2 图论的发展沿革 121
4．5．3 图论与数据科学应用示例 122
第5章 数据科学中的SQL基础 125
5．1 SQL概述 125
5．1．1 SQL的优点 125
5．1．2 MySQL和SQL入门 127
5．2 SQL的数据定义和应用 130
5．2．1 SQL数据定义语句 131
5．2．2 SQL数据定义应用 133
5．3 SQL的数据操纵和应用 137
5．3．1 SQL数据操纵语句 137
5．3．2 SQL数据操纵应用 137
5．4 SQL的数据查询 139
5．4．1 SELECT语句的简单应用 139
5．4．2 SELECT语句的进阶应用 145
5．4．3 SELECT语句的其他应用 150
5．5 MySQL的系统管理 151
5．5．1 MySQL的用户管理 151
5．5．2 MySQL的权限管理 152
5．5．3 MySQL的事务管理 153
5．5．4 MySQL的文件存储和日志管理 155
5．5．5 MySQL的客户端数据库管理工具Navicat 158
第6章 数据科学中的Python基础 160
6．1 Python概述 160
6．1．1 Python的特点 160
6．1．2 Python的安装和启动 161
6．1．3 **个Python程序与帮助 162
6．2 Python基础 164
6．2．1 Python的基本数据类型和组织 164
6．2．2 Python的程序结构和流程控制 169
6．2．3 异常处理结构 173
6．3 Python语言进阶 176
6．3．1 面向对象程序设计 176
6．3．2 模块与包 177
6．3．3 Python综合：chaos混沌态 178
6．4 NumPy入门 181
6．4．1 NumPy数组的创建 182
6．4．2 NumPy数组的访问 185
6．4．3 NumPy数组的计算 186
6．5 Pandas入门 190
6．5．1 Pandas的数据组织 191
6．5．2 Pandas的数据加工处理 194
6．6 Matplotlib入门 196
6．6．1 Matplotlib的基本绘图 196
6．6．2 Matplotlib的参数配置 198
6．6．3 Matplotlib的子图设置 200
6．6．4 Matplotlib的常见统计图 201
6．7 Python综合应用示例：对空气质量监测数据的分析 206
6．7．1 空气质量数据的预处理 207
6．7．2 空气质量数据的基本分析 209
6．7．3 空气质量数据的可视化 212
第7章 数据采集 217
7．1 传统数据采集方式和技术 218
7．1．1 普查和统计报表制度 218
7．1．2 抽样调查和问卷调查 220
7．1．3 观察法和实验法 221
7．1．4 传统数据采集技术 224
7．2 互联网数据采集 226
7．2．1 互联网数据采集概述 227
7．2．2 网站运营数据库和数据分析及采集 227
7．2．3 网页埋点和数据采集 229
7．2．4 开放数据库和数据采集 231
7．2．5 搜索引擎和数据采集 233
7．2．6 网页爬虫和数据采集 236
7．3 物联网数据采集 240
7．3．1 物联网数据采集概述 240
7．3．2 传感器和数据采集 241
7．3．3 卫星通信和数据采集 242
7．3．4 射频识别技术、条形码和数据采集 244
7．4 数据采集与人工智能 245
7．4．1 数据标注与数据采集 246
7．4．2 文本数据采集和挖掘 248
7．4．3 图像数据采集和识别 249
第8章 数据存储与管理 251
8．1 数据文件和数据库系统 251
8．1．1 数据文件 251
8．1．2 数据库系统的概念 254
8．1．3 关系型数据库系统和联机事务处理 255
8．1．4 数据库索引技术 257
8．2 数据仓库系统 260
8．2．1 数据仓库的概念 260
8．2．2 数据仓库系统的基本结构 261
8．2．3 联机分析处理 264
8．2．4 知识发现与商业智能 266
8．3 数据库系统的技术发展 268
8．3．1 并行数据库技术 269
8．3．2 分布式数据库技术 271
8．3．3 NoSQL数据库系统和NewSQL数据库系统 272
8．4 Hadoop大数据系统 275
8．4．1 什么是Hadoop 275
8．4．2 HDFS 276
8．4．3 MapReduce计算框架 279
8．4．4 Hadoop大数据生态系统 280
8．5 Spark大数据系统 286
8．5．1 什么是Spark 287
8．5．2 Spark大数据生态系统 288
8．5．3 Spark大数据平台databricks应用 290
8．6 Flink大数据系统 294
8．6．1 流数据 294
8．6．2 Flink大数据生态系统 297
8．7 数据湖系统 300
8．7．1 什么是数据湖系统 300
8．7．2 数据湖系统的基本功能 301
8．7．3 典型的数据湖系统 302
第9章 数据可视化 305
9．1 数据可视化概述 305
9．1．1 数据可视化起源和发展 305
9．1．2 数据可视化元素 307
9．1．3 数据可视化步骤和原则 308
9．2 数据可视化一般方法 309
9．2．1 电子地图及地图图表 309
9．2．2 高维数据的可视化展现 312
9．3 数据可视化实现和Tableau应用 315
9．3．1 数据可视化实现方式 316
9．3．2 Tableau及其应用 317
9．4 数据可视化的新发展 325
9．4．1 计算机图形学 326
9．4．2 虚拟现实及相关技术 327
9．4．3 增强现实技术 329
第10章 数据分析 332
10．1 数据分析方法、目标及软件工具 332
10．1．1 数据分析方法 332
10．1．2 数据分析目标 337
10．1．3 数据分析软件工具：sklearn简介 338
10．2 数据预处理 340
10．2．1 数据标准化处理 340
10．2．2 缺失值处理 342
10．2．3 特征选择与特征提取 344
10．3 经典聚类算法 347
10．3．1 聚类分析概述 347
10．3．2 层次聚类 349
10．3．3 K-均值聚类 351
10．3．4 DBSCAN聚类 353
10．3．5 聚类分析应用实例 355
10．4 数据预测：经典统计方法 360
10．4．1 数据预测中的一般问题 360
10．4．2 一般线性回归分析 362
10．4．3 二项逻辑回归分析 365
10．4．4 数据预测应用实例 367
10．5 数据预测：经典机器学习方法 370
10．5．1 K-近邻分析 370
10．5．2 决策树算法 373
10．5．3 支持向量机 377
10．5．4 分类算法的对比 379
第11章 数据安全与伦理 384
11．1 数据安全概述 384
11．1．1 什么是数据安全 384
11．1．2 数据安全的分类 385
11．2 数据安全体系 388
11．2．1 数据安全管理系统 388
11．2．2 数据安全法律法规系统 389
11．2．3 数据安全技术系统 391
11．3 传统数据安全技术 393
11．3．1 数据加密 393
11．3．2 数据脱敏 394
11．4 大数据时代的数据安全技术 396
11．4．1 区块链 396
11．4．2 联邦学习 398
11．5 数据伦理和算法伦理 402
11．5．1 数据伦理与案例 403
11．5．2 算法伦理与案例 405
第12章 数据科学的应用与案例 408
12．1 数据科学的商业应用：RFM分析与客户终身价值 408
12．1．1 客户购买行为的RFM分析 408
12．1．2 客户终身价值 409
12．1．3 客户终身价值的计算和应用案例 411
12．1．4 应用启示：理解业务才能做好分析 415
12．2 数据科学的海关应用：抽样方案升级 416
12．2．1 海关稽查案例 417
12．2．2 海关稽查抽样的数据模拟 418
12．2．3 应用启示：数据治理体系 424
12．3 数据科学的企业应用：数字化转型 426
12．3．1 数字化转型概述 426
12．3．2 数字化转型案例 427
12．3．3 应用启示：数字化转型的评估模型 430
附录A MySQL函数列表 432