数据科学导论

第1章绪论

1.1为什么要研究数据科学

1.2基本概念

1.2.1数据

1.2.2大数据

1.2.3数据科学

1.3数据科学项目涉及的人员及其任务

1.4数据科学项目流程

1.4.1确定问题

1.4.2制定目标

1.4.3搜集数据

1.4.4探索性数据分析

1.4.5建立模型

1.4.6性能评价

1.4.7结果展示

1.4.8部署模型

1.5数据科学项目中的数据流

1.6本书内容、采用工具和目标人群

思考题

第2章问题与目标

2.1用户层面的问题与目标

2.2数据科学层面的问题与目标

思考题

第3章数据获取

3.1前提假设与数据方案设计

3.1.1前提假设

3.1.2数据方案设计

3.1.3数据获取的可行性分析

3.1.4确定数据构成

3.2总体和抽样

3.2.1总体和个体

3.2.2样本

3.2.3无偏抽样

3.2.4抽样偏差

3.3混杂因素和A/B Testing

3.3.1混杂因素和辛普森悖论

3.3.2双盲实验和A/B Testing

思考题

第4章Python基础

4.1Python的下载与安装

4.2常用工具包的下载与安装

4.3Jupyter Notebook

4.4Python的常用数据结构

4.4.1列表

4.4.2元组

4.4.3字典

4.4.4集合

4.4.5numpy.ndarray

4.4.6Pandas.DataFrame

4.5Python基本语法

4.5.1基本命令

4.5.2控制流和相关语法

4.6Python数据导入

4.6.1本地数据导入

4.6.2在线数据导入

4.6.3数据的连续流加载

第5章探索性数据分析

5.1数据检查

5.1.1数据的意义及规模

5.1.2特征的数据类型及意义

5.1.3初步排除数据泄露

5.2数据预处理

5.2.1缺失处理

5.2.2异常处理

5.2.3冗余处理

5.3描述性统计

5.3.1位置性测度

5.3.2离散性测度

5.3.3图形化描述统计

思考题

第6章建模与性能评价

6.1统计建模

6.1.1常见的概率密度函数

6.1.2参数估计

6.1.3假设检验

6.1.4phacking

6.2回归模型

6.2.1线性回归模型

6.2.2线性回归模型性能评价

6.2.3线性回归与线性相关

6.2.4逻辑回归

6.2.5训练集测试集划分

6.2.6应用非数值特征作为输入时的onehot编码

6.3朴素贝叶斯模型

6.3.1贝叶斯定理

6.3.2高斯模型

6.3.3多项式模型

6.3.4伯努利模型

6.4分类模型的性能评价

6.4.1混淆矩阵

6.4.2指标权衡

6.4.3应用举例

6.4.4参数区分性能评价

6.5决策树

6.5.1决策树工作原理

6.5.2分类任务决策树的建模过程

6.5.3分类决策树应用举例

6.6有监督学习模型与无监督学习模型

6.7Kmeans模型

6.7.1两个基本概念

6.7.2Kmeans迭代算法

6.8偏差方差权衡

6.8.1偏差方差困境

6.8.2过拟合与欠拟合

6.8.3K折交叉验证

6.9参数的网格搜索

6.10集成学习

6.10.1孔多塞陪审团定理

6.10.2决策树集成

思考题

第7章结果展示

7.1区分面向对象的结果展示

7.1.1面向出资方的结果展示

7.1.2面向用户的结果展示

7.1.3面向数据科学家的结果展示

7.2展示过程中的可视化

7.2.1展示可视化的两个层面

7.2.2展示可视化的三点基本原则

结语

参考文献