PYTHON大数据分析与可视化

第1章数据分析与可视化概述/1
1.1数据分析概念与常用指标1
1.1.1数据分析的概念1
1.1.2数据分析常用指标2
1.1.3数据分析常用方法4
1.2什么是数据可视化4
1.3数据分析与可视化基本流程5
1.4数据分析与可视化开发环境安装与包管理6
1.4.1Python做数据分析与可视化的优势6
1.4.2Anaconda工具的安装与配置7
1.4.3通过Anaconda管理Python包8
1.5Jupyter Notebook的启动与使用10
1.5.1Jupyter Notebook的启动11
1.5.2Jupyter Notebook界面功能11
1.5.3Jupyter Notebook的基本使用13
1.6Jupyter的魔术命令16
1.7常见的数据分析与可视化工具17
小结18
思考与练习18
第2章Python编程基础/19
2.1Python语法基础19
2.1.1编写规范19
2.1.2数据类型20
2.1.3运算符21
2.2列表和元组22
2.2.1列表定义与元素访问22
2.2.2列表的操作方法23
2.2.3元组定义与元素操作25
2.3字典和集合27
2.3.1字典定义与元素操作272.3.2集合定义与元素操作28
2.4程序控制结构29
2.4.1输入、输出与顺序控制语句29
2.4.2if选择语句31
2.4.3循环语句31
2.5函数34
2.5.1函数的定义与调用35
2.5.2函数参数类型36
2.5.3函数参数的作用域38
2.5.4匿名函数38
2.6面向对象39
2.6.1类和对象39
2.6.2类的继承41
2.7模块与包42
2.7.1模块的导入42
2.7.2模块的创建与使用43
2.7.3第三方库的安装44
2.7.4包的创建与使用46
2.8程序的错误与异常处理48
2.8.1程序的错误与处理48
2.8.2程序的异常与处理49
小结50
思考与练习50
〖1〗Python大数据分析与可视化目录〖3〗〖3〗第3章NumPy数组计算/52
3.1NumPy与数组对象52
3.1.1NumPy概述52
3.1.2NumPy数组对象53
3.2创建NumPy数组54
3.2.1利用array函数创建数组54
3.2.2其他方式创建数组55
3.2.3利用随机数模块生成随机数组58
3.2.4从已有的数组中创建数组60
3.3数组对象的数据类型63
3.3.1查看数据类型63
3.3.2转换数据类型64
3.4数组运算65
3.4.1形状相同的数组间运算65
3.4.2形状不同的数组间运算66
3.4.3数组与标量间的运算67
3.5数组元素的操作68
3.5.1整数索引和切片的基本使用68
3.5.2花式（数组）索引的基本使用70
3.5.3布尔型索引的基本使用71
3.5.4数组元素的删除、修改和查询72
3.6数组的重塑和转置73
3.6.1数组重塑73
3.6.2数组合并74
3.6.3数组分割75
3.6.4数组转置75
3.7NumPy通用函数77
3.8NumPy数据处理与统计分析79
3.8.1将条件逻辑转为数组运算79
3.8.2数组统计运算79
3.8.3数组排序80
3.8.4检索数组元素82
3.8.5重复数据与去重（唯一化）82
3.9NumPy矩阵的基本操作84
3.9.1矩阵创建84
3.9.2矩阵运算86
3.9.3矩阵转换88
3.10数组读/写88
3.10.1读/写二进制文件88
3.10.2读/写文本文件89
3.10.3读取CSV文件89
小结90
思考与练习90
第4章Pandas基础知识/92
4.1Pandas与数据结构92
4.1.1Pandas概述92
4.1.2Pandas中的数据结构93
4.1.3Series对象与生成93
4.1.4DataFrame对象与生成95
4.1.5Pandas的数据类型99
4.1.6算术运算与数据对齐99
4.2Pandas索引操作100
4.2.1Series对象索引操作101
4.2.2DataFrame对象索引操作103
4.2.3索引对象的不可操作性105
4.2.4设置索引106
4.2.5重命名轴名称111
4.3数据编辑112
4.3.1增加数据112
4.3.2修改数据115
4.3.3删除数据118
4.4Pandas中调用函数的方法119
4.4.1map()方法应用119
4.4.2apply()方法应用120
4.4.3applymap()方法应用121
4.4.4pipe()方法应用121
小结122
思考与练习122
第5章Pandas数据获取与清洗/123
5.1数据获取操作123
5.1.1读取文本（CSV和TXT）文件123
5.1.2读取Excel文件126
5.1.3读取JSON数据文件128
5.1.4读取HTML表格数据129
5.1.5读取MySQL数据库中数据130
5.2数据清洗133
5.2.1空值和缺失值的处理134
5.2.2重复值的处理139
5.2.3异常值的处理141
5.2.4更改数据类型146
5.3数据格式化149
5.3.1数据设置小数位数149
5.3.2数据设置百分比150
5.3.3数据设置千位分隔符151
5.4数据保存操作151
5.4.1数据保存为CSV文件151
5.4.2数据保存为Excel文件152
5.4.3数据保存为JSON格式文件152
5.4.4数据保存为HTML文件154
5.4.5数据保存到MySQL数据库154
小结155
思考与练习155
第6章Pandas数据形式变化/156
6.1数据集成与合并156
6.1.1数据集成概述156
6.1.2主键合并数据158
6.1.3轴向堆叠合并数据159
6.1.4合并重叠数据160
6.1.5根据行索引合并数据163
6.1.6数据追加164
6.2数据变换165
6.2.1数据标准化变换166
6.2.2数据离散化处理168
6.2.3数据泛化处理170
6.2.4哑变量处理类别数据170
6.2.5轴向旋转173
6.3层次化索引与数据重塑175
6.3.1层次化索引的创建175
6.3.2层次化索引的数据访问与操作180
6.3.3重塑层次化索引183
6.4数据分组与聚合187
6.4.1分组与聚合的原理187
6.4.2数据分组188
6.4.3数据聚合192
小结196
思考与练习196
第7章Pandas数据分析与可视化/197
7.1数据基本统计分析197
7.1.1了解数据信息197
7.1.2统计描述199
7.1.3统计计算200
7.1.4位置计算207
7.2数据选取与查询209
7.2.1选取指定列的数据210
7.2.2选取一行数据212
7.2.3选取多行数据212
7.2.4选取指定行列数据214
7.2.5剔除区间以外的数据215
7.2.6其他复杂查询选取数据215
7.3数据排序与排名218
7.3.1按索引排序218
7.3.2按值排序219
7.3.3数据排名221
7.4常用的数据分析223
7.4.1分组分析223
7.4.2分布分析225
7.4.3交叉分析229
7.4.4结构分析230
7.4.5相关分析231
7.5Pandas可视化方法232
小结233
思考与练习234
第8章Pandas数据处理与分析实战/235
8.1数据集准备235
8.2编程实现数据处理分析235
8.2.1数据探索235
8.2.2处理数据236
8.3Pandas实现成绩数据处理与分析237
8.3.1数据探索237
8.3.2数据预处理239
8.3.3数据选取241
8.3.4数据分析243
8.3.5数据可视化244
8.3.6数据输出245
小结245
思考与练习245
第9章Matplotlib库绘制可视化图表/246
9.1数据可视化概述246
9.1.1常见的可视化图表类型246
9.1.2可视化图表的基本构成249
9.1.3数据可视化方式选择依据250
9.1.4常见的数据可视化库252
9.2可视化Matplotlib库的概述253
9.2.1Matplotlib库的使用导入与设置253
9.2.2Matplotlib库绘图的层次结构253
9.3Matplotlib库绘图的基本流程254
9.3.1创建简单图表的基本流程254
9.3.2绘制子图的基本流程256
9.4使用Matplotlib库绘制常用图表262
9.4.1绘制直方图262
9.4.2绘制散点图263
9.4.3绘制柱状图264
9.4.4绘制折线图265
9.4.5绘制饼图266
9.4.6绘制面积图270
9.4.7绘制热力图271
9.4.8绘制箱形图272
9.4.9绘制雷达图275
9.4.10绘制3D图形276
小结278
思考与练习278
第10章图表辅助元素定制与美化/279
10.1图表辅助元素的设置279
10.2图表样式定制279
10.2.1默认图表样式279
10.2.2颜色样式定制281
10.2.3线型样式选择282
10.2.4数据标记添加283
10.2.5字体样式设置284
10.3设置坐标轴的标签、刻度范围和刻度标签286
10.3.1设置坐标轴的标签286
10.3.2设置刻度范围和刻度标签287
10.4标题和图例添加与网格线显示288
10.4.1添加图表标题288
10.4.2添加图表图例289
10.4.3显示网格线290
10.5添加参考线和参考区域290
10.5.1显示网格线290
10.5.2添加参考区域291
10.6添加注释文本与表格291
10.6.1添加指向型注释文本291
10.6.2添加无指向型注释文本292
10.6.3在图表中添加表格293
小结294
思考与练习295
第11章Seaborn绘制数据分析图表/296
11.1Seaborn与数据集加载296
11.1.1Seaborn概述296
11.1.2Seaborn数据集加载297
11.2Seaborn图表的基本设置298
11.2.1背景风格设置298
11.2.2设置绘图元素比例298
11.2.3边框控制299
11.3常用图表的绘制300
11.3.1可视化数据的分布300
11.3.2对分类数据绘图305
11.3.3类别内的统计估计307
小结310
思考与练习311
第12章时间序列数据处理与分析/312
12.1日期和时间数据类型312
12.1.1datetime构造312
12.1.2数据转换314
12.2时间序列的基本操作315
12.2.1创建时间序列315
12.2.2通过时间戳索引选取子集317
12.3固定频率的时间序列319
12.3.1创建固定频率的时间序列319
12.3.2时间序列的频率、偏移量321
12.3.3时间序列的移动323
12.4时间周期及计算324
12.4.1时期对象创建与运算324
12.4.2时期的频率转换326
12.5重采样处理326
12.5.1重采样方法（resample）327
12.5.2降采样328
12.5.3升采样328
12.6窗口计算处理330
12.7基于四类影响要素的时间序列分析332
小结334
思考与练习335
第13章文本数据分析/336
13.1文本数据处理与分析工具336
13.1.1文本数据处理336
13.1.2语料库中的NLTK与jieba338
13.1.3安装NLTK和下载语料库339
13.1.4jieba库的安装341
13.2文本预处理341
13.2.1预处理的流程342
13.2.2分词343
13.2.3词性标注345
13.2.4词形归一化346
13.2.5删除停用词348
13.3文本情感分析349
小结352
思考与练习352
第14章图像处理与分析/353
14.1OpenCV概述353
14.2cv2图像处理基础353
14.2.1cv2的基本方法与属性353
14.2.2图像处理中的阈值355
14.2.3cv2图像处理中的几何变换357
14.3图像的降噪处理362
14.3.1均值滤波器图像降噪362
14.3.2中值滤波器图像降噪363
14.3.3高斯滤波器图像降噪364
14.3.4双边滤波器图像降噪366
14.4图像中的图形检测367
14.4.1图像的轮廓367
14.4.2图像处理中的边缘检测369
14.5图像的分割370
14.5.1常用的图像分割方法370
14.5.2基于Kmeans的图像分割371
14.5.3基于区域生长的图像分割373
14.5.4基于分水岭算法的图像分割374
小结376
思考与练习377