数据分析入门

第1章目标与任务1
1.1数据时代与当代社会1
1.1.1从“互联网 ”迈向“数据要素×”1
1.1.2数据与数据驱动2
1.1.3数据分析的应用场景2
1.2数据分析的主要步骤及方法4
1.2.1数据分析的主要步骤4
1.2.2数据分析的主要方法5
1.3利用AI工具辅助数据分析的学习与应用6
1.3.1使用AI工具示例6
1.3.2关于AI的思考9
1.4新文科与数据分析11
1.4.1新技术催生新文科11
1.4.2计算思维与数据思维12
1.4.3适合新文科的数据分析工具——Python14
1.4.4Python的编程环境15
1.5问题逻辑认知模式及基于问题逻辑认知模式的成果导向教育22
1.5.1人脑及人的认知过程22
1.5.2“知识逻辑认知模式”与“问题逻辑认知模式”24
1.5.3基于问题逻辑认知模式的成果导向教育26
1.6本书的使命29
1.7动手做一做29
第2章数据分析师岗位情况分析——提出问题、明确分析目的30
2.1Excitation——提出问题30
2.1.1背景30
2.1.2AI助学31
2.1.3提出问题31
2.2Exploration——探索问题本质32
2.2.1探索问题本质——找准靶心32
2.2.2AI助学32
2.2.3关于数据来源33
2.2.4明确目标要完成的任务34
2.3Enhancement——拓展求解问题的知识和能力34
2.3.1如何获取外部数据34
2.3.2如何正确地定义问题39
2.3.3如何明确具体需求40
2.3.4如何合理地分解问题41
2.3.5如何抓住关键的问题42
2.4Execution——实际动手解决问题43
2.4.1获取分析数据43
2.4.2正确定义问题44
2.4.3明确具体需求44
2.4.4合理地分解问题45
2.4.5抓住关键的问题46
2.5Evaluation——评价与反思46
2.6动手做一做47
第3章数据分析师岗位情况分析——数据预处理49
3.1Excitation——提出问题49
3.2Exploration——探索问题本质51
3.2.1AI助学51
3.2.2探索问题本质——找准靶心52
3.3Enhancement——拓展求解问题的知识和能力53
3.3.1选择数据预处理工具53
3.3.2Pandas基础54
3.3.3用Pandas进行数据清洗59
3.3.4用Pandas进行数据筛选70
3.3.5用Pandas进行数据转换72
3.4Execution——实际动手解决问题73
3.4.1读入数据集文件74
3.4.2数据清洗和特征选择74
3.4.3数据转换77
3.4.4将数据预处理结果保存到文件80
3.4.5数据预处理的完整代码80
3.5Evaluation——评价与反思82
3.6动手做一做82
第4章数据分析师岗位情况分析——描述性数据分析与数据可视化83
4.1Excitation——提出问题83
4.2Exploration——探索问题本质83
4.3Enhancement——拓展求解问题的知识和能力84
4.3.1AI助学84
4.3.2使用Pandas查看基本统计信息87
4.3.3数据可视化基本方法90
4.4Execution——实际动手解决问题102
4.4.1了解数据集的基本统计信息102
4.4.2数据可视化分析103
4.5Evaluation——评价与反思113
4.6动手做一做113
第5章气候变化对生物多样性的影响分析——明确分析目的、采集分析数据114
5.1Excitation——提出问题114
5.2Exploration——探寻问题本质115
5.3Enhancement——拓展求解问题的知识和能力115
5.3.1AI助学115
5.3.2如何撰写数据说明文档117
5.4Execution——实际动手解决问题118
5.4.1正确定义问题118
5.4.2获取分析数据119
5.4.3明确具体需求128
5.4.4合理地分解问题128
5.4.5抓住关键的问题129
5.5Evaluation——评价与反思129
5.6动手做一做130
第6章气候变化对生物多样性的影响分析——提高数据质量、预处理数据131
6.1Excitation——提出问题131
6.1.1查看年度地表温度变化数据131
6.1.2查看世界月度二氧化碳浓度变化数据133
6.1.3查看平均海平面高度变化数据134
6.1.4查看濒危物种数量变化数据135
6.2Exploration——探寻问题本质136
6.2.1数据预处理与特征工程136
6.2.2对数据预处理任务进行梳理137
6.2.3数据表的合并137
6.3Enhancement——拓展求解问题的知识和能力138
6.3.1使用Pandas进行数据转换138
6.3.2使用Pandas进行特征提取143
6.3.3使用Pandas进行特征转换144
6.3.4使用Pandas进行数据表合并147
6.4Execution——实际动手解决问题150
6.4.1年度地表温度变化数据预处理151
6.4.2世界大气二氧化碳浓度数据处理155
6.4.3平均海平面高度变化数据处理160
6.4.4濒危物种数量变化数据处理163
6.4.5数据合并166
6.5Evaluation——评价与反思168
6.5.1评价168
6.5.2反思169
6.6动手做一做170
第7章气候变化对生物多样性的影响分析——探索数据相关性与分布情况171
7.1Excitation——提出问题171
7.2Exploration——探寻问题本质171
7.2.1AI助学172
7.2.2探索问题本质173
7.3Enhancement——拓展求解问题的知识和能力174
7.3.1AI助学——特征相关性分析174
7.3.2进行相关性分析的方法175
7.3.3数据可视化变量间的相关性180
7.3.4利用聚类方法观察数据的分布189
7.4Execution——实际动手解决问题195
7.4.1探查数据结构与基本的统计信息195
7.4.2探索数据的相关性196
7.4.3探索数据的变化趋势199
7.4.4探索数据的分布情况202
7.5Evaluation——评价与反思205
7.6动手做一做206
第8章气候变化对生物多样性的影响分析——预测性分析207
8.1Excitation——提出问题207
8.2Exploration——探寻问题本质207
8.3Enhancement——拓展求解问题的知识和能力208
8.3.1AI助学——了解常用的机器学习模型208
8.3.2基本概念和术语209
8.3.3构建机器学习模型的基本步骤210
8.3.4使用Python对数据集进行划分211
8.3.5常用评价模型的指标213
8.3.6常用的几种机器学习模型建模214
8.3.7寻找*佳模型参数224
8.3.8模型预测效果可视化226
8.3.9度量特征的重要性228
8.4Execution——实际动手解决问题230
8.4.1模型选择230
8.4.2使用*佳模型进行预测233
8.4.3特征重要性度量235
8.4.4构建随机森林预测模型236
8.4.5随机森林模型预测效果可视化237
8.5Evaluation——评价与反思239
8.6动手做一做242
第9章气候变化对生物多样性的影响分析——指导性分析243
9.1Excitation——提出问题243
9.2Exploration——探寻问题本质243
9.3Enhancement——拓展求解问题的知识和能力245
9.3.1AI助学——了解常用的时间序列预测模型245
9.3.2ARIMA模型基本原理245
9.3.3ARIMA模型建模步骤246
9.3.4使用Python实现ARIMA模型的构建247
9.4Execution——实际动手解决问题253
9.4.1分析数据的采集253
9.4.2相关性分析254
9.4.3构建ARIMA模型预测未来二氧化碳的排放趋势256
9.5Evaluation——评价与反思260
9.6动手做一做261
第10章气候变化对生物多样性的影响分析——撰写数据分析报告262
10.1Excitation——提出问题262
10.2Exploration——探寻问题本质262
10.3Enhancement——拓展求解问题的知识和能力263
10.3.1AI助学——数据分析报告的基本结构263
10.3.2AI助学——生成数据分析报告的封面图片264
10.4Execution——实际动手解决问题265
10.4.1封面与目录265
10.4.2前言265
10.4.3数据收集和描述266
10.4.4数据分析结果270
10.4.5结论与建议274
10.5Evaluation——评价与反思275
10.6动手做一做275