大数据可视化分析建模——人人都是数据分析师

目 录

第1章　数据分析导论 1

1.1　数据分析的基础概念 1

1.1.1　商业智能 1

1.1.2　数据仓库 1

1.1.3　数据仓库与其他概念的关系 1

1.1.4　云计算 2

1.2　数据分析的主要流程 2

1.2.1　场景理解-明确目标，理解需求，搭建框架 2

1.2.2　数据准备-数据收集、清洗、集成等 2

1.2.3　数据处理-数据转化、数据提取、数据计算等 2

1.2.4　数据分析-结合业务，探索数据，发现规律 3

1.2.5　结果发布-将获取的知识转化成报告、大屏或者实现数据挖掘过程 3

1.3　数据分析的主要作用 3

1.4　数据分析的主要方法 3

1.4.1　5W2H分析方法 4

1.4.2　逻辑树分析方法 5

1.4.3　PEST分析方法 5

1.4.4　多维度拆解分析方法 6

1.4.5　对比分析方法 6

1.5　数据分析的逻辑思维 7

1.5.1　需求梳理 7

1.5.2　维度设计 7

1.5.3　数据准备 8

1.5.4　模型创建 8

1.5.5　模型成效 8

1.6　数据分析的结果应用 9

1.6.1　数据可视化 9

1.6.2　数据分析报告 11

第2章　数据分析模型设计 12

2.1　思维导图与数据建模 12

2.1.1　什么是思维导图 12

2.1.2　思维导图的价值 12

2.1.3　思维导图在数据建模中的应用 12

2.1.4　常用思维导图工具 13

2.2　数据分析模型的定义 13

2.3　数据分析模型的分类 15

2.3.1　按复杂程度分类 15

2.3.2　按适用范围分类 15

2.3.3　按业务属性分类 15

2.3.4　按计算方式分类 15

2.3.5　按业务场景分类 16

2.4　如何明确分析模型的应用场景 16

2.5　如何选择和细化分析对象 17

2.6　数据分析模型创建的一般步骤 17

2.7　数据分析建模常见误区 18

第3章　数据准备及工作表管理 19

3.1　大数据分析平台应用基础 19

3.1.1　平台登录方法 19

3.1.2　用户账号及管理 19

3.1.3　平台主要功能 21

3.2　数据源准备及数据上传 34

3.2.1　数据手动上传 34

3.2.2　数据库对接自动更新 37

3.2.3　数据追加和替换 42

3.3　工作表管理 44

3.3.1　创建工作表文件夹 44

3.3.2　工作表文件夹管理 45

3.3.3　数据预览 45

3.3.4　字段设置和管理 47

3.3.5　工作表删除 47

3.3.6　工作表关联概况 48

3.3.7　数据授权和共享 49

第4章　数据可视化图表创建 50

4.1　图表类型概述 50

4.1.1　表格 50

4.1.2　成分 51

4.1.3　时间序列 54

4.1.4　频率分布 59

4.1.5　相关性 60

4.1.6　多重数据比较 61

4.1.7　聚类趋势图 62

4.1.8　层次关系 64

4.1.9　位置相关 65

4.1.10　数值 66

4.2　仪表盘管理方法 68

4.2.1　新建仪表盘文件夹 69

4.2.2　新建仪表盘 69

4.2.3　仪表盘管理 71

4.2.4　仪表盘导出 71

4.3　分析图表的创建方法 72

4.3.1　添加图表 72

4.3.2　选择数据表 73

4.3.3　图表创建工作区操作 73

4.3.4　配置维度和数值 74

4.3.5　图表名称命名 76

4.3.6　图表类型选择 76

4.4　分析图表的设置方法 77

4.4.1　图表颜色设置 77

4.4.2　预警线设置 81

4.4.3　辅助线设置 85

4.4.4　图内总计设置 87

4.4.5　图表标签设置 87

4.4.6　缩略轴设置 88

4.4.7　图表联动设置 88

4.4.8　图表筛选设置 89

4.4.9　图表钻取设置 96

4.4.10　图例设置 97

4.4.11　排版设置 97

4.5　图表数据导出 98

4.5.1　导出到Excel 98

4.5.2　导出到图片 99

4.6　GIS地图创建方法 99

4.6.1　选择图表类型 99

4.6.2　设置字段及坐标 100

4.6.3　设置图层及工作表类型 100

4.6.4　拖曳字段 101

4.6.5　颜色与尺寸设置 101

4.6.6　可视化效果类型设置 101

4.7　图表配置相关概念 102

4.7.1　维度、对比和数值的概念 102

4.7.2　钻取、联动和筛选的区别与联系 103

4.7.3　同比和环比的区别与联系 104

4.7.4　高级计算介绍 105

第5章　自主建模应用 109

5.1　通用算子基本概念 109

5.2　算子的主要特征及应用规则 109

5.3　模型创建 109

5.3.1　添加模型 109

5.3.2　选择数据 110

5.3.3　模型设计 110

5.3.4　结果输出 112

5.4　模型管理 112

5.4.1　模型搜索 112

5.4.2　模型运行 113

5.4.3　模型编辑 113

5.4.4　字段设置 114

5.4.5　数据预览 115

5.4.6　模型保存 115

5.4.7　模型删除 116

5.4.8　模型更新 117

5.5　单表级数据处理通用算子 119

5.5.1　通用算子-数据聚合 119

5.5.2　通用算子-数据去重 121

5.5.3　通用算子-添加字段 128

5.5.4　通用算子-输出工作表 130

5.5.5　通用算子- SQL创建 131

5.5.6　通用算子-表结构处理 133

5.5.7　通用算子- JSON解析算子 135

5.5.8　通用算子-算数运算算子 136

5.5.9　通用算子-日期处理算子 138

5.5.10　通用算子-字符串处理算子 147

5.5.11　通用算子-空值率算子 157

5.6　多表级数据处理通用算子 158

5.6.1　通用算子-左连接 158

5.6.2　通用算子-交集 160

5.6.3　通用算子-差集 162

5.6.4　通用算子-全关联 163

5.6.5　通用算子-全部合并 165

5.7　自定义算子 167

5.7.1　自定义算子基本定义 168

5.7.2　自定义算子使用场景 169

5.7.3　自定义算子创建方法及步骤 169

5.7.4　自定义算子配置 171

5.7.5　自定义算子管理级授权使用 184

第6章　SQL函数在建模中的应用 188

6.1　SQL使用场景及技巧 188

6.2　SQL查询基本语法 189

6.2.1　FROM子句 189

6.2.2　DISTINCT谓词 189

6.2.3　用AS子句为字段取别名 189

6.2.4　WHERE子句指定查询条件 190

6.3　数学运算函数 193

6.3.1　+函数应用演示 193

6.3.2　-函数应用演示 194

6.3.3　*函数应用演示 194

6.3.4　/函数应用演示 195

6.3.5　%函数应用演示 196

6.4　日期函数 197

6.4.1　DAY函数应用演示 197

6.4.2　MONTH函数应用演示 198

6.4.3　YEAR函数应用演示 199

6.4.4　TO_DATE函数应用演示 200

6.4.5　HOUR函数应用演示 201

6.4.6　MINUTE函数应用演示 202

6.4.7　SECOND函数应用演示 203

6.4.8　DATE_SUB函数应用演示 204

6.4.9　DATE_ADD函数应用演示 205

6.4.10　HOUR_DIFF函数应用演示 206

6.4.11　DAY_DIFF函数应用演示 207

6.4.12　YEAR_DIFF函数应用演示 208

6.4.13　FROM_UNIXTIME、UNIX_TIMESTAMP、SUBSTR混合函数应用演示 209

6.5　条件函数 210

6.5.1　IF、AND、OR、HOUR_DIFF混合函数应用演示 210

6.5.2　CASE、WHEN、HOUR_DIFF、AND混合函数应用演示 211

6.5.3　CCOALESCE函数应用演示 213

6.6　字符串函数 213

6.6.1　CONCAT函数应用演示 213

6.6.2　SUBSTR函数应用演示 214

6.6.3　STRING_SPLIT、SPLIT函数应用演示 215

6.6.4　REPLACE函数应用演示 217

6.6.5　REGEXP_REPLACE函数应用演示 217

6.6.6　LENGTH函数应用演示 218

6.6.7　UPPER函数应用演示 219

6.7　数值计算函数 220

6.7.1　RAND函数应用演示 220

6.7.2　ROUND函数应用演示 221

6.8　聚合函数 221

6.9　函数应用注意事项 222

第7章　可视化大屏创建 223

7.1　数据大屏和仪表盘的区别与联系 223

7.2　数据大屏设计步骤 225

7.3　数据大屏基本功能 228

7.4　数据大屏创建步骤 230

7.4.1　新建普通大屏 230

7.4.2　组件样式设置 231

7.5　数据大屏的数据调用 235

7.5.1　添加数据源 235

7.5.2　数据源管理 239

7.6　数据大屏核心参数设置 241

7.6.1　配置数据 241

7.6.2　数据处理 245

7.6.3　映射字段 247

7.6.4　数据更新 247

7.7　数据大屏应用举例 248

7.8　创建大屏常见问题 248

第8章　数据分析报告制作 251

8.1　明确报告类型 251

8.2　合理选择报告结构 252

8.3　报告制作注意事项 255