数据清洗(普通高等教育数据科学与大数据技术专业教材)

前言

第1章 数据清洗简介
1．1 数据清洗概述
1．1．1 什么是数据清洗
1．1．2 数据清洗的原理
1．1．3 数据清洗的过程
1．2 数据质量管理
1．2．1 数据质量管理的含义
1．2．2 数据质量的评估
1．2．3 数据质量管理应用
1．3 数据清洗模型研究
1．3．1 数据清洗模型描述
1．3．2 数据清洗模型应用
1．4 数据清洗常用软件与工具
1．4．1 数据清洗常用软件
1．4．2 数据清洗常用工具
1．5 实训
练习1

第2章 数据清洗中的理论基础
2．1 微积分
2．1．1 微积分概述
2．1．2 微积分的作用
2．2 线性代数
2．2．1 线性代数概述
2．2．2 线性代数的定义
2．3 概率论与数理统计
2．3．1 概率论与数理统计概述
2．3．2 概率论与数理统计基本概念
2．4 *优化理论
2．4．1 *优化理论定义
2．4．2 凸函数
2．5 主成分分析
2．5．1 主成分分析概述
2．5．2 主成分分析的实现
2．6 数据清洗常见算法
2．6．1 哈希算法
2．6．2 字符串匹配算法
2．6．3 聚类算法
2．7 实训
练习2

第3章 文件格式及其转换
3．1 文件格式概述
3．1．1 文件格式简介
3．1．2 Windows中常见的文件格式介绍
3．2 数据类型与字符编码
3．2．1 数据类型
3．2．2 字符编码
3．3 跨平台数据传输格式
3．3．1 XML
3．3．2 ISON
3．4 Kettle中文件格式的运行与转换
3．4．1 文本文件的转换
3．4．2 XML文件的转换
3．4．3 JSON文件的转换
3．4．4 CSV文件的转换
3．5 实训
练习3

第4章 Excel数据清洗
4．1 认识Excel
4．1．1 Excel介绍
4．1．2 Excel数据清洗的特点
4．2 Excel数据清洗基本操作
4．2．1 Excel数据工具的认识
4．2．2 Excel数据工具的应用
4．3 使用Excel中的函数进行数据清洗
4．3．1 Excel中的函数介绍
4．3．2 Excel函数的具体应用
4．4 ．实训
练习4

第5章 Kettle数据清洗
5．1 Kettle数据清洗概述
5．1．1 Kettle数据清洗简介
5．11 2 Kettle数据清洗的认识
5．2 Kettle数据清洗基础
5．2．1 Kettle数据清洗基本操作
5．2．2 Kettle数据清洗的实现
5．3 实训
练习5

第6章 Kettle与数据仓库
6．1 数据仓库概述
6．1．1 什么是数据仓库
6．1．2 数据仓库的特点
6．2 Kettle中的数据仓库相关技术
6．2．1 Kettle连接数据库
6．2．2 Kettle成功连接数据库的其他操作
6．3 Kettle在数据仓库中的应用
6．3．1 Kettle读取数据库
6．3．2 Kettle迁移数据库
6．4 实训
练习6

第7章 Pyttlon数据清洗
7．1 Python数据清洗概述
7．1．1 Python数据清洗简介
7．1．2 Python扩展库的安装与导入
7．2 Python数据清洗基础
7．2．1 NumPy库的使用
7．2．2 Pandas库的使用
7．3 机器学习中的数据清洗
7．3．1 Seabom库
7．3．2 对机器学习中的数据集进行分析清洗
7．4 Python中的时间序列
7．4．1 时间序列基础datetime
7．4．2 Pandas中的日期与时间工具
7．5 实训
练习7

第8章 数据清洗综合实训
8．1 Kettle输入记录排序
8．2 Kettle数据流优先级排序
8．3 Kettle生成记录排序
8．4 使用Python清洗数据
8．5 Python读取CSV文档
参考文献