数据工程探索与实践

第1章 数据工程概论 1.1 数据工程的相关概念 1.1.1 数据的定义和生命周期 1.1.2 数据、信息、知识和智慧 1.1.3 数据工程的定义和内涵 1.2 数据工程体系建设 1.2.1 总体架构 1.2.2 体系维的建设内容 1.2.3 标准维的建设内容 1.2.4 技术维的建设内容 1.3 数据工程现状与发展 1.3.1 我国数据工程建设发展 1.3.2 美军数据工程建设发展 本章小结 本章参考文献 第2章 数据规划设计 2.1 数据规划设计概述 2.1.1 数据规划概念的提出 2.1.2 数据规划的定义 2.1.3 数据规划的核心思想 2.1.4 数据规划的作用 2.2 数据规划设计方法 2.2.1 基于稳定信息过程的数据规划方法 2.2.2 基于稳定信息结构的数据规划方法 2.2.3 基于指标能力的数据规划方法 2.2.4 数据规划方法比较 2.3 数据规划中的需求分析 2.3.1 需求分析概述 2.3.2 需求获取方法 2.3.3 用户视图分析技术 2.4 数据规划设计工具 2.4.1 IRP2000信息资源规划工具 2.4.2 DP2020数据资源规划工具 本章小结 本章参考文献 第3章 数据模型构建 3.1 数据模型的基本概念 3.1.1 概念模型 3.1.2 逻辑模型 3.1.3 物理模型 3.1.4 数据模型种类 3.2 数据建模标记符号 3.2.1 实体—联系图标记符号 3.2.2 IDEF1x标记符号 3.2.3 信息工程标记符号 3.2.4 UML数据模型标记符号 3.2.5 标记符号的补充说明 3.3 数据模型描述方法 3.3.1 概念数据模型描述方法 3.3.2 逻辑数据模型描述方法 3.3.3 物理数据模型描述方法 3.4 关系模型构建技术 3.4.1 关系模型的基本概念 3.4.2 关系模型的构建步骤 3.5 维度模型构建技术 3.5.1 维度模型的基本概念 3.5.2 维度模型的基本构建步骤 3.6 基于本体的数据模型构建技术 3.6.1 本体的基本概念 3.6.2 本体的构建原则与步骤 3.6.3 基于本体的数据模型构建 本章小结 本章参考文献 第4章 数据采集与数据处理 4.1 数据采集概述 4.1.1 数据采集的基本概念 4.1.2 数据采集原理 4.1.3 数据采集分类 4.2 数据采集策略与方法 4.2.1 数据采集策略 4.2.2 面向不同对象的数据采集方法 4.3 数据采集工具 4.3.1 系统日志采集工具 4.3.2 网络数据采集工具 4.4 数据处理概述 4.4.1 数据集成 4.4.2 数据转换 4.4.3 数据清洗 4.5 数据清洗方法 4.5.1 缺失数据处理 4.5.2 重复数据处理 4.5.3 异常数据处理 4.5.4 逻辑错误数据处理 4.6 数据处理工具 4.6.1 Kettle工具 4.6.2 DataX工具 4.6.3 PowerCenter工具 本章小结 本章参考文献 第5章 数据存储与数据管理 5.1 数据存储介质 5.2 数据存储类型 5.2.1 传统存储技术 5.2.2 云存储技术 5.3 数据存储设计 5.3.1 数据规模小且计算性能要求低的场景 5.3.2 数据规模小但计算性能要求高的场景 5.3.3 数据规模大但计算性能要求低的场景 5.3.4 数据规模大且计算性能要求高的场景 5.4 数据管理策略 5.4.1 数据存储的安全 5.4.2 存储数据的备份 本章小结 本章参考文献 第6章 数据分析与数据挖掘 6.1 数据分析与数据挖掘概述 6.1.1 数据分析与数据挖掘的相关概念 6.1.2 数据分析与数据挖掘的一般过程 6.2 数据分析方法和技术 6.2.1 数据的描述性统计分析 6.2.2 显著性差异分析 6.2.3 相关性分析与回归分析 6.3 数据挖掘方法 6.3.1 关联规则挖掘 6.3.2 分类与预测 6.3.3 聚类分析 本章小结 本章参考文献 第7章 数据共享应用 7.1 数据共享体系 7.1.1 数据共享概述 7.1.2 数据共享的体系框架 7.1.3 数据共享的模式 7.1.4 数据共享的实现途径 7.2 数据应用体系 7.2.1 数据应用体系框架 7.2.2 数据应用模式 7.2.3 数据应用能力 7.2.4 数据应用目的 7.3 数据服务 7.3.1 数据目录服务 7.3.2 数据发布服务 7.3.3 数据资源全文检索服务 本章小结 本章参考文献 第8章 数据标准规范 8.1 数据标准规范概述 8.1.1 标准和标准化的基本概念 8.1.2 数据标准化的概念 8.1.3 数据标准体系 8.2 元数据标准化 8.2.1 元数据基本概念 8.2.2 典型元数据标准 8.2.3 元数据标准的分类与管理 8.2.4 元数据标准参考框架 8.3 数据元标准化 8.3.1 数据元概念 8.3.2 数据元的基本属性 8.3.3 数据元的命名和定义 8.3.4 数据元的表示格式和值域 8.3.5 数据元间的关系 8.4 数据分类与编码 8.4.1 数据分类的基本原则和方法 8.4.2 数据编码的基本原则和方法 本章小结 本章参考文献 第9章 数据工程实践案例 9.1 案例背景介绍 9.1.1 背景分析 9.1.2 需求分析 9.2 体系结构设计 9.3 数据资源规划设计 9.3.1 确定职能域 9.3.2 确定其业务过程及活动 9.3.3 职能域数据分析 9.3.4 建立数据资源标准规范 9.3.5 建立信息系统功能模型 9.3.6 建立初步数据模型 9.3.7 形成数据规划方案 9.4 数据模型构建 9.4.1 提炼核心数据对象 9.4.2 建立数据对象关系 9.4.3 构建详细数据模型 9.5 数据采集处理 9.5.1 确定数据采集对象 9.5.2 设计数据采集手段 9.5.3 实施数据采集处理 9.6 数据加工生产 9.6.1 产品目录 9.6.2 数据框架 9.6.3 软件车床 9.6.4 累积校验