大数据治理:理论与方法

第1 章 大数据治理的背景和基本概念………………………………………………… 1 1. 1 大数据治理的定义………………………………………………………… 2 1. 2 大数据治理的应用………………………………………………………… 3 1. 2. 1 大数据治理的任务…………………………………………………… 3 1. 2. 2 数据治理与数据管理的区别…………………………………………… 4 1. 2. 3 大数据治理的典型案例……………………………………………… 4 1. 3 大数据治理的挑战………………………………………………………… 7 1. 3. 1 大数据的发展和现状………………………………………………… 7 1. 3. 2 当下面临的挑战……………………………………………………… 8 1. 4 本书的主要内容…………………………………………………………… 9 第2 章 数据架构管理……………………………………………………………… 11 2. 1 数据架构概述…………………………………………………………… 12 2. 2 IBM 数据架构参考模型………………………………………………… 13 2. 2. 1 逻辑层……………………………………………………………… 14 2. 2. 2 垂直层……………………………………………………………… 16 2. 3 企业数据架构参考模型………………………………………………… 17 2. 4 CESI 大数据参考架构模型……………………………………………… 18 2. 5 大数据技术参考架构…………………………………………………… 19 2. 6 数据湖(Data Lake) …………………………………………………… 20 2. 7 面向大数据的数据架构实现…………………………………………… 21 2. 7. 1 Hadoop ……………………………………………………………… 21 2. 7. 2 Storm ……………………………………………………………… 23 2. 7. 3 Spark ……………………………………………………………… 24 2. 7. 4 三种架构的比较分析………………………………………………… 25 2. 8 数据架构设计原则……………………………………………………… 25 第3 章 元数据管理………………………………………………………………… 27 3. 1 元数据概述……………………………………………………………… 28 3. 1. 1 定义………………………………………………………………… 28 3. 1. 2 组织方式…………………………………………………………… 29 3. 1. 3 作用和意义………………………………………………………… 31 3. 2 业务元数据……………………………………………………………… 32 3. 2. 1 意义………………………………………………………………… 32 3. 2. 2 概念………………………………………………………………… 33 3. 2. 3 实践要点…………………………………………………………… 34 3. 3 技术元数据……………………………………………………………… 34 3. 3. 1 意义………………………………………………………………… 34 3. 3. 2 概念………………………………………………………………… 35 3. 3. 3 实践要点…………………………………………………………… 36 3. 4 元数据管理……………………………………………………………… 36 3. 4. 1 元数据管理方案…………………………………………………… 37 3. 4. 2 元数据标准和规范………………………………………………… 39 3. 4. 3 元数据管理的成熟度………………………………………………… 40 第4 章 主数据管理………………………………………………………………… 42 4. 1 概述……………………………………………………………………… 43 4. 1. 1 主数据的概念……………………………………………………… 43 4. 1. 2 主数据的类型……………………………………………………… 44 4. 1. 3 主数据管理的基本思路……………………………………………… 44 4. 2 主数据管理系统………………………………………………………… 45 4. 2. 1 主数据管理的架构设计……………………………………………… 46 4. 2. 2 主数据管理的核心功能……………………………………………… 50 4. 2. 3 主数据管理的实现风格……………………………………………… 50 4. 3 主数据管理的成熟度…………………………………………………… 52 第5 章 大数据集成………………………………………………………………… 56 5. 1 数据集成的基本概念…………………………………………………… 57 5. 1. 1 数据集成的定义…………………………………………………… 57 5. 1. 2 数据集成的分类…………………………………………………… 58 5. 1. 3 数据集成的难点…………………………………………………… 59 5. 2 传统数据集成…………………………………………………………… 60 5. 2. 1 联邦数据库系统…………………………………………………… 61 5. 2. 2 中间件集成………………………………………………………… 62 5. 2. 3 数据仓库…………………………………………………………… 63 5. 3 传统数据集成的关键技术……………………………………………… 65 5. 3. 1 模式匹配…………………………………………………………… 65 5. 3. 2 数据映射…………………………………………………………… 66 5. 4 跨界数据集成…………………………………………………………… 67 5. 4. 1 基于阶段的集成…………………………………………………… 67 5. 4. 2 基于特征的集成…………………………………………………… 68 5. 4. 3 基于语义的集成…………………………………………………… 68 第6 章 数据质量管理……………………………………………………………… 71 6. 1 概述……………………………………………………………………… 72 6. 1. 1 数据质量定义……………………………………………………… 72 6. 1. 2 数据质量问题……………………………………………………… 74 6. 2 缺失值填充……………………………………………………………… 76 6. 2. 1 什么是缺失值……………………………………………………… 76 6. 2. 2 缺失值处理方法…………………………………………………… 77 6. 2. 3 缺失值处理例析…………………………………………………… 79 6. 3 实体识别与真值发现…………………………………………………… 81 6. 3. 1 什么是实体识别…………………………………………………… 81 6. 3. 2 基于规则的实体识别方法…………………………………………… 81 6. 3. 3 什么是真值发现…………………………………………………… 84 6. 3. 4 真值发现方法……………………………………………………… 85 6. 5 错误检测与修复………………………………………………………… 85 6. 5. 1 格式内容清洗……………………………………………………… 85 6. 5. 2 逻辑错误清洗……………………………………………………… 86 6. 5. 3 非需求数据清洗…………………………………………………… 87 6. 6 面向大数据的数据清洗………………………………………………… 87 6. 6. 1 大数据清洗的探索………………………………………………… 87 6. 6. 2 时间序列错误清洗………………………………………………… 88 6. 6. 3 基于众包的数据清洗………………………………………………… 90 第7 章 数据标准化………………………………………………………………… 92 7. 1 数据标准化概述………………………………………………………… 93 7. 1. 1 数据标准…………………………………………………………… 93 7. 1. 2 数据标准管理……………………………………………………… 94 7. 1. 3 企业数据标准化…………………………………………………… 95 7. 2 数据标准化例析………………………………………………………… 95 7. 2. 1 工业大数据………………………………………………………… 95 7. 2. 2 信息技术元数据注册系统…………………………………………… 97 第8 章 数据资产化………………………………………………………………… 98 8. 1 数据资产管理概述……………………………………………………… 99 8. 1. 1 数据资产…………………………………………………………… 99 8. 1. 2 数据资产管理……………………………………………………… 100 8. 2 数据资产发现与评估…………………………………………………… 101 8. 2. 1 数据资产发现……………………………………………………… 101 8. 2. 2 数据资产评估……………………………………………………… 102 8. 3 数据交易与数据定价…………………………………………………… 103 8. 3. 1 数据交易………………………………………………………… 103 8. 3. 2 数据定价………………………………………………………… 106 8. 4 拓展: 大数据拍卖模型………………………………………………… 107 8. 4. 1 问题背景………………………………………………………… 107 8. 4. 2 基本拍卖模型……………………………………………………… 107 8. 4. 3 扩展的Vickrey 拍卖模型…………………………………………… 108 8. 4. 4 扩展的序贯拍卖模型……………………………………………… 111 第9 章 数据安全与隐私保护………………………………………………… 114 9. 1 概述……………………………………………………………………… 115 9. 1. 1 基本概念………………………………………………………… 115 9. 1. 2 数据安全与数据管理生命周期……………………………………… 116 9. 2 数据安全存储、传输与访问…………………………………………… 117 9. 2. 1 加密存储和传输…………………………………………………… 117 9. 2. 2 访问控制………………………………………………………… 120 9. 3 数据安全检索与处理…………………………………………………… 121 9. 3. 1 安全检索………………………………………………………… 121 9. 3. 2 安全处理………………………………………………………… 124 9. 4 隐私保护………………………………………………………………… 125 9. 4. 1 基本概念………………………………………………………… 125 9. 4. 2 数据脱敏………………………………………………………… 127 9. 4. 3 k-匿名…………………………………………………………… 128 9. 2. 4 差分隐私………………………………………………………… 130