电力大数据全生命周期管理与技术

目录 前言 第1章 引言 1 1.1 背景 1 1.1.1 大数据战略背景 1 1.1.2 电力企业大数据业务背景 5 1.2 意义 5 1.3 主要研究内容 6 第2章 大数据全生命周期管理应用案例 7 2.1 大数据全生命周期管理在典型行业的应用案例 7 2.1.1 云上贵州大数据管理平台 7 2.1.2 Google大数据全生命周期管理案例 13 2.1.3 京东金融大数据全生命周期管理案例 16 2.2 电力大数据全生命周期管理内涵 28 2.2.1 数据资产类别 28 2.2.2 数据资产管理内容 29 2.3 数据全生命周期管理现状 31 2.3.1 数据现状 31 2.3.2 技术现状 32 2.3.3 应用现状 33 2.4 数据全生命周期管理问题与挑战 33 2.5 数据全生命周期管理建设原则与目标 34 2.5.1 数据全生命周期管理建设原则 34 2.5.2 数据全生命周期管理目标 35 2.6 电力大数据全生命周期管理体系架构 3 第3章 电力大数据采集 41 3.1 电力大数据的主要来源及特点 41 3.2 电力大数据采集系统架构 43 3.2.1 数据质量 43 3.2.2 数据采集架构 44 3.2.3 数据采集系统关键技术 46 3.2.4 基于多线程机制的电力大数据采集 47 3.3 电力大数据采集的应用建议 48 第4章 电力大数据存储与迁移 51 4.1 电力大数据存储 51 4.2 电力大数据分布式检索 54 4.3 电力大数据迁移应用建议 56 第5章 电力大数据共享与融合 59 5.1 数据共享 59 5.1.1 数据共享架构 59 5.1.2 Apache NiFi数据处理分发系统 59 5.2 数据融合方法 62 5.2.1 数据融合层级 62 5.2.2 基于语义的数据融合 65 5.3 电力大数据融合框架建议 68 5.3.1 电力知识图谱构建相关技术 69 5.3.2 电力知识图谱构建流程 71 第6章 电力大数据分析与挖掘 82 6.1 电力大数据分析流程 82 6.2 电力大数据分析框架 83 6.3 电力大数据挖掘 91 6.3.1 数据挖掘技术 91 6.3.2 大数据技术与电力行业的关联和影响 91 6.3.3 大数据技术在电力行业中的应用 91 6.3.4 电力信息数据挖掘步骤 94 6.4 电力大数据分析应用推荐 95 6.4.1 机器学习工具sklearn 96 6.4.2 深度学习工具Keras 98 第7章 电力大数据可视化 100 7.1 电力经营数据可视化 100 7.2 电网生产数据可视化 104 7.3 电力大数据可视化应用建议 109 第8章 电力大数据归档与销毁 112 8.1 数据归档技术 112 8.1.1 数据归档基本原理及步骤流程 112 8.1.2 基于ERP系统结构化数据归档技术 114 8.1.3 Tigge数据自动化归档技术 115 8.2 数据销毁技术 117 8.2.1 物理销毁 117 8.2.2 软件销毁 118 8.2.3 数据销毁的机制 119 第9章 电力大数据应用前景 120 9.1 基于大数据的企业风险预警与管控 120 9.1.1 基于大数据的电网企业舆情风险管控 121 9.1.2 基于深度学习的企业内部经营管理风险智能识别 123 9.2 电力大数据应用建议 126 9.2.1 面向社会服务与政府部门的应用 126 9.2.2 面向电力客户的服务类应用 127 9.2.3 面向国网公司运营和开发的应用 128 参考文献 130