包邮基于市场监管大数据的共享融合研究

第1章 绪论 ............................................................................................................ 1 1.1 背景 .............................................................................................................. 2 1.2 意义 .............................................................................................................. 3 1.3 研究内容和方法 .......................................................................................... 4 1.3.1 系统逻辑架构 .................................................................................. 4 1.3.2 研究内容 .......................................................................................... 9 1.3.3 技术路线 ........................................................................................ 10 1.4 研究创新点 ................................................................................................ 11 1.5 组织结构 .................................................................................................... 12 第2章 相关政策及国内外研究现状 ...................................................................... 14 2.1 市场监管大数据相关政策......................................................................... 15 2.1.1 市场监管应用系统 ........................................................................ 15 2.1.2 制度规范 ........................................................................................ 16 2.1.3 大数据来源 .................................................................................... 16 2.1.4 大数据综合分析 ............................................................................ 17 2.2 数据归集研究现状 .................................................................................... 17 2.2.1 基于元数据的异构数据集成框架................................................. 18 2.2.2 基于本体的异构数据集成框架 .................................................... 19 2.2.3 基于XML的异构数据集成框架 .................................................. 19 2.3 数据融合研究现状 .................................................................................... 20 2.3.1 信息融合基础理论 ........................................................................ 20 2.3.2 多源数据融合 ................................................................................ 21 2.4 数据资源目录研究现状 ............................................................................ 23 2.4.1 资源分类 ........................................................................................ 23 2.4.2 资源目录标准 ................................................................................ 25 2.4.3 资源目录 ........................................................................................ 26 2.5 共享安全设计研究现状 ............................................................................ 27 2.5.1 大数据安全共享与可信服务 ........................................................ 27 2.5.2 大数据存储安全 ............................................................................ 33 2.6 文献评述 .................................................................................................... 35 第3章 江苏省市场监管数据管理概况及建设需求 ................................................ 37 3.1 总体情况 .................................................................................................... 38 3.2 原业务系统的数据 .................................................................................... 40 3.2.1 原工商局数据 ................................................................................ 40 3.2.2 原质监局数据 ................................................................................ 40 3.2.3 原食药监局数据 ............................................................................ 41 3.2.4 原知识产权局数据 ........................................................................ 41 3.3 各业务系统网络连接现状......................................................................... 41 3.4 各业务系统特点 ........................................................................................ 42 3.5 系统功能需求分析 .................................................................................... 45 第4章 市场监管全生命周期数据治理 .................................................................. 49 4.1 全生命周期数据治理系统需求分析 ......................................................... 50 4.1.1 数据全生命周期的界定 ................................................................ 50 4.1.2 市场监管数据治理需求分析 ........................................................ 51 4.2 全生命周期数据治理系统架构设计 ......................................................... 54 4.2.1 数据治理系统设计原则和选型 .................................................... 54 4.2.2 数据治理系统功能架构 ................................................................ 56 4.2.3 数据治理系统多层级构建策略 .................................................... 57 4.2.4 数据治理流程 ................................................................................ 58 4.3 全生命周期数据治理系统设计 ................................................................. 59 4.3.1 数据标准管理服务 ........................................................................ 59 4.3.2 元数据管理服务 ............................................................................ 64 4.3.3 基础数据管理服务 ........................................................................ 71 4.3.4 数据质量管理服务 ........................................................................ 74 4.3.5 数据模型管理服务 ........................................................................ 82 第5章 市场监管数据的归集 ................................................................................. 85 5.1 多源数据归集系统分析 ............................................................................ 86 5.1.1 系统主要用户与边界 .................................................................... 86 5.1.2 系统功能需求分析 ........................................................................ 87 5.2 多源数据归集系统设计 ............................................................................ 88 5.2.1 数据归集的原则 ............................................................................ 88 5.2.2 数据归集系统的总体框架设计 .................................................... 89 5.2.3 数据归集系统的技术架构设计 .................................................... 92 5.3 基于ETL技术的多源异构数据全量采集 ............................................... 94 5.4 基于相似度算法的多源语义自动适配归集 ........................................... 101 5.4.1 多源语义自动适配归集 .............................................................. 101 5.4.2 基于相似度算法获取数据匹配度............................................... 102 5.5 基于Flume技术的实时数据采集 .......................................................... 106 5.6 基于Hadoop平台的数据存储和计算 .................................................... 111 第6章 基于知识图谱的市场监管数据融合 ......................................................... 116 6.1 市场监管数据融合需求分析 ................................................................... 117 6.1.1 市场监管数据融合面临的挑战 .................................................. 117 6.1.2 市场监管数据融合需求及建设目标 ........................................... 119 6.2 市场监管知识图谱的构建....................................................................... 120 6.2.1 市场监管知识图谱构成元素 ...................................................... 120 6.2.2 市场监管知识图谱的构建流程 .................................................. 121 6.3 基于元数据构建市场监管知识体系局部E-R图 .................................... 125 6.4 市场监管知识抽取 .................................................................................. 127 6.4.1 面向结构化数据的知识抽取 ...................................................... 127 6.4.2 面向非结构化数据的知识抽取 .................................................. 132 6.5 市场监管深层次知识融合....................................................................... 139 6.5.1 基于决策树模型的共指消解 ...................................................... 139 6.5.2 基于实体链接的实体消歧 .......................................................... 143 6.6 市场监管知识存储管理 .......................................................................... 147 6.7 市场监管局部知识图谱实体可视化 ....................................................... 149 第7章 市场监管集成数据的管理和共享机制 ..................................................... 152 7.1 数据资产管理 .......................................................................................... 153 7.1.1 数据资产管理流程 ...................................................................... 153 7.1.2 数据资产管理系统技术架构 ...................................................... 154 7.1.3 数据资产可视化技术 .................................................................. 156 7.1.4 数据资产检索与智能推荐服务 .................................................. 158 7.2 集成数据资源目录管理 .......................................................................... 158 7.2.1 集成数据资源目录的活动 .......................................................... 161 7.2.3 数据资源目录体系的技术模块 .................................................. 165 7.3 集成数据共享服务系统设计 ................................................................... 175 7.3.1 数据共享服务的原则 .................................................................. 176 7.3.2 数据共享服务系统的设计架构 .................................................. 176 第8章 市场监管数据共享安全设计 .................................................................... 186 8.1 市场监管数据共享安全风险分析 ........................................................... 187 8.2 市场监管数据共享安全保障框架 ........................................................... 188 8.2.1 设计目标 ...................................................................................... 188 8.2.2 设计原则 ...................................................................................... 189 8.2.3 设计框架 ...................................................................................... 189 8.3 市场监管数据脱敏技术实现 ................................................................... 201 8.3.1 数据脱敏技术实现流程 .............................................................. 201 8.3.2 敏感数据发现 .............................................................................. 202 8.3.3 数据脱敏规则 .............................................................................. 206 8.3.4 数据脱敏引擎 .............................................................................. 212 8.4 基于TrustZone技术的市场监管数据加密方法实现 ............................ 213 8.4.1 数据加密模块需求分析与概要设计 ........................................... 213 8.4.2 密钥管理模块需求分析与设计 .................................................. 217 8.5 基于区块链技术的市场监管数据安全共享 ........................................... 219 8.5.1 区块链+市场监管的技术架构 .................................................... 219 8.5.2 区块链+市场监管的食品监管应用场景 .................................... 220 8.6 市场监管数据共享安全管控平台 ........................................................... 224 8.6.1 市场监管数据共享安全管控平台架构设计 ............................... 224 8.6.2 市场监管数据共享安全管控平台功能设置 ............................... 225 第9章 总结与展望 ............................................................................................. 229 9.1 总结 .......................................................................................................... 230 9.2 展望 .......................................................................................................... 232 参考文献 ............................................................................................................... 233