大数据混合存储布局及其完整性审计方法研究

**章 数据存储基本知识 1.1 大数据 1.1.1 大数据概述 1.1.2 大数据的“4V”特征 1.1.3 大数据面临的挑战 1.2 大数据存储基础 1.2.1 硬件基础 1.2.2 存储协议 1.2.3 存储系统 l.3 混合存储系统 1.3.1 GFS分布式存储系统 1.3.2 ceph分布式混合存储系统 1.3.3 SSD—HDD混合存储系统 1.3.4 Hadoop中的HDFS存储系统 1.4 数据迁移概述 1.4.1 数据迁移背景及概念 1.4.2 数据迁移算法 本章小结 参考文献 第二章 负载均衡的数据动态存储布局策略 2.1 存储节点动态负载预测 2.1.1 负载状态影响因子 2.1.2 负载评估数学函数 2.1.3 负载变化特征分析 2.1.4 基于指数平滑法的节点负载预测 2.2 基于负载预测的数据布局 2.2.1 动态阈值计算模型 2.2.2 存储节点集合划分与选择 2.2.3 基于负载预测的数据动态存储布局策略 2.2.4 基于时间区间均衡的数据动态存储布局算法 2.3 实验与结果分析 2.3.1 实验方法 2.3.2 实验环境 2.3.3 实验结果分析 本章小结 参考文献 第三章 I／O并发的混合存储布局优化模型 3.1 负载均衡的SOR数据布局策略改进方法 3.1.1 SOR策略改进模型 3.1.2 数据指派模型构建 3.1.3 SP、SOR和改进策略对比实验 3.2 基于遗传算法的数据布局优化 3.2.1 传统遗传算法优化 3.2.2 自适应的交叉变异算子 3.3 实验与结果分析 3.3.1 实验参数 3.3.2 与传统遗传算法结果对比 3.3.3 优化布局算法对系统性能的影响 本章小结 参考文献 第四章 分布式存储集群系统布局优化方法 4.1 存储集群系统中机架感知的数据布局方法 4.1.1 编码数据块存储的数据布局策略与算法 4.1.2 单机架存储数据块策略性能分析 4.1.3 机架感知布局方法测试 4.2 存储集群系统中网络感知的数据布局方法 4.2.1 存储系统网络特征指标 4.2.2 指标应用与结果分析 4.2.3 基于网络感知的数据布局方法 4.2.4 布局方法实验测试 本章小结 参考文献 第五章 数据存储布局的多目标优化策略 5.1 基于负载均衡的文件指派策略 5.1.1 LFAS文件存储布局模型 5.1.2 存储系统的性能指标与负载变化表示 5.1.3 LFAS布局策略 5.2 基于多目标分解的副本布局优化策略 5.2.1 副本文件存储布局模型 5.2.2 目标函数优化 5.2.3 副本布局优化策略 5.3 实验与结果分析 5.3.1 文件指派策略实验环境 5.3.2 文件指派策略实验与结果分析 5.3.3 副本布局策略实验环境 5.3.4 副本布局策略实验与结果分析 本章小结 参考文献 第六章 数据安全迁移技术 6.1 数据迁移技术相关理论 6.1.1 数据迁移技术概述 6.1.2 数据价值的评估指标选取 6.1.3 基于熵权法的数据价值计算 6.1.4 基于数据价值大小的冷热数据识别 6.2 兼顾负载均衡与文件热度的数据迁移算法 6.2.1 混合存储系统数据迁移架构 6.2.2 兼顾负载均衡与文件热度的改进蚁群算法 6.2.3 改进蚁群算法的实现 6.3 实验与结果分析 6.3.1 实验方法 6.3.2 实验环境 6.3.3 实验结果分析 本章小结 参考文献 第七章 重复数据删除技术 7.1 云环境下应用感知的动态重复数据删除机制 7.1.1 传统重复数据删除技术 7.1.2 Hy—Dedup机制设计 7.1.3 Hy—Dedup机制的实验分析 7.2 移动闪存的重复数据删除技术 7.2.1 M—Dedupe重复数据删除技术架构 7.2.2 M—Dedupe技术设计 7.2.3 实验分析 7.3 基于云存储系统的自适应碎片恢复优化技术 7.3.1 化重写技术架构 7.3.2 化重写技术设计 7.3.3 实验分析 本章小结 参考文献 第八章 数据完整性审计方法 8.1 基于Hadoop的数据完整性分布式聚合审计方法 8.1.1 总体架构 8.1.2 证据聚合模型 8.1.3 基于Hadoop的分布式证据验证模型 8.1.4 基于负载均衡的动态延迟调度模型 8.1.5 实验与结果分析 8.2 基于ElGamal加密的动态多副本数据完整性审计方法 8.2.1 基于ElGamal加密的数据完整性审计算法设计 8.2.2 数据动态 新 8.2.3 安全性分析 8.2.4 实验性能分析 8.3 基于增量存储的多副本文件版本控制方法 8.3.1 文件版本控制方法 8.3.2 MRF、VCM方法设计 8.3.3 文件版本动态 新 8.3.4 文件版本请求与文件版本传递 8.3.5 实验与结果分析 8.4 基于分层多分支树的数据完整性审计方法 8.4.1 构造分层MBT认证结构 8.4.2 数据完整性审计过程 8.4.3 数据动态 新 8.4.4 安全性分析 8.4.5 实