大数据背后的核心技术

目 录
**部分 大数据基础理论分析 （1）
第1章 大数据基本概念 （2）
1.1 大数据定义 （2）
1.2 大数据度量 （3）
1.2.1 大数据能耗度量 （3）
1.2.2 大数据计算能力度量 （4）
1.2.3 大数据的数据中心服务能力度量 （4）
1.2.4 大数据商业与社会价值度量 （4）
1.2.5 大数据冷热度度量 （5）
1.3 语意计算的发展过程 （5）
1.3.1 语义计算（Semantic Computing） （5）
1.3.2 语意计算（Semantic Computing） （5）
1.3.3 语意计算（Semantic Computing） （6）
1.3.4 语意计算和大数据 （7）
1.4 大数据的语意理解 （8）
1.4.1 大数据资源语意存储 （9）
1.4.2 大数据资源语意信息获取 （9）
1.4.3 语意资源管理 （9）
1.4.4 大数据语意处理 （10）
1.4.5 大数据语意服务（语意分析/语意合成等） （10）
1.4.6 大数据语意安全与隐私 （10）
1.4.7 语意接口 （10）
1.4.8 基于语意的大数据应用 （10）
1.5 大数据和云计算 （11）
1.5.1 云计算 （11）
1.5.2 大数据和云计算的关系 （11）
本章小结 （12）
第2章 可编程数据中心 （13）
2.1 可编程数据中心体系架构 （13）
2.2 数据分配管理 （14）
2.2.1 数据分配管理原理 （14）
2.2.2 数据分配管理案例 （17）
2.3 异构数据节点分配管理 （19）
2.3.1 异构数据节点分配管理方法 （20）
2.3.2 异构数据节点服务能力计算方法 （22）
2.4 规则管理 （23）
2.4.1 规则 （23）
2.4.2 语意规则 （24）
2.4.3 海量语意规则管理架构 （24）
2.5 数据放置策略 （25）
2.5.1 谷歌的数据放置策略 （25）
2.5.2 Hadoop的数据放置策略 （26）
2.5.3 其他常用的数据放置策略 （26）
2.5.4 语意数据放置策略 （26）
2.6 可编程数据中心机房架构 （30）
本章小结 （30）
第3章 云文件系统 （32）
3.1 常用云文件系统综述 （32）
3.2 语意云文件系统SCFS （34）
3.2.1 SCFS系统架构 （34）
3.2.2 SCFS大小文件处理机制 （36）
3.2.3 数据一致性保障 （40）
3.2.4 元数据集群管理技术 （40）
3.2.5 副本管理策略（负载均衡机制） （41）
本章小结 （44）
第4章 云数据库系统 （45）
4.1 常用云数据库系统综述 （45）
4.2 语意云数据库系统SCloudDB （47）
4.2.1 SCloudDB系统架构 （47）
4.2.2 SCloudDB设计思路 （48）
4.2.3 SCloudDB的SRegion定位机制 （50）
4.2.4 多维及海量随机查询机制 （51）
4.2.5 支持多维及海量随机查询的语意搜索机制 （52）
4.2.6 大表划分方法 （54）
4.2.7 基于列族存储及语意的大表划分机制 （56）
4.2.8 分布式同步关键技术 （57）
本章小结 （59）
第5章 大数据并行编程与分析模型 （60）
5.1 大数据并行编程与分析模型综述 （60）
5.2 大数据并行编程与分析模型SemanMR （63）
5.2.1 SemanMR体系架构 （63）
5.2.2 SemanMR技术思路 （64）
5.3 SemanMR关键技术 （66）
5.3.1 基于语意的调度器关键技术 （66）
5.3.2 SemanMR的作业/任务状态交互新规则 （68）
5.3.3 语意映射器关键技术 （69）
5.3.4 基于语意的作业调度器关键技术 （70）
5.3.5 基于语意的任务调度器关键技术 （73）
5.3.6 任务跟踪器关键技术 （76）
5.4 SemanMR计算部分框架 （78）
5.5 SemanMR原理分析 （82）
5.5.1 SemanMR原理实现分析 （82）
5.5.2 SemanMR实现原理特点分析 （84）
5.6 基于SemanMR的大数据实时处理与分析实现技术 （88）
5.6.1 SemanMR实时架构 （88）
5.6.2 SemanMR的MapReduce网络优化技术 （89）
本章小结 （94）
第6章 大数据智能计算算法 （95）
6.1 大数据智能计算算法架构 （95）
6.2 数据采集算法 （95）
6.2.1 管理信息系统数据采集 （96）
6.2.2 网络信息数据采集 （96）
6.2.3 物理信息数据采集 （96）
6.3 数据预处理算法 （97）
6.4 数据挖掘算法 （99）
6.4.1 分类算法 （99）
6.4.2 聚类算法 （100）
6.4.3 关联挖掘算法 （101）
6.4.4 推荐算法 （101）
6.5 复杂智能算法 （103）
6.5.1 大数据溯源算法 （103）
6.5.2 大数据的相关推荐算法 （105）
6.5.3 基于大数据的决策管理算法 （105）
6.5.4 基于模型的推理及预测算法 （106）
6.5.5 基于数据的推理及预测算法 （107）
6.5.6 基于规则的推理及预测算法 （109）
6.5.7 混合推理及预测算法 （109）
本章小结 （109）
第7章 基于大数据的数据仓库技术 （110）
7.1 Facebook中Hive采用的技术思路与存在问题分析 （110）

7.1.1 Hive采用的技术思路分析 （110）
7.1.2 Hive存在的问题分析 （111）
7.2 Yahoo!中Pig采用的技术思路与存在问题分析 （111）
7.2.1 Pig采用的技术思路分析 （111）
7.2.2 Pig存在的问题分析 （112）
7.3 未来数据仓库架构需求分析 （113）
7.4 一种基于大数据的数据仓库SemanDW （114）
本章小结 （114）
第8章 大数据安全与隐私保护 （115）
8.1 大数据安全模型BigData-PKI （115）
8.1.1 大数据安全体系结构 （115）
8.1.2 大数据安全模型BigData-PKI （116）
8.2 大数据安全协议BigData-Protocol （118）
8.3 大数据隐私 （120）
8.4 大数据的隐私提取方法 （121）
8.4.1 大数据的直接隐私提取方法 （121）
8.4.2 大数据的间接隐私提取方法 （121）
8.5 大数据隐私保护模型BigData-Privacy （122）
8.6 大数据共享信息与隐私信息融合技术 （122）
8.6.1 大数据的共享信息与隐私信息融合机制 （123）
8.6.2 大数据的共享信息与隐私信息融合算法 （123）
8.6.3 大数据的共享信息与隐私信息融合质量评价模型 （123）
8.7 云环境下医疗大数据安全和隐私保护示范 （125）
8.7.1 云环境下大数据安全和隐私保护架构 （125）
8.7.2 数据分割及安全机制 （127）
8.7.3 数据融合及安全机制 （129）
8.7.4 基于隐私数据的查询机制 （130）
8.7.5 数据完整性保障机制 （131）
8.8 海量电子病历安全保护应用 （133）
本章小结 （134）
第9章 基于大数据的语意软件工程方法 （135）
9.1 基于大数据的语意软件工程体系架构 （136）
9.2 基于大数据的语意软件编制 （136）
9.2.1 基于大数据的语意软件编制方法 （136）
9.2.2 基于大数据的语意软件编制方法设计思路 （137）
9.2.3 复杂的SemanPL程序编程实现原理分析 （138）
9.2.4 基于大数据的语意编程语言SemanPL （139）
9.2.5 SemanPL编译器原理分析 （141）

9.3 基于大数据的语意软件测试 （143）
9.4 基于大数据的语意软件验证 （143）
9.5 基于大数据的语意软件工程方法的语意软件系统应用 （144）
本章小结 （144）
第二部分 基于海量语意规则的大数据流处理技术 （145）
第10章 基于规则的大数据流处理介绍 （147）
10.1 基于规则的大数据流 （147）
10.1.1 基于规则的大数据流应用背景 （147）
10.1.2 基于规则的大数据流应用意义 （148）
10.2 大数据流的规则处理技术国内外研究现状 （149）
10.3 存在的问题总结与分析 （153）
本章小结 （154）
第11章 语意规则描述模型 （155）
11.1 规则表示方法 （155）
11.2 规则节点图形化符号表示模型 （155）
11.2.1 非计算规则节点 （156）
11.2.2 计算规则节点 （156）
11.3 规则粒度 （158）
11.4 规则节点流量分析 （159）
11.5 计算规则节点计算代价分析 （163）
本章小结 （167）
第12章 海量语意规则网及优化 （168）
12.1 海量语意规则网概述 （168）
12.2 海量语意规则网维护 （169）
12.2.1 海量语意规则网增量集成 （169）
12.2.2 删除规则节点时的规则网维护 （170）
12.3 海量语意规则网优化方法 （171）
12.3.1 基于规则合并的优化方法 （171）
12.3.2 规则模块等价变换的优化方法 （173）
本章小结 （183）
第13章 海量语意规则处理算法 （184）
13.1 传统规则处理算法存在的问题 （184）
13.2 海量语意规则模式匹配模型 （185）
13.2.1 海量语意规则模式匹配模型体系结构 （185）
13.2.2 概念与介绍 （186）
13.2.3 模式网络存储组织 （186）
13.2.4 海量语意规则模式匹配算法 （188）
13.3 海量语意规则模式匹配算法特点 （192）
13.4 海量语意规则网运行处理机制 （195）
本章小结 （198）
第14章 海量语意规则并行处理 （199）
14.1 海量语意规则并行处理面临的问题 （199）
14.2 海量语意规则并行处理机制 （200）
14.2.1 海量语意规则并行处理机制GAPCM概述 （200）
14.2.2 海量语意规则子网生成 （201）
14.2.3 海量语意规则网计算代价预分配 （202）
14.2.4 海量语意规则网通信 （219）
14.2.5 映射分配 （220）
本章小结 （221）
第三部分 大数据应用 （223）
第15章 文化大数据 （224）
15.1 文化大数据的意义 （224）
15.2 文化大数据关键技术平台架构 （225）
15.3 文化大数据资源层 （226）
15.4 文化大数据综合平台层 （227）
15.5 基于文化大数据的应用 （228）
15.6 文化大数据云管理系统 （232）
本章小结 （234）
第16章 医疗健康大数据 （235）
16.1 医疗健康大数据 （235）
16.2 医疗健康大数据平台架构 （235）
16.3 医疗健康大数据共享平台 （237）
16.3.1 集中式医疗健康大数据共享平台 （237）
16.3.