Hadoop高级数据分析-使用Hadoop生态系统设计和构建大数据系统

第Ⅰ部分　概念 第1章　概述：用Hadoop构建数据分析 系统 3 1.1　构建DAS的必要性 4 1.2　Hadoop Core及其简史 4 1.3　Hadoop生态系统概述 5 1.4　AI技术、认知计算、深度学习 以及BDA 6 1.5　自然语言处理与BDAS 6 1.6　SQL与NoSQL查询处理 6 1.7　必要的数学知识 7 1.8　设计及构建BDAS的循环过程 7 1.9　如何利用Hadoop生态系统 实现BDA 10 1.10　“图像大数据”(IABD)基本 思想 10 1.10.1　使用的编程语言 12 1.10.2　Hadoop生态系统的多语言 组件 12 1.10.3　Hadoop生态系统架构 13 1.11　有关软件组合件与框架的 注意事项 13 1.12　Apache Lucene、Solr及其他： 开源搜索组件 14 1.13　建立BDAS的架构 15 1.14　你需要了解的事情 15 1.15　数据可视化与报表 17 1.15.1　使用Eclipse IDE作为开发 环境 18 1.15.2　本书未讲解的内容 19 1.16　本章小结 21 第2章　Scala及Python进阶 23 2.1　动机：选择正确的语言定义 应用 23 2.2　Scala概览 24 2.3　Python概览 29 2.4　错误诊断、调试、配置文件及 文档 31 2.4.1　Python的调试资源 32 2.4.2　Python文档 33 2.4.3　Scala的调试资源 33 2.5　编程应用与示例 33 2.6　本章小结 34 2.7　参考文献 34 第3章　Hadoop及分析的标准工具集 35 3.1　库、组件及工具集：概览 35 3.2　在评估系统中使用深度学习方法 38 3.3　使用Spring框架及Spring Data 44 3.4　数字与统计库：R、Weka及 其他 44 3.5　分布式系统的OLAP技术 44 3.6　用于分析的Hadoop工具集： Apache Mahout及相关工具 45 3.7　Apache Mahout的可视化 46 3.8　Apache Spark库与组件 46 3.8.1　可供选择的不同类型的shell 46 3.8.2　Apache Spark数据流 47 3.8.3　Sparkling Water与H2O 机器学习 48 3.9　组件使用与系统建立示例 48 3.10　封包、测试和文档化示例 系统 50 3.11　本章小结 51 3.12　参考文献 51 第4章　关系、NoSQL及图数据库 53 4.1　图查询语言：Cypher及 Gremlin 55 4.2　Cypher示例 55 4.3　Gremlin示例 56 4.4　图数据库：Apache Neo4J 58 4.5　关系数据库及Hadoop生态 系统 59 4.6　Hadoop以及UA组件 59 4.7　本章小结 63 4.8　参考文献 64 第5章　数据管道及其构建方法 65 5.1　基本数据管道 66 5.2　Apache Beam简介 67 5.3　Apache Falcon简介 68 5.4　数据源与数据接收：使用 Apache Tika构建数据管道 68 5.5　计算与转换 70 5.6　结果可视化及报告 71 5.7　本章小结 74 5.8　参考文献 74 第6章　Hadoop、Lucene、Solr与 高级搜索技术 75 6.1　Lucene/Solr生态系统简介 75 6.2　Lucene查询语法 76 6.3　使用Solr的编程示例 79 6.4　使用ELK栈(Elasticsearch、 Logstash、Kibana) 85 6.5　Solr与Elasticsearch：特点与 逻辑 93 6.6　应用于Elasticsearch和Solr的 Spring Data组件 95 6.7　使用LingPipe和GATE实现定制 搜索 99 6.8　本章小结 108 6.9　参考文献 108 第Ⅱ部分　架构及算法第7章　分析技术及算法概览 111 7.1　算法类型综述 111 7.2　统计/数值技术 112 7.3　贝叶斯技术 113 7.4　本体驱动算法 114 7.5　混合算法：组合算法类型 115 7.6　代码示例 116 7.7　本章小结 119 7.8　参考文献 119 第8章　规则引擎、系统控制与系统 编排 121 8.1　规则系统JBoss Drools介绍 121 8.2　基于规则的软件系统控制 124 8.3　系统协调与JBoss Drools 125 8.4　分析引擎示例与规则控制 126 8.5　本章小结 129 8.6　参考文献 129 第9章　综合提升：设计一个完整的分析 系统 131 9.1　本章小结 136 9.2　参考文献 136 第Ⅲ部分　组件与系统第10章　数据可视化：可视化与交互 分析 139 10.1　简单的可视化 139 10.2　Angular JS和Friends简介 143 10.3　使用JHipster集成Spring XD 和Angular JS 143 10.4　使用d3.js、sigma.js及其他 工具 152 10.5　本章小结 153 10.6　参考文献 153第Ⅳ部分　案例研究与应用第11章　生物信息学案例研究： 分析显微镜载玻片数据 157 11.1　生物信息学介绍 157 11.2　自动显微镜简介 159 11.3　代码示例：使用图像填充 HDFS 162 11.4　本章小结 165 11.5　参考文献 165 第12章　贝叶斯分析组件：识别信用 卡诈骗 167 12.1　贝叶斯分析简介 167 12.2　贝叶斯组件用于信用卡诈骗 检测 169 12.3　本章小结 172 12.4　参考文献 172 第13章　寻找石油：使用Apache Mahout 分析地理数据 173 13.1　基于领域的Apache Mahout推理 介绍 173 13.2　智能制图系统和Hadoop 分析 179 13.3　本章小结 180 13.4　参考文献 180 第14章　“图像大数据”系统：一些 案例研究 181 14.1　图像大数据简介 181 14.2　使用HIPI系统的**个代码 示例 184 14.3　BDA图像工具包利用高级语言 功能 187 14.4　究竟什么是图像数据分析？ 187 14.5　交互模块和仪表板 189 14.6　添加新的数据管道和分布式 特征查找 189 14.7　示例：分布式特征查找算法 190 14.8　IABD工具包中的低级图像 处理程序 194 14.9　术语 194 14.10　本章小结 195 14.11　参考文献 195 第15章　构建通用数据管道 199 15.1　示例系统的体系架构和描述 199 15.2　如何获取和运行示例系统 200 15.3　管道构建的五大策略 200 15.3.1　从数据源和接收装置 工作 200 15.3.2　由中间向外发展 200 15.3.3　基于企业集成模式(EIP)的 开发 200 15.3.4　基于规则的消息管道开发 201 15.3.5　控制 数据(控制流)管道 202 15.4　本章小结 202 15.5　参考文献 203 第16章　大数据分析的总结与展望 205 16.1　总结 205 16.2　大数据分析的现状 206 16.3　“孵化项目”和“初期 项目” 208 16.4　未来Hadoop及其后续思考 20916.5　不同观点：目前Hadoop的 替代方案 211 16.6　在“未来Hadoop”中使用机器 学习和深度学习技术 211 16.7　数据可视化和BDA的前沿 领域 212 16.8　结束语 212 附录A　设置分布式分析环境 215 附录B　获取、安装和运行示例分析 系统 227