大数据技术与应用

目 录前言 第1章 大数据概述1.1 什么是大数据1.1.1 大数据的定义1.1.2 用3v描述大数据的特征1.1.3 广义的大数据1.2 大数据的结构类型1.3 大数据的发展1.3.1 硬件性价比提高与软件技术进步1.3.2 云计算的普及1.3.3 大数据作为bi的进化形式1.3.4 从交易数据分析到交互数据分析1.4 大数据技术的意义1.5 延伸阅读：得数据者得天下1.6 实验与思考：了解大数据及其在线支持第2章 大数据的行业应用2.1 奥巴马的竞选大数据2.2 大都市的智能交通2.3 互联网企业对大数据的运用2.4 互联网竞拍公司ebay2.4.1 超乎寻常的数据产生速度2.4.2 ebay的数据分析基础架构2.5 游戏分析公司zynga2.5.1 社交游戏经济的重要指标2.5.2 提高病毒系数的方法2.5.3 数据驱动游戏2.5.4 三次点击法则2.6 延伸阅读：大数据正在改变汽车保险2.7 实验与思考：熟悉大数据应用第3章 大数据的基础设施3.1 云端大数据3.1.1 什么是云计算3.1.2 云计算的服务形式3.1.3 云计算与大数据3.1.4 云基础设施3.1.5 云平台3.2 计算虚拟化3.3 存储虚拟化（大数据存储）3.3.1 传统存储系统时代3.3.2 大数据时代的新挑战3.3.3 分布式存储3.3.4 云存储及存储虚拟化3.3.5 大数据存储的其他需求及特点3.4 网络虚拟化3.4.1 网卡虚拟化3.4.2 虚拟交换机3.4.3 接入层的虚拟化3.4.4 覆盖网络虚拟化3.4.5 软件定义的网络（sdn）3.4.6 对大数据处理的意义3.5 云环境基础架构的安全3.6 延伸阅读：用云数据提高农业产量并做出决策3.7 实验与思考：了解大数据的基础设施第4章 大数据技术基础4.1 技术进步与摩尔定律4.2 大数据的技术架构4.3 大数据的运用形式4.4 大数据运用模式的分类4.4.1 个别优化•批处理型4.4.2 个别优化•实时型4.4.3 整体优化•批处理型4.4.4 整体优化•实时型4.5 大数据的运用级别4.5.1 对过去/现状的把握4.5.2 发现模式4.5.3 预测4.5.4 优化4.6 大数据运用的真正价值4.7 相关的大数据技术4.7.1 神经网络4.7.2 自然语言处理4.7.3 语义检索4.7.4 链接挖掘4.7.5 a/b测试4.8 延伸阅读：高科技促使大数据互联网金融步入快车道4.9 实验与思考：熟悉大数据的技术基础第5章 hadoop分布式架构5.1 什么是分布式系统5.2 什么是hadoop5.2.1 hadoop的由来5.2.2 hadoop的优势5.2.3 hadoop的发行版本5.2.4 发行版本众多的原因5.3 hadoop架构元素5.4 hadoop集群系统5.5 hadoop开源实现5.6 hadoop信息安全5.7 hadoop考试认证与开源社区5.8 延伸阅读：有一家大数据公司声称要做地球的操作系统5.9 实验与思考：什么是hadoop第6章 大数据管理6.1 大数据的数据处理基础6.2 大数据事务处理（oltp）6.2.1 传统oltp系统6.2.2 nosql6.2.3 newsql6.3 大数据分析处理（olap）6.3.1 olap与数据立方体6.3.2 分布式大规模批量处理（mapreduce/hadoop）6.3.3 hadoop hdfs分布式文件系统6.3.4 mapreduce计算模型6.3.5 mpp数据库6.3.6 分析型数据库的特征6.4 流数据管理（实时数据处理）6.5 自行开发流数据处理技术6.6 延伸阅读：“大数据时代预言家”提醒学校规避“数据独裁”6.7 实验与思考：了解大数据管理技术第7章 大数据分析7.1 数据分析的演变7.1.1 数据分析的商业驱动力7.1.2 数据分析环境的演变7.1.3 传统分析架构7.2 大数据分析平台7.2.1 敏捷计算平台7.2.2 线性扩展能力7.2.3 全方位、遍布式、协作性用户体验7.3 大数据与数据挖掘7.3.1 什么是数据挖掘7.3.2 数据挖掘解决的商业问题7.4 数据挖掘的高级分析方法7.4.1 分类7.4.2 聚类分析7.4.3 关联规则7.4.4 回归分析7.4.5 预测7.4.6 序列分析7.4.7 偏差分析7.5 数据挖掘项目的生命周期7.5.1 商业问题的形成7.5.2 数据收集7.5.3 数据清理和转换7.5.4 模型构建7.5.5 模型评估7.5.6 报告和预测7.5.7 应用集成7.5.8 模型管理7.6 大数据可视化7.6.1 数据可视化的运用7.6.2 可视化对认知的帮助7.6.3 七个数据类型7.6.4 七个基本任务7.6.5 数据可视化的挑战7.7 延伸阅读：什么是大数据分析做不了的？7.8 实验与思考：了解大数据分析技术第8章 人工智能与机器学习8.1 什么是人工智能8.1.1 人工智能的定义8.1.2 数据的相关性8.1.3 大数据中的因果关系8.2 机器学习及其研究8.2.1 什么是机器学习8.2.2 基本结构8.2.3 研究领域8.3 机器学习的分类8.3.1 基于学习策略的分类8.3.2 基于所获取知识的表示形式的分类8.3.3 按应用领域分类8.3.4 按学习形式分类8.4 延伸阅读：zestfinance公司的金融风险平估8.5 实验与思考：了解人工智能，熟悉机器学习第9章 数据科学与数据科学家9.1 什么是数据科学9.2 数据分析生命周期模型9.2.1 模型概述9.2.2 阶段1：探索发现9.2.3 阶段2：数据准备9.2.4 阶段3：模型规划9.2.5 阶段4：模型建造9.2.6 阶段5：沟通结果9.2.7 阶段6：项目实施9.3 数据科学家9.3.1 大数据生态系统中的关键角色9.3.2 数据科学家所需的技能9.3.3 数据科学家所需的素质9.3.4 数据科学家的学习内容9.4 延伸阅读：基于技能的改善数据科学实践的方法9.5 实验与思考：了解数据科学，熟悉数据科学家第10章 开放数据的时代10.1 大数据时代的隐私问题10.1.1 隐私与创新10.1.2 社交化档案的是非10.1.3 消费者隐私权法案10.2 连接开放数据10.2.1 lod运动10.2.2 对政府公开的影响10.2.3 创业型公司——综合气候保险10.3 数据市场的兴起10.3.1 factual10.3.2 windows azure marketplace10.3.3 infochimps10.3.4 public data sets on aws10.4 不同的商业模式10.5 延伸阅读：美国几乎可监控网民所有的网络活动10.6 实验与思考：了解大数据时代 的安全与隐私保护第11章 大数据发展与展望11.1 大数据时代的企业it战略11.2 拥有原创数据的优势11.3 供应商企业的新商机：数据聚合商11.3.1 数据聚合商的作用11.3.2 谁能成为数据聚合商11.4 支付服务商向数据聚合商的演化11.4.1 visa11.4.2 paypal11.4.3 美国运通11.5 数据整合之妙：将原创数据变为增值数据11.6 大数据未来展望11.6.1 大数据的存储和管理11.6.2 传统it系统到大数据系统的 过渡 11.6.3 大数据分析11.6.4 大数据安全11.7 延伸阅读：智能大数据分析或 成热点11.8 课程实验总结11.8.1 实验的基本内容11.8.2 实验的基本评价11.8.3 课程学习能力测评11.8.4 大数据技术与应用实验总结11.8.5 实验总结评价（教师）参考文献