Hadoop大数据处理技术基础与实践

hadoop基础与实践第1章hadoop概述1.1　hadoop来源和动机1.2　hadoop体系架构1.3　hadoop与分布式开发1.4　hadoop行业应用案例分析1.4.1　hadoop在门户网站的应用　1.4.2 hadoop在搜索引擎中的应用　1.4.3 hadoop在电商平台中的应用1.5小结第2章hadoop安装与配置管理　2.1 实验准备　2.2 配置一个单节点环境　2.2.1 运行一个虚拟系统centos　2.2.2 配置网络　2.2.3创建新的用户组和用户　2.2.4上传文件到centos并配置java、hadoop环境　2.2.5 修改hadoop2.2配置文件　2.2.6修改centos主机名　2.2.7绑定hostname与ip　2.2.8关闭防火墙　2.3节点之间的免密码通信　2.3.1什么是ssh　2.3.2 拷贝虚拟机节点　2.3.3 配置ssh免密码登录　2.4 hadoop的启动和测试　2.4.1 格式化文件系统2.4.2启动hdfs2.4.3　启动yarn2.4.4　管理jobhistory server2.4.5　集群验证2.4.6　需要了解的默认配置2.5动态管理节点　2.5.1 动态增加和删除datanode　2.5.2 动态修改tasktracker2.6小结第3章hdfs技术3.1hdfs的特点3.2hdfs架构3.2.1数据块3.2.2元数据节点与数据节点3.2.3辅助元数据节点3.2.4安全模式3.2.5负载均衡3.2.6垃圾回收3.3hdfs　shell命令3.3.1文件处理命令3.3.2dfsadmin命令3.3.3namenode命令3.3.4fsck命令3.3.5pipes命令3.3.6job命令3.4hdfs中java　api的使用3.4.1上传文件3.4.2新建文件3.4.3查看文件详细信息3.4.4下载文件3.5rpc通信3.5.1反射机制3.5.2代理模式与动态代理3.5.3hadoop　rpc机制与源码分析3.6小结第4章map/reduce技术4