大数据导论

大数据导论数据与大数据时代11.1什么是大数据21.1.1天文学——信息爆炸的起源31.1.2大数据的定义61.1.3用3v描述大数据特征71.1.4广义的大数据91.2大数据变革思维91.3大数据的结构类型101.4大数据的发展111.4.1硬件性价比提高与软件技术进步111.4.2云计算的普及121.4.3大数据作为bi的进化形式121.4.4从交易数据分析到交互数据分析13第2章大数据的可视化192.1数据与可视化212.1.1数据的可变性222.1.2数据的不确定性232.1.3数据所依存的背景信息242.1.4打造*好的可视化效果252.2数据与图形252.2.1数据与走势262.2.2视觉信息的科学解释282.2.3图片和分享的力量292.3公共数据集302.4实时可视化312.5挑战图像的多变性322.6数据可视化的运用332.6.1可视化对认知的帮助342.6.27个数据类型352.6.37个基本任务362.6.4数据可视化的挑战38第3章大数据的商业规则453.1大数据的跨界年度463.2谷歌的大数据行动473.3亚马逊的大数据行动493.4将信息变成一种竞争优势503.4.1数据价格下降，数据需求上升513.4.2大数据应用程序的兴起523.4.3实时响应，大数据用户的新要求533.4.4企业构建大数据战略533.5大数据营销543.5.1像媒体公司一样思考543.5.2营销面对新的机遇与挑战553.5.3自动化营销563.5.4为营销创建高容量和高价值的内容573.5.5内容营销573.5.6内容创作与众包583.5.7用投资回报率评价营销效果59第4章大数据时代的思维变革654.1大数据时代的大挑战674.2转变之一: 样本=总体684.2.1小数据时代的随机采样684.2.2大数据与乔布斯的癌症治疗714.2.3全数据模式: 样本=总体724.3转变之二: 接受数据的混杂性744.3.1允许不精确744.3.2大数据的简单算法与小数据的复杂算法764.3.3纷繁的数据越多越好774.3.4混杂性是标准途径784.3.5新的数据库设计794.3.65%的数字数据与95%的非结构化数据814.4转变之三: 数据的相关关系814.4.1关联物，预测的关键814.4.2“是什么”，而不是“为什么”844.4.3通过因果关系了解世界844.4.4通过相关关系了解世界86第5章大数据促进医疗与健康935.1大数据与循证医学955.2大数据带来的医疗新突破965.2.1量化自我，关注个人健康975.2.2可穿戴的个人健康设备985.2.3大数据时代的医疗信息995.2.4cellminer——对抗癌症的新工具1005.3医疗信息数字化1025.4搜索: 超级大数据的*佳伙伴1045.5数据决策的成功崛起1055.5.1数据辅助诊断1065.5.2你考虑过……了吗1065.5.3大数据分析使数据决策崛起107第6章大数据激发创造力1126.1大数据帮助改善设计1146.1.1少而精是设计的核心1156.1.2与玩家共同设计游戏1166.1.3以人为本的汽车设计理念1166.1.4寻找*佳音响效果1186.1.5建筑，数据取代直觉1196.2大数据操作回路1196.2.1信号与噪声1206.2.2大数据反馈回路1206.2.3*小数据规模1216.2.4大数据应用程序的优势与作用1216.3大数据资产的崛起1226.3.1大数据催生崭新的应用程序1226.3.2寻找大数据“空白”，提取*大价值122第7章大数据预测分析1267.1什么是预测分析1307.1.1预测分析的作用1307.1.2行业应用举例1317.2数据情感和情感数据1327.2.1从博客观察集体情感1327.2.2预测分析博客中的情绪1337.2.3影响情绪的重要因素——金钱1357.3数据具有内在预测性1367.4情感的因果关系1377.4.1焦虑指数与标普500指数1377.4.2验证情感和被验证的情感1387.4.3情绪指标影响金融市场139第8章大数据促进学习1498.1打造网络教育体系1528.1.1典型的网络教育形式1528.1.2未来的教育: 线上线下结合1538.1.3跟踪教学效果1548.1.4形成学习能力1558.2机器学习及其研究1558.2.1什么是人工智能1568.2.2什么是机器学习1578.2.3基本结构1598.2.4研究领域1608.3机器学习的分类1608.3.1基于学习策略的分类1608.3.2基于所获取知识的表示形式分类1618.3.3按应用领域分类1628.3.4按学习形式分类162第9章大数据在云端1719.1云端大数据1739.1.1什么是云计算1739.1.2云计算的服务形式1749.1.3云计算与大数据1759.1.4云基础设施1769.2计算虚拟化1769.3大数据存储1779.3.1传统存储系统时代1789.3.2大数据时代的新挑战1789.3.3分布式存储1809.3.4云存储1809.3.5大数据存储的其他需求1819.4网络虚拟化1829.4.1网卡虚拟化1829.4.2虚拟交换机1839.4.3接入层的虚拟化1849.4.4覆盖网络虚拟化1849.4.5软件定义的网络1849.4.6对大数据处理的意义1859.5数据即服务1859.5.1数据应用1859.5.2数据清理1859.5.3数据保密1869.6云的挑战186第10章支撑大数据的技术19310.1开源技术的商业支援19510.2大数据的技术架构19610.3什么是hadoop19710.3.1什么是分布式系统19710.3.2hadoop的由来19910.3.3hadoop的优势20010.3.4hadoop的发行版本20010.4大数据的数据处理基础20210.4.1hadoop与nosql20310.4.2nosql与rdbms的主要区别20410.4.3newsql20610.5相关的大数据技术20710.5.1神经网络20710.5.2自然语言处理20810.5.3语义检索20910.5.4链接挖掘21010.5.5a/b测试210第11章数据科学与数据科学家21711.1什么是数据科学21811.2数据分析生命周期模型21911.3数据科学家22111.3.1大数据生态系统中的关键角色22211.3.2数据科学家所需的技能22311.3.3数据科学家所需的素质22611.3.4数据科学家的学习内容22711.4数据科学的重要技能22911.4.1数据科学技能和熟练程度23011.4.2重要数据科学技能23011.4.3因职业角色而异的十大技能23111.4.4职业角色的重要技能233第12章大数据的未来24012.1消费者的隐私权24212.2连接开放数据24412.2.1lod运动24412.2.2对政府公开的影响24512.2.3利用开放数据的创业型公司24712.3数据市场的兴起24712.3.1factual24812.3.2windows azure marketplace24812.3.3infochimps24812.3.4public data sets on aws24912.3.5不同的商业模式24912.4将原创数据变为增值数据25012.5大数据未来展望25112.5.1大数据存储和管理25212.5.2传统it系统到大数据系统的过渡25212.5.3大数据分析25312.5.4大数据安全25412.5.5数据科学254参考文献266