高等学校通识教育系列教材计算机基础与计算思维

第5章大数据技术 近几年，大数据技术迅猛发展，在各个领域都得到了广泛关注，推动了新一轮技术发展浪潮。大数据技术的发展，已被列为国家重大发展战略。随着大数据技术的发展，大数据处理及其行业应用价值有目共睹。本章将从大数据的发展背景、大数据的基本概念和特点、大数据处理主要技术等方面简要介绍大数据技术的基础知识。 5.1大数据概述 “大数据”一词已经无处不在，然而，其概念仍然存在混淆。大数据已被用于承载所有类型的概念，包括巨量的数据、社交媒体分析、下一代数据管理能力、实时数据等。无论是任何种类，人们都已经开始理解并且探索如何以新的方式处理并分析大量的信息。 5.1.1大数据的发展背景 近几年，大数据迅速发展成为科技界和企业界甚至世界各国政府关注的热点。人们对于大数据的挖掘和运用，预示着新一波生产力增长和消费浪潮的到来。美国政府认为大数据是“未来的钻石矿和新石油”，一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要体现，对数据的占有和控制将成为国家间和企业间新的争夺焦点。全球著名管理咨询公司麦肯锡(McKinsey&Company)首先提出了“大数据时代”的到来并声称： “数据已经渗透到当今各行各业的职能领域，成为重要的生产因素。” 随着计算机和信息技术的迅猛发展与普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。互联网(社交、搜索、电商)、移动互联网(微博、微信)、物联网(传感器、智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂地产生数据。例如，互联网领域中，谷歌搜索引擎的每秒使用用户量达到200万； 科研领域中，仅某大型强子对撞机在一年内积累的新数据量就达到15PB左右； 电子商务领域中，eBay的分析平台每天处理的数据量高达10PB，超过了纳斯达克交易所每天的数据处理量； “双十一”大型商业活动中，淘宝商城屡创神话，销售额由2010年的9亿元一路攀升到2017年的1682亿元，支付宝平台平均每秒成功交易25.6万笔，交易覆盖二百多个国家和地区； 航空航天领域中，仅一架双引擎波音737飞机在横贯大陆飞行的过程中，传感器网络便会产生近240TB的数据。综合各个领域，目前积累的数据量已经从TB量级上升至PB、EB甚至ZB量级，其数据规模已经远远超出了现有通用计算机所能够处理的量级。 根据全球著名咨询机构互联网数据中心(Internet Data Center，IDC)做出的估测，人类社会产生的数据一直都在以每年50%的速度增长，也就是说，每两年数据量就会增加一倍，即已形成了“大数据摩尔定律”，这意味着人类在*近两年产生的数据量相当于之前产生的全部数据量之和。据IDC统计，2011年全球被创建和复制的数据总量为1.8ZB，到2020年这一数据将攀升到35ZB，我国的数据量到2020年将超过8ZB，其中8%以上来自于个人(主要是图片、视频和音乐)，远远超过人类有史以来所有印刷材料的数据总量(200PB)。目前，全球的数据量正以每18个月至24个月翻一番的速度膨胀式增长，数据量的飞速增长也带来了大数据技术和服务市场的繁荣发展。 5.1.2大数据的基本概念 “大数据”一词由英文Big Data翻译而来，是近几年兴起的概念。往前追溯却发现由来已久，早在1980年就已由美国著名未来学家阿尔文·托夫勒在《第三次浪潮》一书中提及，并将大数据赞颂为“第三次浪潮的华彩乐章”。 1. 大数据的定义 “大数据”并不等同于“大规模数据”，那么何谓“大数据”呢？迄今并没有公认的定义，由于大数据是相对概念，因此，目前的定义都是对大数据的定性描述，并未明确定量指标。 维基(Wiki)百科给出的大数据概念是： 在信息技术中，“大数据”是指一些使用现有数据库管理工具或者传统数据处理应用很难处理的大型而复杂的数据集。其挑战包括采集、管理、存储、搜索、共享、分析和可视化。 麦肯锡公司认为将数据规模超出传统数据库管理软件的获取存储管理，以及分析能力的数据集称为大数据。 高德纳咨询公司(Gartner)则将大数据归纳为需要新处理模式才能增强决策力、洞察发现力和流程优化能力的海量高增长率和多样化的信息资产。 徐宗本院士在第462次香山科学会议的报告中，将大数据定义为不能够集中存储并且难以在可接受时间内分析处理，其中个体或部分数据呈现低价值性而数据整体呈现高价值的海量复杂数据集。 复旦大学朱扬勇教授提出，大数据本质上是数据交叉、方法交叉、知识交叉、领域交叉、学科交叉，从而产生新的科学研究方法、新的管理决策方法、新的经济增长方式、新的社会发展方式等。 虽说这些关于大数据定义的方式、角度及侧重点不同，但是所传递的信息基本一致，即大数据归根结底是一种数据集，其特性是通过与传统的数据管理及处理技术对比来凸显，并且在不同需求下，其要求的时间处理范围具有差异性，*重要的一点是大数据的价值并非来自数据本身，而是来自大数据所反映的“大决策”“大知识”“大问题”等。 从宏观世界角度来看，大数据则是融合物理世界、信息空间和人类社会三元世界的纽带，因为物理世界通过互联网、物联网等技术有了在信息空间中的大数据反映，而人类社会则借助人机界面、脑机界面、移动互联等手段在信息空间中产生自己的大数据映像。从信息产业角度来讲，大数据还是新一代信息技术产业的强劲推动力。所谓新一代信息技术产业，本质上是构建在第三代平台上的信息产业，主要是指云计算、大数据、物联网、移动互联网(社交网络)等。 2. 大数据产生的原因 “大数据”并不是一个凭空出现的概念，其出现对应了数据产生方式的变革，生产力决定生产关系的道理对于技术领域仍然是有效的，正是由于技术发展到了一定的阶段才导致海量数据被源源不断地生产出来，并使当前的技术面临重大挑战。归纳起来大数据出现的原因有以下几点。 1) 数据生产方式变得自动化 数据的生产方式经历了从结绳计数到现在的完全自动化，人类的数据生产能力已不可同日而语。物联网技术、智能城市、工业控制技术的广泛应用使数据的生产完全实现了自动化，自动数据生产必然会产生大量的数据。甚至当前人们所使用的绝大多数数字设备都可以被认为是一个自动化的数据生产设备： 我们的手机会不断与数据中心进行联系，通话记录、位置记录、费用记录都会被服务器记录下来； 我们用计算机访问网页时访问历史、访问习惯也会被服务器记录并分析； 我们生活的城市、小区遍布的传感器、摄像头会不断产生数据并保证我们的安全； 天上的卫星、地面的雷达、空中的飞机也都在不断地自动产生着数据。 2) 数据生产融入每个人的日常生活 在计算机出现的早期，数据的产生往往只是由专业的人员来完成的，能够有机会使用计算机的人员通常都是因为工作的需要，物理学家、数学家是*早使用计算机的人员。随着计算机技术的高速发展，计算机得到迅速普及，特别是手机和移动互联网的出现使数据的生产和每个人的日常生活结合起来，每个人都成为数据的生产者： 当你发出一条微博时，你在生产数据； 当你拍出一张照片时，你在生产数据； 当你使用手中的市民卡和银行卡时，你在生产数据； 当你在QQ上聊天时，你在生产数据； 当你在用微信发朋友圈或聊天时，你在生产数据； 当你在玩游戏时，你在生产数据。数据的生产已完全融入人们的生活： 在地铁上，你在生产数据； 在工作单位，你在生产数据； 在家里，你也在生产数据。个人数据的生产呈现出随时、随地、移动化的趋势，我们的生活已经是数字化的生活。 3) 图像、音频和视频数据所占比例越来越大 人类在过去几千年主要靠文字记录信息，随着技术的发展，人类越来越多地采用视频、图像和音频这类占用空间更大、更形象的手段来记录和传播信息。从前聊天用文字，现在用微信和视频，人们越来越习惯利用多媒体方式进行交流。城市中的摄像头每天都会产生大量视频数据，由于技术的进步，图像和视频的分辨率变得越来越高，数据变得越来越大。 4) 网络技术的发展为数据的生产提供了极大的方便 前面说到的几个大数据产生原因还缺乏一个重要的引子： 网络。网络技术的高速发展是大数据出现的重要催化剂： 没有网络的发展就没有移动互联网，我们就不能随时随地实现数据生产； 没有网络的发展就不可能实现大数据视频数据的传输和存储； 没有网络的发展就不会有现在大量数据的自动化生产和传输。网络的发展催生了云计算等网络化应用的出现，使数据的生产触角延伸到网络的各个终端，使任何终端所产生的数据能快速有效地被传输并存储。很难想象在一个网络条件很差的环境下能出现大数据，可以这么认为： 大数据的出现依赖于集成电路技术和网络技术的发展，集成电路为大数据的生产和处理提供了计算能力的基础，网络技术为大数据的传输提供了可能。 5) 云计算概念的出现进一步促进了大数据的发展 云计算这一概念是在2008年前后进入我国的，*早可以追溯到1960年人工智能之父麦卡锡所预言的“今后计算机将会作为公共设施提供给公众”。2012年3月，在国务院政府工作报告中，云计算被作为附录给出了一个官方的解释，表达了政府对云计算产业的重视。在政府工作报告中云计算的定义是这样的： “云计算是基于互联网的服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。是传统计算机和网络技术发展融合的产物，它意味着计算能力也可作为一种商品通过互联网进行流通。”云计算的出现使计算和服务都可以通过网络向用户交付，而用户的数据也可以方便地利用网络传递，云计算这一模式网络的作用被进一步凸显出来，数据的生产、处理和传输可以利用网络快速地进行，改变传统的数据生产模式，这一变化大大加快了数据的产生速度，对大数据的出现起到了至关重要的作用。 3. 大数据的特征 大数据的“大”是一个动态的概念，以前10GB的数据就是天文数字，而现在，在地球、物理、基因、空间科学等领域，TB级的数据集已经很普遍。大数据具备以下五个维度的特征(如图51所示)。 图51大数据的特征 (1) 大体量(Volume)。需要采集、处理、传输的数据容量大，数据量可从数百TB到数百PB甚至EB的规模。 (2) 多样化(Variety)。大数据所处理的数据类型早已不是单一的文本数据或者结构化的数据库中的表，而是包括各种格式和形态的数据，数据结构种类多，复杂度高。 (3) 时效性(Velocity)。很多大数据需要在一定时间限度下得到及时处理，处理数据的效率决定企业的生命。 (4) 准确性(Veracity)。大数据处理的结果要保证一定的准确性。 (5) 价值(Value)。大数据包含很多深度的价值，通过强大的机器学习和高级分析对数据进行“提纯”，能够带来巨大商业价值。 5.1.3典型大数据应用实例 1. 从谷歌流感趋势看大数据的应用价值 谷歌有一个名为“谷歌流感趋势”的工具，它通过跟踪搜索词相关数据来判断全美地区的流感情况(比如患者会搜索“流感”两个字)。如果这个工具发出警告，表明全美的流感已经进入“紧张”级别。它对于健康服务产业和流行病学专家来说是非常有用的，因为它的时效性极强，能够很好地对疾病暴发进行跟踪和处理。事实也证明，通过海量搜索词的跟踪获得的趋势报告是很有说服力的，例如，仅波士顿地区就有700例流感得到确认，该地区已宣布进入公共健康紧急状态。 这个工具工作的原理大致是这样的： 设计人员置入了一些关键词(比如温度计、流感症状、肌肉疼痛、胸闷等)，只要用户输入这些关键词，系统就会展开跟踪分析，创建地区流感图表和流感地图。谷歌多次把测试结果与美国疾病控制和预防中心的报告做比对，从图52可知，两者结论存在很大相关性。 图52谷歌把测试结果与美国疾病控制和预防中心的报告做比对