云边端协同的知识服务:理论与应用

第1章　绪论 1.1　互联网网络服务的演变 党的十八大以来，以习近平同志为核心的党中央高度重视互联网行业发展，提出了网络强国、网络空间命运共同体的战略思想。1961年麻省理工学院提出了将计算机互相连接进而完成人与人信息交互的概念，同年又发表了一篇关于包交换的文章。1974年，美国国防部高级研究计划局首次提出传输控制协议(transmission control protocol，TCP)，随后，1978年，其分解成TCP和网际互连协议(Internet protocol，IP)。1984年，基于域名系统(domain name system，DNS)，用户可以在不了解到另一个节点确切路径的情况下完成通信，这标志着“互联网”大规模信息交换的开始。 1995年开始，互联网之风漂洋过海来到中国，直至2005年这段时间，被称为Web 1.0时代。其中，1997年全国拨号入网用户达到25万人，此时的互联网代表产品主要包括门户网站和电子公告板(bulletin board system，BBS)类。1998年，微软发布的Windows98操作系统为更多普通民众接入互联网提供了机会，使论坛、在线聊天室快速发展起来。截至2001年，全国网民人数达到2200万人。紧跟其后，以《传奇》《大话西游》为代表的网游逐渐兴起、火爆，以淘宝为首的电商也得到快速发展。*终，全国网民人数在2005年破亿。同年，全球开启了Web 2.0时代，即由公司主导输出内容转变为由用户主导生成内容的互联网产品模式。 2005年开始，大量视频网站、社交网络服务(social network service，SNS)兴起，用户的集体智慧成了互联网的主导者，整个互联网的大生态也从“封闭”转为“开放”。2008年，随着Android操作系统的发布以及第三代(3G)移动通信技术的逐步商用，中国迎来了移动互联网时代，微博、知乎、微信等应用也率先出现在人们的视野。2013年开始，智能手机大范围普及，为了获取更多的红利，企业将重点转移到实体服务中。正是这个时段，美团、滴滴等线上到线下(online to offline，O2O)的公司涌现出新兴的势头。近年来，全球正在向Web 3.0时代过渡。具体地，网络逐步拥有“智能思考”的能力，即可按需分配网络资源、保障用户个性化需求，甚至可以根据环境变化动态提升安全性能的能力。 总的来说，由于商业和技术的驱动，互联网已经实现了点对点到多点对多点通信方式的改变，并且致力于突破尽力而为到保障服务质量(quality of service， QoS)、甚至精准服务的模式转变。另外，互联网的使用从个体通信、获取资讯、分享日常已经扩展到更广阔的场景，包括无人机通信[1]、卫星通信[2]、海洋通信[3]等。整体上，互联网生态内终将形成“空天地海”一体化交织的繁荣景象。 1.2　互联网服务使能技术 伴随移动通信技术的快速迭代更新，互联网的生态技术也不断发展。目前，“互联网+ABCDE”的概念深入人心，且其整体发展和应用水平逐渐成为衡量一个国家综合实力的重要指标。其中，ABCDE具体指代人工智能(artificial intelligence，AI)、区块链(blockchain)、云计算(cloud computing)、数据(data)和边缘计算(edge computing)。互联网相关的使能技术分析如下。 1. 移动通信技术 移动通信技术是互联网信息交换的基础。**代(1G)移动通信技术从高级移动电话系统(advanced mobile phone system，AMPS)的研制出发，*终实现了模拟信号的调制及传输。在第二代(2G)移动通信系统中，业界人员提出了全球移动通信系统(global system for mobile communication，GSM)和窄带码分多址(code division multiple access，CDMA)技术，并采用电路交换的方式改善了用户通话质量，但其有限的系统带宽限制了多媒体业务的开展。在第三代(3G)移动通信系统中，中国的时分同步码分多址(time division-synchronous code division multiple access，TD-SCDMA)技术、欧洲的宽带码分多址(wideband code division multiple access，WCDMA)技术和美国的CDMA2000技术并存，共同为高速的多媒体业务提供了支持。在第四代(4G)移动通信系统中，核心网实现了全IP化，有效满足了业务的高带宽发展需求，但是随着平安城市、车联网、工业互联网等新型业务形态的产生，4G网络面临着提供个性化服务的挑战。第五代(5G)移动通信系统融合了网络功能虚拟化(network function virtualization，NFV)、云化无线接入网(cloud-radio access network，C-RAN)、设备到设备(device-to-device，D2D)通信等技术，一定程度上满足了增强移动带宽(enhanced mobile broadband，eMBB)、海量机器类通信(massive machine type of communication，mMTC)和超可靠低时延通信(ultra-reliable and low latency communication，uRLLC)场景的应用需求，但面对更加多样和复杂的网络环境，资源的调度仍然达不到随需即用的状态[4]。因此，在未来的移动通信系统中，还需加强太赫兹通信、可见光通信、AI等潜在技术的研究，尽快实现智慧、深度、全息和泛化的连接。 2. 人工智能 人工智能是计算机科学、仿生学、生物学、心理学、哲学等多门学科共同催生的产物，它是研究计算机模拟人的某些思维过程和智能行为的学科。具体地，人工智能主要利用模式识别、机器学习、数据挖掘、智能算法等，实现了事物的表征、行为的学习、知识图谱的建立等功能，进而使得机器能够胜任部分需要人类智能才能完成的复杂工作。*终，人工智能技术赋能的互联网在语音处理、图像分类、资源调度、科学探索等领域取得了显著突破[5]。 3. 区块链 区块链又名分布式账本，本质上是一个共享数据库，其通过去中心化共识，双方可以在不受第三方干预的前提下相互信任地完成交易并保存痕迹；同时，保存的每笔交易都不可篡改，并且可通过历史时间戳进行追溯[6]。此外，非对称加密、数字签名等算法有效地保障了数据块的完整性。总的来说，区块链中的内容具有去中心化、不可伪造、可追溯、集体维护等特性，因此，在紧紧依赖互联网进行数据交换的金融、物联网等领域，区块链技术得到了广泛的应用。 4. 云计算 云计算是分布式计算的一种，又被称为网格计算[7]。业界公认的云计算架构分为软件服务层、平台层和基础设施层，其关键技术在于将庞大的数据处理程序进行分解后利用多台服务器进行系统的处理。通常来说，用户通过搭建云计算平台或租赁云计算资源以享受基础设施即服务、平台即服务、软件即服务等类型的服务。尽管云计算资源通常部署在距离终端设备较远的地方，致使端到端的时延较大，但是其灵活度高、可扩展性强、计算速度快的优势使其在互联网发展的浪潮中起着举足轻重的作用。 5. 数据 这里的数据实际上是指大数据技术，主要通过分布式存储和处理技术对人们在社交网络、互联网、金融、健康、交通等领域产生的数据进行操作，进而辅助政府或企业完成决策。这类数据通常包括数据体量(volume)大、数据变化速度(velocity)快、数据来源多样化(variety)、数据价值(value)低四大特点，简称为4V。具体地，面对采集的海量非结构化数据，在数据分析前需要进行数据清理、集成、转换、规约等预处理，随后对数据集进行萃取、提炼和分析，挖掘出其中的商业价值，*终完成可视化分析和趋势预测的目标[8]。 6. 边缘计算 边缘计算是指为用户或数据源就近提供计算、存储、应用等核心能力为一体的开放平台[9]。边缘计算产业联盟(Edge Computing Consortium，ECC)对于边缘计算给出了包含设备、网络、数据与应用四域的参考架构，其主要通过网络互联、计算、数据存储与应用等方面的软硬件资源为用户提供敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护的业务能力。具体来说，边缘计算由应用层、计算层、基础设施层整体的管理平台组成，其核心技术在于将部分关键业务应用下沉到接入网络边缘，从而减少网络传输和多级转发带来的时延损耗。 1.3　互联网服务面临的问题及挑战 三十多年来，互联网凭借自身的技术优势，成了保障和改善民生的重要手段之一，为各行业领域应用和服务提供了新技术、新思路、新方案。随着互联网用户和设备的迅速增加，早期体系结构设计的先天不足和缺陷已经暴露出来。一方面包括网络地址空间不足、移动性支持能力有限、能耗日益攀升等问题，这系列瓶颈逐渐被互联网协议第6版(Internet Protocol Version 6，IPv6)技术、移动通信技术、能耗管理系统所突破；另一方面，为了保障个性化和细粒度的业务需求，企业以特定业务为导向搭建专有的网络架构，并为之设计配套执行机制，导致的异构网络灵活性下降，用户隐私难以保障，资源利用率参差不齐等问题还亟待解决。 1. 异构网络灵活性下降 当前，智能家居、智慧医疗、智控工业等方面的应用层出不穷。为了满足应用不同带宽、时延、连接量所搭建的专有网络，存在大量异构的总线连接，加剧了网络的可扩展难度。尽管云计算、软件定义网络(software defined network，SDN)、移动边缘计算(mobile edge computing，MEC)等技术在一定程度上改善了网络僵化的问题，但面向整体协作的新型网络架构还有待进一步研究。 2. 用户隐私难以保障 互联网技术的快速发展，使得我们享受着手机、可穿戴设备等移动终端带来的便捷。为了获取信息和知识，进而实现科学的决策，政府或企业通常会对各类终端设备的数据进行收集和分析，但当从海量数据中提取出的价值被攻击或窃取时，用户的隐私将难以保障。特别地，基于位置的服务(location based services，LBS)以其个性化、实时性和移动性等特点备受用户青睐，但高维度的轨迹数据直接暴露在服务器时存在严重的隐私泄露风险。 3. 资源利用率参差不齐 互联网技术可实现泛在多场景的业务之间的信息共享，然而提供信息共享的基础资源通常是固定的，同时由于各类场景下用户的请求都是随心产生的，致使网络资源的合理调度面临着更大的挑战。例如，在实体搜索服务中，搜索精度严重受制于计算资源的利用率。另外，在视频中心网络中，视频的缓存和传输阶段分别在存储和带宽方面存在资源争用，如何为具有不同特征的群组进行高质量的视频缓存分发是亟待解决的问题。 1.4　“云-边-端”协同服务技术研究现状及发展趋势 为了弥补云计算和边缘计算各自的短板，众多网络场景中都设计了“云-边”协同的服务框架，具体包括大连接的物联网、延迟敏感的车联网、需求异构的社交网络等场景。未来的研究趋势主要包括一体化的协同服务架构设计，以及协同服务架构下的技术更新两个方面。 在协同服务架构方面，尽管已经攻克了边缘节点放置、云中心选择、信息管理等问题，但整体协同性较差，即“云-边”协同架构忽略了“端-边”设备间的横向关系及终端与“云-边”的纵向关系。事实上，完整的“云-边-端”协同服务架构应包含“端-端”“端-边”“边-边”“云-边”等可靠协作。此外，未来的研究还应着力满足屏蔽各种网络元素之间的逻辑和社会异构性，提供合理的上下文感知、信任管理和协作分发方案，有效处理信道动态、链路复杂度和