面向数字图书馆的移动视觉搜索机制研究

第1章　绪论 　　1.1　相关背景 　　服务是图书馆的永恒主题，也是数字图书馆创新与发展的根本。早在1931年，印度图书馆学家阮冈纳赞就撰写了著名的《图书馆学五定律》（The Five Laws of Library Science），高度概括了图书馆服务的五个基本原则，即“书是为了用的，每个读者有其书，每本书有其读者，节省读者的时间，图书馆是一个生长着的有机体”。一方面，从服务需求的角度而言，用户对多媒体资源的呈现方式多样性、移动便捷性、查询意图精确性等要求在不断提高，愈加注重知识服务的深层次、个性化与泛在化。以用户为中心、重视用户体验（user experience）逐渐成为数字图书馆建设的核心思想。另一方面，从服务供给的角度来看，云计算、物联网、移动互联网、人工智能等信息技术日新月异，特别是大数据的迅猛发展，实现了数字图书馆建设的智慧化赋能。而大规模语言文字及多媒体文化文本数据库建设技术、数字文本标引技术、数字新媒体呈现技术、元数据（metadata）与关联数据（linked data）方法以及数字人文（digital humanities）的兴起为数字图书馆的资源组织创造了无限的可能性。数字图书馆积累了大量语义丰富、实体多样的视觉资源，图像、视频、地图等逐渐成为知识内容的重要载体。 　　信息检索（information retrieval）、信息搜寻（information seeking）和信息查找（information searching）一直是图书情报学科关注的重点，也是集计算机科学、系统科学、认知科学、心理学等诸多学科交叉融合的领域。信息搜索理念与技术的发展极大地依赖于时代的进步、技术的革新及商业模式的驱动。从早期的文献资源检索、联机信息检索，到后来的电子信息资源检索、网络信息资源搜索，以及交互式信息检索、探索式搜索、协同搜索、社会化搜索、“搜索即学习”等，图书馆和其他信息服务机构都见证并亲历了日新月异的变化。近年来，随着大数据技术的发展、移动环境的建设以及移动智能终端的普及，移动视觉搜索（mobile visual search，MVS）这种新一代信息搜索技术快速兴起并引起了学界和业界的广泛关注。 　　所谓移动视觉搜索，是指利用移动终端获取真实世界中实体对象的图像或视频，并将其作为检索项，通过移动互联网搜索视觉对象关联信息的一种交互式信息检索方式。从信息源的角度，移动视觉搜索突破了传统基于文本信息的检索模式，强调采集实物对象和具体场景中的图像和视频资源。从检索方式的角度，移动视觉搜索超越了传统信息检索中“检索框”这种固化检索入口的形式，以各种智能终端的摄像头为检索入口，无论其输入方式还是输出结果都和以往大不相同。从搜索需求的角度，移动视觉搜索充分体现了大数据环境下“SoLoMo”的特征，即搜索动机更加社会化（social），也就是这几年逐渐兴起的社会化搜索；搜索内容更加本地化（local），例如，各类基于位置的服务（location-based service，LBS）、技术和应用；搜索形态更加移动化（mobile），倡导随时随地的无障碍信息获取和接入。毫无疑问，移动视觉搜索的运用和发展对于数字图书馆的硬件部署、软件配置及服务设计有着重要的作用和深远的影响。特别是在大数据环境下，数字图书馆的资源建设、知识组织、人机交互及服务模式都需要新思路、新技术和新方法的指导和推动。因此，在面向大数据的数字图书馆环境和系统中引入移动视觉搜索技术有着迫切的实际意义。而移动视觉搜索技术的快速兴起，为解决数字图书馆资源建设、知识组织、人机交互机制等问题提供了新的思路和契机，这也是本书讨论的主要问题。 　　1.2　概念界定 　　　1.2.1　移动视觉搜索 　　MVS是指通过移动智能终端获取视觉对象资源，将所获取的视觉对象资源信息与存储在视觉对象知识库中的描述进行匹配和识别，并返回匹配度*高的一个或一组搜索结果的过程。 　　本书认为，从狭义上理解，MVS是指将移动终端设备在现实世界中获取的视觉资源作为检索项，通过移动互联网进行解析处理并返回相应结果的交互式信息检索方式。从广义上理解，MVS是指移动互联网环境下的一种数据驱动、任务导向的创新型信息服务模式，强调对视觉类信息资源的高效分析及其相关信息的有机结合与展示。从广义上理解MVS更贴近图情学科的角度，有助于理解用户行为、信息资源及科学技术的结合统一，突破技术范畴从而延伸到更广阔的服务理念、管理模式和运作机制上去，从宏观上赋予该研究领域更丰富的理论视角、研究对象和应用情境。因此，从资源采集、组织加工、展示及服务的角度而言，MVS充分体现了大数据的时代特征及科技革命和产业变革的现实需求。 　　　1.2.2　数字图书馆 　　数字图书馆是一种新型的网络化概念的图书馆，数字图书馆通过数字化技术、超大规模数据库技术、网络技术、多媒体信息处理技术等技术的结合，通过互联网对传统资源进行数字化，并通过互联网向用户提供各种类型的知识服务[1]。通俗地说，数字图书馆就是虚拟的图书馆，是基于网络环境下共建共享的可扩展的知识网络系统，是超大规模的、分布式的、便于使用的、没有时空限制的、可以实现智能检索的知识中心。 　　　1.2.3　数字图书馆资源建设 　　数字资源建设是数字图书馆建设的核心与基础。在内容方面，数字图书馆资源建设与传统图书馆建设基本相同，需要建立完善的数字资源馆藏体系；制定有步骤、有计划的资源建设目标与规划；制定机构资源建设采集方案，明确定位；建立科学的管理制度，遵守相关法律法规。一般来说，数字资源包括：馆藏文献的数字化；国内外数字平台发布的电子图书、报刊、数据库、工具书等；市场上的商业数字资源库；互联网采集的数字信息资源、多媒体资料等。 　　在数字资源的采集过程中，标准要统一，并对不同类型的数字资源进行加工，为数字资源的检索与存储建立基础。对于采集与加工的数字资源，制定规范化的统计量化标准，各种文本信息、图片资料、影像文件、音频等数据，要建立相应的统计规范。在数字资源的标识方面，对各类型对象数据要进行多层面揭示，其标识要深入各类型数据的内容，将图片、视频、文献本身作为元数据进行描述，同时，不同类型的数据可组合在不同的资源库中。 　　1.3　研究现状 　　　1.3.1　移动视觉搜索相关研究 　　MVS技术将图像识别软件集成在用户的移动终端设备中，可以快速而且方便地链接到用户想要查询的信息内容，消除了线下和线上媒体的差别。当用户对一个视觉资源进行扫描和拍照时，图像识别软件会自动链接到与之相关的信息内容。 　　MVS技术使得用户的搜索诉求从获取信息变为更加生活化的实体搜索；搜索方式从Web网页变为APP搜索；信息对象输入方式也因为使用场景的多变性、移动设备的特征而发生了巨大变化，从文字输入变为图像、声音、位置等的综合输入；输出结果因为移动设备的特征而变得更自然、智能和互动，如语音和图片等。这种搜索方式的转变使得信息搜索和收集的过程更加自然化，更符合人们随时随地获取信息内容的搜索需求，同时将人与设备的信息交互变为人与人间的信息交流，用户不需要输入任何文字描述便能上传自己的视觉资源，同时检索与之相关的其他用户提供的各种资讯，也使得资源检索与搜集的过程更加人性化。 　　MVS*早于2009年被提出，此后移动互联网的迅速发展也催生出了对MVS的大量技术性研究工作。Franchi等[2]提出MVS是指通过移动设备的摄像头来获取物理世界物体的图像，从而将其与数字信息产生联系的一种新技术。Tous和Delgado[3]指出MVS是指通过手持移动装置所制造的图片或视频来获取信息源视觉信息或非视觉信息源的过程。张兴旺和李晨晖[4]认为，MVS是指通过手机、平板等移动智能终端设备来查询视频或图像等视觉对象，并借助互联网检索相关联信息的过程。史美静和解金兰[5]认为，MVS的主要元素包括以移动终端设备为载体、通过传感设备获取物理世界图像、以图像获取互联网相关信息。MVS已经催生出较多的商业应用案例，主要包括两种类型的市场产品，一种属于可穿戴设备，如Google Glass[6]、BaiduEye[7]等；另一种则是支持Android或iOS的移动应用或嵌入功能，如淘宝APP中所嵌入的拍立淘功能[8]。 　　但是，在数字图书馆领域，有关MVS的探讨还远远不够，国内外针对数字图书馆MVS的研究并不全面。张兴旺和黄晓斌[9]提出了五点MVS在数字图书馆中的应用展望。李默[10]设计了数字图书馆个性化MVS体系结构模型，该模型包含了基础数据层、检索业务层、多Agent服务层和用户应用层四个部分，在具体应用过程中能够实现实时信息交互。Wu等[11]构建基于深度学习技术的MVS机制，主要包括移动视觉大数据输入层、移动视觉资源组织层、深度神经网络分析层、移动视觉服务交互层等，以期促进数字图书馆的个性化服务。此外，MVS在日常的图书馆服务中已有所应用但尚未大规模推广。印度Pradeep Siddappa设计的librARi应用程序，可以使用户通过手机直接对图书拍照来搜索图书的物理位置及一些相关的图书，还可以在此基础上通过拍摄书架来找出相关图书在书架上的位置[12]。在国内，上海交通大学李政道图书馆在建设过程中融合了图书馆、档案馆、博物馆、科技馆和艺术馆“五馆合一”功能。用户在参观李政道先生展厅时可以通过手机安装专门的APP，该APP可以使用户随时摄取参观过程中看到的物件，并返回相关的图书、音频或视频资料。例如，用户通过拍摄李政道先生获得诺贝尔奖的照片即可在手机观看当时颁奖典礼的照片，通过拍摄李政道先生当年阅读某本书的封面即可直接在手机上阅读该书的电子版[13]。姚雪梅[14]认为未来可以探索MVS在图书馆的阅读推广及知识发现服务、数字人文专题资源建设、数字图书馆空间再造及人工智能项目探索四个方面的应用。在实际应用中，MVS的用户体验很少被讨论，影响MVS用户体验的关键因素需要明确，杨晶和袁曦[15]梳理了MVS用户期望确认、感知绩效、自我效能和情感体验之间的作用关系，提出了移动视觉用户情感体验作用机制的理论模型。 　　　1.3.2　增强现实技术相关研究 　　增强现实（augmented reality，AR）技术是借助计算机视觉、传感器及可视化等技术，将计算机生成的虚拟图像或其他信息有机地叠加到用户所看到的真实世界中，从而达到超越现实的感官体验[16]，既增强用户对周围环境的感知，同时还增强对现实生活中所有间接景象的感知[17]。一些视觉搜索平台已将增强现实技术应用在图像检索中，当用户将移动设备的摄像头对准现实世界的某一人物或物体时，与其对应的信息就会通过移动互联网被检索出来并显示在该设备的电子屏幕上。增强现实搜索与普通的图像检索*直观的区别是，用户使用增强现实搜索时不再需要将拍摄的图片上传或发送到服务器端来获得搜索结果，而是只需将摄像头对准要搜索的物体，搜索结果即会马上显现在屏幕上。增强现实*典型的应用是与智能可穿戴设备的结合，此类产品有Meta Glass、微软的HoloLens等。在传统的移动设备方面，如手机，也可以实现增强现实效果，软件市场上有供用户下载的增强现实应用，如MagicPlan等。付跃安[18]结合图书馆业务探讨AR技术在图书馆的应用，AR技术在提供图书馆指引服务、实现图书定位、提升阅读体验、开展信息推送服务及促进馆藏资源的开发和利用等方面发挥重要作用。但秦林[19]指出国内图书馆应用增强现实需考虑理性引入AR技术、善于运用已有的AR平台、重视对用户态度和使用效果的评估、重视人员的培养等问题，更好地推动图书馆事业的发展。柏雪[20]从五个方面深入分析5G环境下AR技术在图书馆的应用优势，并预测交互式可视化检索、与文旅机构合作、与其他技术融合应用将成为5G时代AR技术在图书馆中的应用趋势。