图智能芯片

第1章绪论 人工智能（artificial intelligence，AI）在1956年作为一门新兴学科被正式提出。此后，人工智能取得了惊人的成就。目前，人工智能已经到达感知智能的天花板。随着大数据时代信息量的爆炸式增长，图因其强大的信息表示能力，越来越多地应用于各个领域，挖掘数据的潜在价值。认知智能时代的到来进一步提升了图与图智能算法的应用价值。图神经网络（graph neural network，GNN）算法作为图智能算法的代表，在认知推理方面具有十分重要的作用。为了满足图神经网络算法对算力的特殊需求，设计专用的芯片成为可行的选择。图智能芯片将成为感知智能迈向认知智能的推进剂。 1.1人工智能三阶段 基于目前人工智能的发展，人工智能从低到高可以分为运算智能、感知智能和认知智能三个阶段（图1-1）[1]。这一划分方式得到业界的广泛认可。 （1）运算智能阶段。运算智能阶段是人工智能的*初级阶段，主要实现“能存会算”，即机器具备记忆存储和快速计算的能力。 （2）感知智能阶段。感知智能阶段建立在运算智能的基础上，主要实现“能听会说、能看会认”，即机器具备听觉、视觉、触觉等感知能力。 （3）认知智能阶段。认知智能阶段是更为高级的发展阶段，主要实现“能理解会思考”，即机器具备思考、判断、分析、理解等认知能力。 1.运算智能阶段 早在1943年，人们就开始了神经网络的研究。“人工智能”这一术语在1956年由约翰 麦卡锡提出，标志着人工智能的兴起。在此后的几十年，人工智能的研究集中在定理证明、模式识别等方面。同时，运算智能在博弈中的应用也取得巨大成功。1956年，塞缪尔研究的跳棋程序击败他本人。1996年，国际商业机器公司（International Business Machines Corporation，IBM）的“深蓝”计算机首次挑战国际象棋冠军卡斯帕罗夫，以2∶4落败。1997年，“深蓝”计算机运算速度达到每秒2亿步，并以3.5∶2.5战胜卡斯帕罗夫。自此，人类很难在强运算的比赛中胜过计算机。由此可见，人工智能在计算与存储方面具有显著优势。 2.感知智能阶段 随着技术的进步，在运算与存储的基础上，人工智能进入感知智能时代。在这一阶段，人工智能主要是在算法和硬件两方面取得突破。在算法层面，感知智能时代可以说是深度学习的时代。事实上，人们早在1950年就开始搭建电子神经网络，然而当时的设备算力很低，无法满足较大规模神经网络的算力需求。直到1980年后期，工作站性能达到每秒一百万个浮点乘法累加操作时，深度神经网络（deep neural networks，DNN）才真正变得实用可行。在硬件层面，低成本的通用图形处理器（general purpose graphic processing unit，GPGPU）成为神经网络*常用的硬件载体。随着摩尔定律走向终结，人们开始开发专门用于神经网络的架构，以满足日益增长的算力需求，谷歌的张量处理器（tensor processing unit，TPU）、寒武纪的DianNao系列等都是代表性的神经网络芯片。 在感知智能中，*具代表性的工作就是各类识别系统，如文本识别、语音识别、图像识别等。随着互联网的发展，基于深度学习与大数据分析，再加上硬件技术的支持，计算机在感知方面已经接近，甚至超过人类。 3.认知智能阶段 当前，人工智能已经在感知层面取得巨大成就，然而却只能根据训练的结果进行简单的推断（inference），而非真正进行推理（reasoning）与思考。所谓推断，是从已知的信息中总结出经验，进而对同类事物进行判断。所谓推理，是对现有信息进行解释和演绎，进而创造新的知识，是从无到有的过程。 人们尝试建立知识图谱和认知图谱，研究知识表示与认知推理的方法。超大规模图神经网络被认为是推动认知智能发展强有力的推理方法，正在推动人工智能从感知智能向认知智能迈进。2018年，YoshuaBengio、张钹，以及阿里达摩院研究人员都谈及感知智能已触及天花板，认知智能势在必行。 1.2图神经网络 在深度学习技术的推动下，人工智能在感知层面取得重要成果和广泛的应用，但仍然停留于感知智能层面[1]。 图是一种用于表征世间万物互联关系的抽象数据结构。图结构数据包含顶点和边两种元素。顶点表示对象，边表示对象之间的关系。在大数据时代，归功于超强的信息表示能力，图已经成为各个领域广泛采用的基本数据表示形式。如图1-2所示，图无处不在，我们的日常生活中隐藏着诸多图结构数据的身影。图神经网络是将深度学习算法扩展到图结构的新兴智能算法，被广泛应用于推荐、搜索和风险控制等重要领域。随着人工智能迈入认知智能发展阶段，图神经网络受到学术界和工业界的广泛关注，已经成为许多企业非常重要的应用之一。图神经网络的相关算法被广泛部署于各大主流的数据中心，如阿里巴巴、谷歌、亚马逊等数据中心。值得注意的是，阿里巴巴在2019年开源了工业级图表征学习框架Euler，并在相关的人工智能会议发表多篇关于图神经网络在推荐、风控等业务中的应用论文。腾讯也在2019年开源了高性能图计算框架Plato，同样发表多篇关于图神经网络在推荐等业务中的应用论文。包括旷世等许多国内知名企业已经将图神经网络应用于视觉、推荐、风控等业务。 深度学习技术已经触及感知智能的天花板。随着图在各大领域的广泛应用，图智能算法在人工智能向认知智能阶段不断演进的过程中，扮演着更加重要的角色。阿里达摩院曾在2019年和2020年的《十大科技趋势》展望中表示，未来人工智能热潮能否进一步打开天花板，形成更大的产业规模，认知智能的突破是关键；超大规模图神经网络被认为是推动认知智能发展强有力的推理方法，有望解决深度学习无法处理的关系推理、可解释性等一系列问题；赋予机器常识、理解和认知能力，将推动人工智能从感知智能向认知智能迈进[2-4]。 1.3图智能芯片 图神经网络具有两个重要执行阶段，即图遍历阶段和神经网络变换阶段。这两个阶段分别表现出不规则的执行行为和规则执行行为，导致图神经网络产生混合执行行为。虽然图神经网络具有强大的推理能力，但其独*的执行特征给传统处理器带来计算和访存方面的挑战。随着摩尔定律的放缓和登纳德缩放比例定律的失效[5]，为了满足图神经网络的特殊算力需求，研究专用的加速芯片（图1-3）成为必然的选择。作为图神经网络算法的载体，图智能芯片是促进人工智能向认知智能阶段转变的推进剂。 1.4本章小结 本章首先介绍人工智能发展的三个阶段，指出人工智能正从感知智能向认知智能迈进。然后，阐述图神经网络对于认知智能的重要意义，并介绍图智能芯片。本章由浅入深，可以使读者认识到图神经网络与图智能芯片对人工智能发展的重要意义。 第2章人工智能的发展 根据发展程度，人工智能可以分为运算智能、感知智能、认知智能三个阶段。本章基于这三个阶段，对人工智能的理论发展和应用实践进行介绍。值得注意的是，三个阶段的研究成果并非严格按照时间顺序排布。 2.1运算智能 运算智能是人工智能发展的**阶段。在此阶段，计算机的主要优势在于快速记忆与存储能力。早期的运算智能以定理证明与模式识别为主。人工智能在博弈游戏中的设计也属于十分典型的运算智能。 2.1.1早期人工智能 人工智能这个概念正式诞生于1956年。1956年夏季，当时达特茅斯大学的约翰 麦卡锡发起关于机器智能的学术研讨会。在会议上，约翰 麦卡锡正式提出人工智能，因此被称为人工智能之父。 如图2-1所示，在接下来的10多年，人工智能在机器学习与模式识别方面取得重大进步。1958年，罗森布拉特设计出**个计算机神经网络——感知机，成功模拟了人脑的运作方式。同年，约翰 麦卡锡发明Lisp编程语言。这是**个函数式程序语言，使用表结构表达非数值计算问题。发展至今，