深度学习革命

前 言 杰夫·辛顿：无法坐下的人 当杰夫·辛顿在多伦多市区登上开往太浩湖的公共汽车时，他已经有7年时间没有坐下来过了。他经常说：“我上一次坐下来是在2005年，那是一个错误。”十几岁时，他在给母亲搬取暖器的时候**次受了伤。到了50多岁，他如果要坐下来，就要冒着腰椎间盘滑脱的风险，而一旦腰椎间盘滑脱了，疼痛会使他卧床数周。所以，他不再坐下。他在多伦多大学的办公室里用的是一张站立式办公桌。吃饭的时候，他就跪在桌旁的一个小泡沫垫板上，泰然自若，像一位祭坛旁的僧人。乘坐汽车的时候，他会躺在后座上。如果是长途旅行，他就乘火车。他不能乘飞机，至少不能搭乘商业航空公司的飞机，因为这些飞机在起飞和降落时要求乘客保持坐姿。他说：“我每天都很煎熬，情况发展到了可能会瘫痪的地步，所以我很认真地对待这件事。如果我能完全控制自己的生活，它就不会带来任何问题。” 那年秋天，他躺在公共汽车的后座上奔赴纽约，再乘火车一路前往位于加利福尼亚州特拉基的内华达山脉顶峰，然后在出租车的后座上伸直双腿，30分钟后，他抵达了太浩湖。之后，他创立了一家新公司。公司的创始人还包括另外两个人，他们是在他大学实验室里做研究的年轻研究生。这家公司不生产任何产品，也没有生产产品的计划。公司的网站上只提供了一个名字——DNNresearch，这个名字比这个网站还缺乏吸引力。当时64岁的辛顿在学术界看来很自在，他留着一头乱蓬蓬的白发，穿着羊毛衫，有幽默感，在这两名学生的游说之下，他才决定创立这家公司。但当他抵达太浩湖时，中国*大的科技公司之一已经出价1200万美元，要收购他刚刚起步的公司，另外三家公司也很快加入竞拍，其中包括两家美国*大的科技公司。 辛顿去了哈拉斯和哈维斯，这两家高耸的赌场酒店位于太浩湖南边的滑雪山脚下。那些由玻璃、钢铁和石块构成的建筑物矗立于内华达州的松树之间，赌场酒店也可以作为会议中心，提供数百间酒店客房、数十个会议厅和各种各样的二流餐厅。2012年12月，那里举办了一场名为NIPS的计算机科学家年度聚会。NIPS的全称是“神经信息处理系统”，尽管从名称上看是要深入研究计算机的未来，但NIPS其实是一个专注于人工智能的会议。作为一名出生于伦敦的学者，自20世纪70年代初以来，辛顿一直在英国、美国和加拿大的大学探索人工智能的前沿领域，他几乎每年都会来NIPS，但这次不同。虽然那家中国公司已经锁定了对DNNresearch的兴趣，但他知道其他人也感兴趣，NIPS似乎是一个理想的拍卖场所。 两个月之前，辛顿和他的学生改变了机器看待世界的方式。他们已经打造了所谓的“神经网络”，即一个模仿大脑神经元网络的数学系统，它能够以前所未有的准确度识别常见的物体，比如花朵、小狗和汽车。辛顿和他的学生展示出，神经网络可以通过分析大量的数据来学习这种非常人性化的技能。他称之为“深度学习”，其潜力巨大。这项技术不仅会改变计算机视觉，还会改变一切，从可对话式数字助理到自动驾驶汽车，再到新药研发。 神经网络的概念可以追溯到20世纪50年代，但是早期的开拓者从未让这项技术像他们希望的那样工作。到了21世纪，大多数研究人员都放弃了这项技术，认为这是一条技术上的死胡同，并对研究人员在过去50年间试图让数学系统以某种方式模仿人类大脑的自负探索感到困惑。当那些仍然在探索这项技术的研究员向学术期刊提交论文时，他们通常会将研究伪装成其他东西，用不太会冒犯其他科学家同行的语言来代替神经网络这个词。但是，仍然有少数人相信这项技术终有兑现预期的那一天，辛顿就是其中之一。他设计的机器不仅能识别物体，还能识别口语词汇、理解自然语言并进行对话，甚至可能解决人类自己无法解决的问题，为探索生物学、医学、地质学和其他科学的奥秘提供了创新的、更精确的方法。即使在他自己的大学里，这也是一种古怪的立场。他持续地请求学校聘请另一位教授与他一起工作，在漫长而曲折的奋斗中打造能够自行学习的机器，但学校多年来一直予以拒绝。“一个疯狂的人做这件事就够了。”他说。但是，在2012年的春天和夏天，辛顿和他的两名学生取得了突破：他们证明了，神经网络能够以超越其他任何技术的精度识别常见的物体。他们在那年秋天发表了一篇长达9页的论文，并向全世界宣布，这项技术就像辛顿长期以来所宣称的那样强大。 几天之后，辛顿收到了一封电子邮件，来自一位名叫余凯的人工智能研究员，他当时在中国科技巨头百度公司工作。表面上看，辛顿和余凯没有什么共同之处。辛顿出生于战后英国的一个著名的科学家家庭，这一家人的影响力与自身的怪癖相得益彰。辛顿曾在剑桥大学学习，在爱丁堡大学获得人工智能博士学位，并在接下来的30年里担任计算机科学教授。余凯出生的时间比辛顿晚30年，他在中国长大，父亲是一名汽车工程师，余凯先后在中国南京和德国慕尼黑读书，然后去了美国硅谷的一家企业研究实验室工作。这两个人的阶级、年龄、文化、语言和地域各不相同，但他们拥有一个共同的兴趣：神经网络。他们*早是在加拿大的一场学术研讨会上认识的，这场研讨会属于民间活动的一部分，旨在重振这个在科学界几乎处于休眠状态的研究领域，并将这一想法重新命名为“深度学习”。余凯是参与传播这一信仰的人之一。回到中国之后，他把这个想法带到了百度，在那里，他的研究引起了公司首席执行官的注意。当这篇长达9页的论文在多伦多大学发表时，余凯告诉百度的智囊团，他们应该尽快招募辛顿。在邮件中，他将辛顿介绍给了百度的一位副总裁，这位副总裁为辛顿短短几年的工作成果报价1200万美元。 起初，辛顿在北京的这家“追求者”认为双方已经达成了协议，但辛顿并不是那么确定。*近几个月，与他建立联系的还有其他几家公司，规模有大有小，其中包括百度的两个美国大型竞争对手。这些公司也打电话到辛顿在多伦多大学的办公室，询问需要支付多大的代价才能招募他及他的学生。看到了更多的机会之后，他问百度，在接受其1200万美元的报价之前，他是否可以寻求其他的报价，百度同意了。于是，他彻底扭转了形势。在学生的启发下，他意识到百度及其竞争对手更有可能花巨资收购一家公司，而不是花同样的钱从学术界招募几名新员工。于是他创立了一家自己的小公司，命名为DNNresearch，以呼应他们专注研究的“深度神经网络”（Deep Neural Networks）。他还咨询了多伦多的一名律师，关于如何让一家仅有三名员工、没有产品、几乎没有经营记录的初创公司的价格*大化。在这位律师看来，他有两个选择：一是可以聘请一名专业的谈判代表，但这样做存在一定的风险，可能会激怒那些预期的潜在收购方；二是可以组织一场拍卖活动。辛顿选择了拍卖。*终，4家公司加入了对他的新公司的竞拍：百度、谷歌、微软和DeepMind。当时，DeepMind是一家成立仅两年的世界上大多数人从未听说过的初创公司，它设立在英国伦敦，由一位年轻的神经科学家戴密斯·哈萨比斯创立，而它即将成为这个时代*著名且*有影响力的人工智能实验室。 在举行拍卖的那一周，谷歌的工程主管阿兰·尤斯塔斯（Alan Eustace）驾驶自己的双引擎飞机降落在太浩湖南岸附近的机场。他和谷歌*受尊敬的工程师杰夫·迪恩（Jeff Dean）一起与辛顿及其学生在哈拉斯赌场酒店顶楼的餐厅共进晚餐，这是一家牛排店，其装饰点缀着1000个空酒瓶。当天是辛顿的65岁生日。他站在吧台旁，其他人坐在高脚凳上，他们讨论了谷歌的野心、拍卖，以及他在多伦多大学实验室正在进行的*新研究。对谷歌的人来说，这顿晚餐主要是为了和辛顿的两名他们从未谋面的年轻学生初步接触一下。百度、微软和DeepMind也派了代表到太浩湖参加活动，其他人在拍卖中各司其职。为辛顿和他的学生拉开比赛序幕的百度研究员余凯，在拍卖开始前已经与他们开过会了。但是，所有的竞拍者并没有在同一时间聚集在同一个地方。拍卖是通过电子邮件进行的，大多数报价都是通过竞拍者的高管从世界各地发出的，包括加州、伦敦和北京。辛顿向各方保密了其他竞拍者的身份。 辛顿在哈拉斯赌场酒店的房间里进行拍卖，房间号是731，这里可以俯瞰内华达州的松树和白雪皑皑的山峰。每天，他都会给下一轮的报价设定时间，在指定的时间，他的两名学生来到他的房间，通过他的笔记本电脑查看报价情况。两张大床的床头之间有张桌子，上面倒放着一个垃圾桶，笔记本电脑就放在垃圾桶上，这样辛顿就可以站着打字了。报价是通过谷歌运营的电子邮件服务Gmail进行的，因为辛顿有一个Gmail的电子邮件账号。但是，微软不喜欢这样的安排。在拍卖开始前的几天，微软抱怨称，其*大的竞争对手谷歌可能会窃取他们的私密信息，并以某种方式操纵报价。尽管对辛顿来说，这并不是一个严重的问题，但他也曾与学生们讨论过这种可能性，他认为，这更多的是微软对谷歌强大且不断增长的实力的一种尖锐评论。从技术上讲，谷歌可以阅读任何Gmail邮件信息。尽管邮件服务条款说它不会，但现实是，如果它违反了这些条款，可能也没有人会知道。*终，辛顿和微软都将他们的担忧放在了一边。他说：“我们相当有信心，谷歌不会阅读我们的邮件。”尽管当时没有人意识到这一点，但这是一个充满意义的时刻。 拍卖规则很简单：每次拍卖开始之后，这4家公司有一个小时的时间将报价提高至少100万美元。这一个小时的倒计时以*新报价的电子邮件时间戳为准，一个小时之后，如果没有新的报价出现，当天的拍卖就结束。DeepMind用公司股份报价，而不用现金，但它无法与科技领域的巨头们竞争，很快就退出了。百度、谷歌和微软留了下来。随着报价不断攀升，先是1500万美元，然后是2000万美元，微软也退出了，但后来又重新回来。当辛顿和他的学生们讨论自己更愿意加入哪家公司时，每一个微小的时刻都似乎意义重大。在某天下午的晚些时候，当望着窗外的滑雪山峰时，他们看到两架飞行方向相反的飞机飞过，在空中留下了一个交叉的轨迹，像一个巨大的字母X。在房间里的兴奋气氛中，他们想知道这意味着什么，然后才想起谷歌的总部设在一个名为山景城的地方。“这是否意味着我们应该加入谷歌，”辛顿问，“还是说不应该加入？” 报价到2200万美元时，辛顿暂停了拍卖，他与其中一名竞拍者进行了讨论，半个小时之后，微软再次退出。现在，就剩下百度和谷歌了，随着时间的推移，两家公司的报价更高了。*初是由余凯为百度报价，但当价格达到2400万美元时，一名百度的高管从北京接手了。余凯时不时会去731房间看看，希望至少能稍微了解一下拍卖的走向。 尽管余凯对此毫不知情，但他的出现对辛顿来说是一个问题。辛顿已经65岁了，去太浩湖时经常生病，那里的空气寒冷、稀薄且干燥。他担心自己可能会再次生病，他不想余凯或其他任何人看到他这样。“我不想让他们认为我年纪大了，衰老了。”他说。于是，他把靠墙的折叠沙发上的坐垫都拿下来，放在两张床之间的地板上，把一个熨衣板和其他几个结实的东西插在缝隙里，再用水浸湿几条毛巾搭在上面，每天晚上，他都睡在这个临时搭建的“雨棚”所创造出的潮湿空气中。辛顿觉得，这会让他的病情得到控制。问题是，随着拍卖的进行，余凯这个戴着眼镜的圆脸男子不断地跑过来聊天。辛顿不想让余凯看到自己为了保持健康下了多大的决心。所以，每次余凯过来，辛顿都会把目光转向他的两个学生，也就是他的三人公司里的另外两个人，让他们把坐垫、熨衣板和湿毛巾都藏起来。“这是副总裁们的职责。”他对他们说。 有一次，余凯没拿背包就离开了房间，当辛顿和他的学生们注意到椅子上的背包时，他们考虑是否应该打开，看看里面有什么东西能透露百度的意向报价。但他们没有这么做，因为觉得不妥。不管怎么样，他们很快就意识到百度愿意出更高的价格：2500万美元、3000万美元、3500万美元。不可避免的是，下一次报价要到一个小时倒计时终止前的一两分钟才会出现，这使得原本接近尾声的拍卖再次被拉长。 价格攀升到如此之高，辛顿于是把报价的窗口时间从一个小时缩短到30分钟。报价迅速攀升至4000万美元、4100万美元、4200万美元、4300万美元。“感觉我们像是在拍电影。”他说。一天晚上，接近午夜，当价格达到4400万美元时，他再次暂停了拍卖。他需要睡一觉。 第二天，大约在拍卖开始前30分钟，他发了一封电子邮件，说拍卖开始的时间将被推迟。大约一个小时后，他又发了一封。拍卖结束了。在头一天晚上的某个时刻，辛顿决定把他的公司卖给谷歌，而不再把价格推得更高。在发给百度的邮件中，他说自己将把收到的其他任何信息转发给他的新雇主，尽管他没有说新雇主是谁。 后来他承认，这是他一直想要的。就连余凯也猜到辛顿*终会去谷歌，或者至少是另一家美国公司，因为辛顿的腰背健康状况让他无法承受中国之旅。事实上，余凯很高兴百度在竞拍中占据了一席之地。他认为，通过将美国竞争对手推向极限，百度的智囊团已经意识到深度学习在未来几年有多么重要。 辛顿终止了拍卖，因为对他来说，为自己的研究找到合适的归宿比*终获得*高的价格更重要。当他告诉谷歌的报价者他接受4400万美元的价格时，他们认为这是在开玩笑，因为他们觉得他不可能放弃仍然在不断攀升的报价。辛顿不是在开玩笑，和他一样，他的学生们也看到了这种情况。他们是学者，不是创业者，更忠于自己的创意和想法，而不是其他任何东西。 但是，辛顿没有意识到他们的想法有多大的价值。没人知道。在这4家公司里散布着一小批科学家，辛顿及其学生们与他们一起，很快就将这个单一的想法推向了科技行业的中心。在此过程中，他们突然戏剧性地加速了人工智能的进步，包括可对话式数字助理、自动驾驶汽车、机器人、自动化医疗健康，以及自动化战争和监控（尽管这二者从来不是他们的目的）。“它改变了我看待技术的方式，”阿兰·尤斯塔斯说，“也改变了很多人对技术的看法。”