精准学习

第 1 章 学习的7个定义
什么是学习？我的一个，也是笼统的关于学习的定义是：学习是在脑中形成外部世界的内部模型。
你可能没有意识到，但是你的脑已经存储了数以千计的外部世界的内部 模型。它们就像微缩模型，或多或少地忠于它们所代表的现实。打个比方，我们有人的脑中都有一张关于自己家和附近街区的思维地图。我们要做的 就是闭上眼睛，调动思维来回想它们。当然，没有人生来就拥有这种思维地 图，我们须通过学习来获得它。
这类心理模型非常丰富，而且绝大多数是在无意识中生成的，超出了 我们的想象。例如，你有一个庞大的英语心理模型帮助你理解你所阅读的 词语，你可以猜测出来 plastovski 不是英语单词、swoon 和 wistful 是， 而 dragostan 有可能是。你的脑中还有多个有关身体的模型，用于绘制你四肢 的位置，并引导它们保持平衡。某些模型编码了你对物体的认知和你与他们 的互动，比如如何握笔、写字或骑自行车。你的脑中甚至还有记录别人思想 的模型，类似一个庞大的心理目录，里面有与你关系密切的人的信息，包括他们的外形、声音、品味和他们的怪癖。这些模型可以对我们周围的“宇宙”进行非常逼真的模拟。你有没有注意到，你的脑有时会投射出真实的虚拟世界，在那里，你可以走动、跳舞、去到新的地方、进行愉快的对话或者感受到强烈的情感？这些都是你的梦境！令人着迷的是，我们梦境中出现的有想法，无论它们多么复杂，都只是我们内在心理模型随意呈现的产物。
我们醒着的时候也在做真实世界的梦，脑不断地向外界投射假设和解释构成的框架。这是因为透射到我们视网膜上的每一个影像都是模棱两可的。例如，每当我们看到一个盘子时，投射到视网膜上的影像就与无限多的椭圆形兼容。我们看到的盘子是圆形的，事实上原始的感官数据是椭圆形，这是因为我们的脑提供了额外的数据，它已经了解到圆形是有可能的解释。在幕后，我们的感官区域在不停地计算概率，只有可能的模型才会进入我们的意识。正是脑的投射赋予来自我们感官的数据流以意义。假如没有内部模型，原始的感官输入是没有任何意义的。
学习使我们的脑能够抓住之前被遗漏的现实片段，并利用它来构建新的世界模型。这个现实片段可以是历史、生物学或城市地图等任何真实世界的存在。但我们的脑也会学习绘制我们身体内部的现实情况，就像我们学习协调我们的动作、集中注意力去拉小提琴一样。在这两种情况下，我们的脑都将一个新的外在现实内化了进来，它调整自己的回路，以适应一个之前没有接触过的领域。
当然，这样的调整须恰到好处。学习的内核就在于它适应外部世界和纠正错误的能力。但是，当学习者在家附近迷路、从自行车上摔下来、输掉一盘棋或者拼错ecstasy时，他的脑怎么“知道”如何去更新内部模型呢？我们接下来将讲述7个关键的观点，它们是当今机器学习算法的核心。这些观点同样适用我们脑的学习，是对“学习”的7个不同定义。
学习就是调整心理模型的参数
调整心理模型有时非常简单。例如，我们怎样才能把手伸向我们所看到 的物体并抓住它呢？笛卡尔(René-Descartes)在 17 世纪时就已经推测出， 我们的神经系统一定包含将视觉输入转化为肌肉命令的加工回路(见图 1 — 1 )。你可以尝试自体验一下：戴上别人的眼镜，好是一副高度数的眼 镜，抓东西；更好的方式是，戴一副能使你的视线向左偏移十几度的棱镜， 然后试着抓住物体。 1 你会发现你的一次尝试完全失败了，因为戴着眼镜， 你的手会伸到你瞄准的物体的右边。多尝试几次，向左逐渐调整你的动作。 通过不断地尝试和失败，你的动作会变得越来越精准，因为脑已经学会了纠 正视线的偏差。现在，摘下眼镜试着抓住物体，你会惊讶地发现你的手伸错 了方向，太靠左了！(见图 1 — 1 )
到底发生了什么事？在刚刚短暂的学习期间，脑调整了它的内在视觉模 式。此模式中对应视觉和身体方向之间偏移的参数被重新设置了。在这个通 过试错进行重新校准的过程中，脑所做的事情与猎人为了调整他的步枪瞄准 镜所做的事情类似：通过试射来调整他的瞄准镜，终精准瞄准猎物。这种 学习非常快，几次尝试就足以校正视觉和动作之间的偏差。然而，这个新的 参数与旧的并不兼容，因此当我们摘掉眼镜恢复正常视力时，又会犯错。
不可否认，这种类型的学习有点特殊，因为它只需要调整与视觉角度相 关的一个参数，大部分的学习比这精细得多，需要调整数十个、数百个甚至 数千个参数，而我们的脑回路中有几百万个参数(每一个突触就是一个参 数)。不过原则是相同的，即学习是在无数可能的内部模型中寻找符合外 部世界状态的可能性。



学习是什么?学习就是根据外部反债调整脑心理模型的参数。例如,a图中,学习用手指去瞄准以校正视觉和动作之间的偏差。每—次瞄准的错误都提供给脑有用的信息,继而慢慢缩小偏差。在神经回路中,虽然要校正的数字更大,但原理是—样的,辨识—个符号需要精细地调整几百万个神经联结。b图中,类似“8”的错误输出会回过头去反向传播,进而调整神经联结的数据,在下—次的尝试中改进输出。
图1—1 学习就是调整心理模型的参数
一个在东京出生的婴儿，在往后的两三年里，他的语言内部模型将不得 不调整为符合日语的模型。这个婴儿的脑就像一台机器，内含数以百万计的回路设置。听觉层面的设置决定了日语中使用的辅音和元音，及其允许 的组合规则。一个出生在日本家庭的婴儿须知道哪些音素构成了日本语 言，以及这些音素之间的区别。例如，有一个参数是区分 R 和 L 之间的发 音，这在英语中非常关键，在日语中却无关紧要。在日语中，“Bill Clinton’s election”(比尔 ·克林顿的选举)和“Bill Clinton’s erection”(比尔 · 克林 顿的勃起)没有任何区别……每个婴儿须掌握一组固定的参数，而这些参 数共同定哪些类别的语音与他的母语相关。
从语音到词汇、语法到语义，每个层面的学习都重复了类似的过程。脑的组织结构是多层级的，一个模型嵌套在另一个模型中，就像俄罗斯套娃一样。学习就是用输入的数据去设置每一个层级结构中的参数。让我们看一个高级范例—语法规则的习得。在英语和日语的学习中，婴儿须学会的一 个关键是词序。在一个有主语、谓语和直接宾语的标准句子中，英语句式为“主语+谓语+宾语”：“John+eats+an apple (约翰吃了一个苹果)。然而在日语中，常见的句式为“主语+宾语+谓语”：“约翰+一个苹果+吃”。值得注意的是，这个日语句式中还会因介词而改变。比如，“My uncle wants to work in Boston”变成了“Uncle my，Boston in，work wants”。这句话就变得与《星球大战》中尤达师所说的话一样难懂。a但对一个讲日语的人 来说，这句话一点问题也没有。
有趣的是，这种倒装句并不是相互独立的。语言学家认为它们来自一个名为“中心词位置”的参数：一个短语的中心词，在英语中总是位于一位(在巴黎，我的叔叔，想生活)，但在日语中被放在了后(生活想，叔叔我的，巴黎在)。这个二元参数可以区分许多语言，甚至包括一些历史上没有关联的语言，例如纳瓦荷语遵循的规则就与日语相同。孩子为了学习英语或日语，须学会如何设置他内部语言模型中的中心词位置参数。
学习是在利用组合爆炸
语言的学习真的可以被简单地归结为一些参数吗？如果这很难让人信服，那是因为我们无法想象当我们增加可调参数的数量时，会产生如此多的可能性。这就是所谓的“组合爆炸”( combinatorial explosion) — 当你将极少数的可能性参数组合在一起时，参数的数量就会呈现指数级的增长。
假设世界上有语言的语法可以用大约50个二元参数来表示，就会产生250种组合，也就是超过1 000万亿种可能的语言，或者说1后面跟着15个0！
目前世界上的3000种语言的句法规则都能很轻松地被放入这个巨大的空间。然而，在我们的脑中，可调节的参数不只有50个，其数量大得惊人：80多亿个神经元，每个神经元大约有1 万个突触相互联结，联结的强度各不相同，所创造的心智表征空间可以说是无限大的。
人类语言的各个层级都在大量利用这些组合。例如，脑词库是我们掌握的单词以及它们的内在模式。英语母语者一般会掌握大约 5 万个单词。这些单词构成了一本巨大的词典，但我们只花了大约 10 年时间就学会了它们，这是因为我们可以分解学习问题。假设这 5 万个单词中的每个单词平均只有 2 个音节，每个音节由 3 个音素组成，这些音素来自英语的 44 个音素的
组合，那么这些单词的二进制编码需要不到 200 万个基本的二元选择(即“位”，其值是 0 或 1 )。换句话说，我们脑词库中的有知识都可以放在计算机中一个 250 千字节(每个字节包含 8 个位)的小文件夹中。
如果我们排除掉单词的多义的问题，脑词库可以被压缩到更小的容积。随机抽取6个字母，如 xfdrga，它们无法组成英语单词，真正的单词是由多 个音节按一定规则组成的，像构建金字塔一样。语言的各个层级都是如此， 句子是词的规则集合，词是音节的规则集合，音节是音素的规则集合。组合 既是巨大的(可以在几十个甚至数百个元素中选择)，同时又是有限制的(只 有某些特定组合才会成立)。学习一门语言就须要知道在各个层级上界定 这些组合的参数。
总而言之， 人脑通过创建一个多层分级的模型来分解学习问题。 这在语 言学习中尤其明显—从基本的音素到整个句子，甚至是一整段话。但有 的感觉系统中都能重现同样的层级分解原理。一些脑区只负责低层级的形 态，它们在非常短的时间内通过一个非常小的空间窗口来观察世界，从而分 析细微的形态。例如，初级视觉区域是大脑皮层中一个接受视觉输入的 地方，该区域每个神经元只分析视网膜的一小部分。它通过“针孔”窥视 外面的世界， 因此只能发现非常低层级的规律，如是否存在会移动的斜线 等。数以百万计的神经元在视网膜的各个地方做着同样的工作，它们的输出 成为下一个层级的输入，从而检测“规则的规则”，以此类推。在每下一个 层级上，规模都在扩大。大脑由此逐渐在越来越大的时间和空间范围内寻找 规律，从这种层级结构中衍生出检测日益复杂的对象或概念的能力，从一条 线、一根手指，到一双手、一个手臂，到一个人的身体……两个，两个人面 对面，两个人面对面在握手……原来这是特朗普和马克龙的一次会面！