面向资产管理者的机器学习

想象一下，您有位朋友自称有一种技术，可以预测下一次彩票中奖的号码。他的技术并不准确，所以他必须多买几张彩票。当然，如果他把所有的彩票都买了，那么他能中奖也就不足为奇了。您会让他买多少张彩戛才能判断他的方法是否有用呢？要评估他的技术准确度，您应该考虑他买了多张彩票的事实。同样地，研究者在同一数据集上进行多个统计测试更有可能得到错误的发现。而当研究者在同一数据集上不断重复同一个测试，则保证他*终会得到一个错误的发现。这种选择偏差来自于让模型在测试集上表现良好，而不是训练集。 另一个测试集过拟合的例子是研究人员对一个策略进行回测，并对其进行调整，直到输出达到目标性能为止。这种回测一调整一再回测一再调整的循环是徒劳无功的，*终必然会以过拟合（假阳一HE）而告终。相反，研究者应该花时间去探究误导他做出回测错误策略的研究过程。换句话说，一个表现不佳的回测是一次修正研究过程的机会，而不是一次修正特定投资策略的机会。 由于测试集过拟合，大多数已发表的金融学发现可能都是错误的。机器学习并没有造成当前金融研究的危机fH。rvey等，2016）。这场危机是由于金融领域对经典统计方法的普遍滥用（特别是p值操纵，p－hacking）造成的。机器学习可以从三个方面来帮助处理测试集过拟合问题：**，我们可以跟踪一个研究者进行了多少次独立测试，以评估至少有一个结果是错误发现的概率（称为家族错误率，或family wiseei Torrate，FWER）。收缩夏普比率（Bailey和LpezdePrado，2014）在回测中使用了类似的方法，第8章中会详细解释。它相当于控制了您那位朋友买彩票的数量。第二，虽然一个模型很可能在一个测试集上过拟合，但在数千个测试集上全都过拟合是很难的。可以通过把训练集和测试集拆分、组合并重复采样来生成这数以千计的测试集。这种方法就是组合净化交叉验证方法，即CPCV（AFML，第12章）。第三．我们可以使用历史序列来评估底层数据生成过程，并抽样合成数据集，这些数据集应与历史序列上的统计特性相匹配。蒙特卡洛方法在这方面的能力非常强，可以产生与历史序列的统计属性相匹配的合成数据集。这些测试得出的结论．是建立在估计的数据生成过程的代表性的基础上的（AFML，第13章）。这种方法的主要优点是，这些结论与数据生成过程的某个特定的（观察到的）实现无关，而是与整个随机实现的分布有关。根据之前的例子，相当于复制彩票游戏并重复多次，这样我们就可以排除运气因素。 P14-15