大数据:挖掘数据背后的真相

第1章让全是偏见的我拥有解读数据的能力 本书采用的新闻报道共有以下10个主题：访日游客的增加、舆论调查的可靠性、“安倍经济学”的成果、东日本大地震后的状况、相对贫困、失业率的下降、年轻人远离××、全球变暖问题、减肥和恩格尔系数的上升。 这10个主题的数据都是政府机构公布的公开数据。所谓公开数据，是指通过官方网站等媒体任何人都可以自由收集、利用或再次传播的数据。本书开头所介绍的《关于信息通信媒体的使用时间和信息行为的调查报告》也是公开数据，就像检索“信息通信”这个词大家都能够看到相同的数据一样。 通过设定目的、收集数据、检查/统计、分析这四个步骤，让我们立即开始提升数据解读能力的训练吧！ ·有人仅相信想相信的内容 要提升读取数据的能力，必须先学会怀疑数据，说到底就是要学会怀疑人的判断和行动。因为每个人都有“思想的偏见”，多少都带有一点“自己才是正确的”的想法，这种认识越强烈，偏见就越严重；偏见一严重，就更愿意相信自己想相信的内容，眼光仅对准对自己有利的数字，甚至还会对数字做出信口开河的解释。 更可怕的是，处于这种状态的人很难意识到自己的偏见，他们始终认为自己在正视现实并做出了合理且理性的判断。人们把这种症状命名为认知偏见。 认知偏见并非在互联网普及、信息摄入量增加之后才出现的症状，而是在更早的时候就已经出现了，甚至可能是自人类诞生后就一直存在的症状。 ·从古代开始人就充满偏见 下面举几个具有代表性的例子。 其一是在《高卢战记》中记载的故事。公元前58年至公元前51年在高卢（相当于现在法国、比利时和瑞士一带）发生的古罗马与高卢、日耳曼之间的战争，史称高卢战争。顺便提一下，《高卢战记》是古罗马军队的指挥官尤利乌斯·恺撒撰写的。 据《高卢战记》记载，为了打破战争的胶着状态，副将萨比努斯向敌军派去了奸细，奸细在敌军阵营里散布流言，“罗马军队害怕了”“指挥官恺撒正在苦苦支撑，萨比努斯正派军队前往支援”。敌军正好处于粮草难以为继的境况之中，于是就简单地相信了对他们自己来说非常有利的流言，对萨比努斯的军队发动奇袭，结果被早已做好充分迎战准备的萨比努斯彻底击垮。 捷报传来之后，恺撒在《高卢战记》里写下这样一句话：“人们都从自己的角度相信自己想相信和自己希望发生的事情。” 另外，这里介绍一个关于巴西的日裔移民的悲剧。巴西方面希望缓解劳动力短缺的局面，日本方面希望缓解人口过剩的局面，双方一拍即合，从1908年开始，很多日本人移民到了巴西。到了巴西的日本人虽深受迫害，但也抱着怀念祖国的信念顽强地活了下来，其中也有一些日本人取得了成功。 1945年8月，日本接受《波茨坦公告》，承认战败。但是，巴西移民中有一部分人不接受日本战败的事实，认定日本战胜了以美国为首的盟军部队，并称自己为“战胜帮”，同时把接受战败事实的人蔑称为“战败帮”。这就是如今日本还在使用的“战胜帮”和“战败帮”两个词汇的来源。 双方的对立日益激化，相信自己想相信的事情的“战胜帮”于1946年对“战败帮”发起了恐怖行动，进而爆发了日本人和巴西人之间的大规模暴动。眼看事态不断加重，各国政府在“战败帮”的协助下，把在日本国内发行的报纸及来自“战胜帮”的亲友的信件送到“战胜帮”手中，千方百计让他们接受日本已经战败的事实。这个过程就用了十多年的时间。 顺便提一下，在日本经济高速增长末期的1973年，从巴西回到日本的“战胜帮”中的一个人说了这样一句话：“有着如此气派辉煌的机场和摩天大楼的日本绝对不可能战败了。” *后介绍的是我们大家仍然记忆犹新的、由东日本大地震引发的福岛核辐射事故。为什么会发生那场核事故？怎样做才能防止那场核事故？政府、国会和百姓各自站在自己的立场上成立了调查取证委员会。其中，政府设立的事故调查委员会（东京电力福岛核电站调查取证委员会）在历经一年零一个月的调查、取证之后，拿出了报告。 该报告在其结尾处写下了担任委员长的畑中先生的感想：“应发生的事情发生了，认为是不可能发生的事情也发生了。”“不想看见的看不见，想看见的看见了。” “海啸即使发生，照理来说也不会到达这里”“长时间全部停电，照理来说不可能发生”，在这些假设前提下建设并运营的核电站，却遭受了海啸的冲击，并导致全国大范围的停电。 人们都按照自己的思路想：“即使发生了也不至于出现令人讨厌的状况吧。”但如果出于安全考虑采取一些对策，就会被以下这些话说服了：“这难道不是真的要发生吗？你想让当地居民每天都提心吊胆地过日子吗？”可他们并没有。那些被人们认定的无数想法积累起来，只因一点点的偶然事件就引发了那场重大事故。 正是由于如上所述的认知偏见，致使人们生活在难忍的痛苦之中。同样的例子不胜枚举。尽管做出判断并依此行动的当事人很认真，但他们是否相信自己做出了不正确的选择呢？显然没有。所以，要想掌握读取数据的正确方法，*先要做的事情就是怀疑自己的判断和行动。 “我是不会被认知偏见之类的事情牵着走的。”如果你也曾经这样想过，那么，我在这里随意拿出一个数据给大家介绍一下。