直到退休后,我才有时间仔细阅读医学杂志上的科学论文。在那之前,我和大多数医生一样,阅读了作者的结论,并认为这些结论与之前发生的事情有某种必然联系。我还天真地认为编辑已经完成了他们的工作,检查了他们杂志内容的知识连贯性和诚实性。
只是在我开始每周写一篇关于医学期刊的专栏文章,并开始从头到尾阅读科学论文之后,我才意识到许多医学文献,即使是在最好的期刊上,经常是多么糟糕——不准确、误导、草率、不合逻辑。我的发现在某种程度上让我感到高兴和放心:因为它向我表明,即使上了年纪,我仍然能够感到惊讶。
我开始认识到一篇糟糕论文的各种迹象:这篇论文声称,每周吃1公斤以上西兰花的人比那些吃得少的人在晚年患恶性贫血的可能性高1.17倍。46)在医学杂志上有大量这类胡说八道,一旦被广播公司和非专业媒体采用,就会引发健康恐慌和短暂的饮食狂热。
为什么这么多糟糕的科学被发表
最近发表在英国皇家学会开放科学网站上的一篇名为《坏科学的自然选择》的论文,试图回答这个有趣而重要的问题。
根据作者的观点,问题不仅仅在于人们一如既往地从事糟糕的科学研究,还在于我们当前的职业发展体系积极鼓励这种行为。他们引用了一位匿名研究人员的话,他简洁地说:“糟糕的方法得到了结果。”重要的不是真相,更不是重要,而是发表,发表本身几乎成了目的。有一种通货膨胀的过程在起作用:如今,任何申请研究职位的人都必须发表两倍于10年前相同职位所要求的论文数量。别管质量,数一下数量。这至少是一个客观的衡量标准。
除了发表论文的压力之外,期刊更倾向于正面而非负面的结果。证明因素a对结果b没有任何影响可能是重要的,因为它否定了一个假设,但它还没有因素a与结果b有某种轻微的正统计关联那么吸引人。关联不是因果关系可能是统计学的一个基本原则,但在实践中每个人都忘记了这一点。
产生积极关联的最简单的方法是做糟糕的科学,例如,在没有事先假设的情况下,通过搜索大量数据。例如,如果你选取100个饮食因素,并试图将它们与扁平足联系起来,你会发现其中一些因素与扁平足有关,这种联系如此强烈,以至于乍一看它们似乎不是偶然出现的。
一旦研究表明食用红卷心菜与扁平足有关,就会发生以下两种情况之一:有人会试图重现这一结果,或者没有人会,在这种情况下,这将成为科学神话。对于发表了不可复制的结果,并很快被证明是误导性的结果的惩罚,通常不会抵消最初发表这些结果的声望:因此,从职业的角度来看,发表垃圾文章比什么都不发表要好。一长串毫无价值的出版物总是令人印象深刻。
48)遏制这种倾向,在评估申请人发表的论文时,既要考虑数量,也要考虑质量。这就是著名的引用指数,也就是说一篇论文在科学文献中被引用的次数,假设一篇重要的论文比一篇小论文被引用的次数更多。49)如果不是因为科学家可以很容易地安排在他们未来的出版物中引用他们自己,或者让同事为他们这样做以换取类似的好处,这将是足够合理的。
将一个人的产出浓缩成简单、客观的指标,如出版物数量或期刊影响力,可以节省大量的时间、精力和模糊性。不幸的是,使用简单的量化指标来评估研究人员的长期成本可能会相当高。
50)如果我们真的想确保我们的科学既有意义又可复制,我们必须确保我们的机构能激励这种科学。
换句话说,我们需要的是在职业发展的道路上更加强调个人联系甚至裙带关系:但是不要在迦特说,不要在阿斯克伦的大街上发表;免得非利士人的女儿们欢喜…
46)在医学杂志上有大量这类胡说八道,一旦被广播公司和非专业媒体采用,就会引发健康恐慌和短暂的饮食狂热。
46)在医学期刊上有大量这样的广播和新闻媒体报道的废话,会导致健康恐慌和短暂的进食狂潮。
如今,任何申请研究职位的人都必须发表两倍于10年前相同职位所需的论文。
47)如今,任何申请研究职位的人都必须发表同样职位10年前所要求的两倍的论文。
48)有人试图抑制这种倾向,即在评估申请人发表的论文时,既考虑数量,也考虑质量。
48)人们已经做出努力来遏制这种倾向,即在对申请者发表的论文的评价中加入一些质量和数量。
49)如果不是因为科学家可以很容易地安排在他们未来的出版物中引用他们自己,或者让同事为他们这样做以换取类似的好处,这将是足够合理的。
49)如果不是因为科学家可以很容易地在未来的出版物中引用自己或要求同事为他们这样做以换取类似的好处,这将是合理的。
(50)如果我们想要认真地确保科学既是有意义的又是可再生的,那么我们必须确保我们的制度能够刺激这种科学的发展。



