研究者如何面对局限性

做善于“自曝其短”的研究者

2025-05-28 来源:中国社会科学网-中国社会科学报

微信公众号

分享
链接已复制

  本报记者 方龄

  “然而,本研究也存在以下不足之处……”我们可能会在查阅学术文献时注意到,对研究局限性的分析并非仅存在于同行评议意见或对以往研究的综述梳理之中,而是由作者率先“自曝”,在正文中主动剖析自身研究的不足。

  研究局限性的自我披露与来自外界的监督之间存在何种互动关系,又能给科研建设带来哪些连锁反应?如何让研究局限性的呈现更加顺畅?近日,英国伦敦布鲁内尔大学生命科学系荣休教授约翰·桑普特(John Sumpter)和澳大利亚昆士兰大学语言与文化学院副院长彼得·克罗斯威特(Peter Crosthwaite)向本报记者讲述了他们对上述问题的体会与思考。

  作者以退为进争取解释权

  高质量的局限性陈述要如实承认局限性的存在,还要如实告知局限性的各个方面,而非选择性呈现,以便读者在合适的语境下对研究进行恰当、准确的评估。这是桑普特对怎样写好“局限性”章节的理解。他特别提到,考虑到读者许多时候只阅读论文的摘要,在摘要结尾提及研究的主要局限性也是有价值的。

  当研究者撰写“局限性”章节时,他们想表达什么?在克罗斯威特看来,研究者希望在突出科学严谨性和专业知识的同时,展现自我批评和谦逊精神。“局限性”章节围绕研究的发现、方法或主张提出警示,致力于证明研究决策的合理性,并减少局限性对研究有效性的冲击。要做到这一点,研究者应熟练运用专业知识,表达一种平衡立场,以期让读者更积极地看待该研究的不足。这样的阐述有助于化解研究在方法论上的潜在争议(如非随机抽样)以及与文化特异性等相关的语境制约,审稿人也对此非常关注。

  从文章内部结构看,“局限性”章节与论文其他部分彼此呼应。引言部分提出研究问题并论证为何使用某种研究方法,“局限性”章节重新审视这些选择,说明样本量、背景环境等方法或视野上的约束不影响研究目标的实现,但可能限制结论的通用性。例如,若引言部分介绍了一种新方法,“局限性”章节可能会强调其实验性质,避免未经充分测试就声称具备可靠性而造成审稿人的疑虑。讨论部分对研究发现作出解读,“局限性”章节通过处理潜在缺陷(如混杂变量)来限定这些解释。作者通过将局限性界定为经过考量的权衡而非失察,防止对研究缺陷的放大。而在结论部分加入对局限性的阐明,通过识别同行可能会注意到的缺口,一项研究可以为未来的研究提供前瞻性引导。这不仅显示出作者的远见,也与学术界对科学迭代的期望保持一致。

  披露局限性需卸下思想包袱

  每篇科学论文都应包含“局限性”章节——这是桑普特和同事在一篇合著文章中发出的倡议。他认为,研究中局限性陈述的缺席大抵有两种原因,其一是研究者确实未能意识到某些问题,这需要审稿人予以提醒,使最终发表版本较前版更加完善。其二是研究者对承认局限性心存顾虑,担心这会削弱或否定自己的研究。他们的内心独白可能是:“我想展示这项研究获得了可靠的、可重复的结果,不想表露研究范围有限甚至存在问题,尤其不能有大问题。如果我承认研究没那么有力,编辑部恐怕就不愿发表了。”

  坦诚相见展现了对研究伦理标准的坚守。如果诚实地承认局限性确实导致成果发表概率降低,桑普特不认为这是一项“重大风险”,相反,这督促研究者在今后的工作中更加精进。他认为,主动披露研究局限性应被视作一种积极的学术发展动态,它能促进后续研究通过更完备的研究设计等方式克服先前研究的不足,开辟关键的、令人兴奋的新方向。

  回顾自己数十年的学术生涯,桑普特说:“随着年龄的增长、研究经验的丰富以及我个人可能也更加明智,我逐渐意识到,基本上所有的研究都有局限性。相比过去,我更近期的论文可能更坦诚地说明了研究的局限性。如果我的每篇论文都包含专门的‘局限性’章节就更好了。”这番话代表了许多支持“自曝其短”并身体力行的研究者的心声。他们相信在研究中纳入局限性陈述大有裨益,这会使科学出版物更加坦率、忠实,继而增进读者和公众对研究结果及结论的信任,并将研究置于恰当的语境中。如若公众对科学出版物提及的发现和论断有更高程度的尊重与信任,整个社会就能对相关信息更加了解,对所涉议题形成更理性、公允的观点。

  在开诚布公讨论局限性方面,青年学者与资深学者的感受可能有所不同。处于学术生涯早期的研究者面临着巨大的发表压力,美国北亚利桑那大学英语系教授卢克·普隆斯基(Luke Plonsky)等人的研究显示,这给可疑研究实践提供了可乘之机,在诸多研究领域均有体现。青年学者可能在披露局限性上背负着更大的思想包袱。“在我早期的个别研究中,我可能在一定程度上试图回避不足之处。为了让论文顺利通过评议,在提及哪些局限性的决策上,我可能会略过一些信息。不过,其中的大多数问题还是会在评议环节被指出来。”现任《澳大利亚应用语言学评论》主编的克罗斯威特这样回忆。

  一些作者意欲通过“扬长避短”增加发表机会,但实际上,对披露局限性会使成果更难发表的担忧也许本就是多余的。克罗斯威特表示,虽然同行评议能很好地解析研究局限性,但这是由审稿人而非作者本人揭示的。未能自我披露局限性的作者承担了被视为“不太可信的作者”的风险,审稿人可能认为作者是故意遗漏这部分信息的。相反,更彻底地“自曝其短”可以更好地与同行评议共同发挥作用,凸显研究的透明度,反而有助于降低投稿被拒的概率。

  在自我批评中守护科研诚信

  “重复危机”是当前学术界和公众广泛关注的一项挑战。研究者应确保成果的质量,低质量研究的结论令人怀疑,即不太可能被重复。克罗斯威特表示,对研究局限性的合理探讨有助于提升成果的透明度和可重复性,并为在未来研究中最终消除这些局限性提供机会。

  当然,研究中也难免碰到这种情况:主题很有意义但结果具有不确定性。当桑普特注意到研究不如预期有力时,他通常选择在论文标题中加上“初步”并作为第一个词,醒目地表明结果不一定经得起后续的某些检验。无论“初步”与否,即使是更具创新性的探索,他也力求保证研究的可重复性,换言之,结论的正确性。结果是可靠的,因而是可独立重复的。

  如果将处理得当的“自曝其短”视为一种可取的研究实践,与之相反的做法则有可能滑向可疑的研究实践。在克罗斯威特所处的应用语言学领域,美国夏威夷大学马诺阿分校助理教授丹尼尔·R. 伊斯贝尔(Daniel R. Isbell)等人的研究表明,可疑研究实践包括:为获得“更有利”的结论而误用统计方法、隐瞒方法细节、剔除与作者先前研究或其他支撑性研究相矛盾的发现等。这折射出发表竞争背后更复杂的问题。

  尽管是否阐述、如何阐述研究局限性主要由研究者决定,但他们的自身考量只是浮出水面的冰山一角,在决策时看似“不在场”的科研机构、出版机构、资助机构等也扮演着关键角色。桑普特告诉记者,他希望“局限性”章节能成为各研究领域在发表成果时的硬性要求,当他向期刊方提议时,对方表示很欣赏这个理念,但对实际落实还相当犹豫。与作者的纠结类似,期刊方也担心,承认研究局限性有可能被认为有损该期刊发表成果的质量,尽管他们也知道,局限性是普遍存在的,只是有些不该出现,另一些则瑕不掩瑜。“研究成果通过媒体等途径向社会传播。如果我们在各个层面都更加坦诚,将创造一个更美好的社会。”他如此说道。

  外审与自我要求相辅相成

  自我要求与外部监督、自我批评与同行评议共同构成了科研诚信的安全防线。克罗斯威特提到,方法论转向等学科发展的跃进能使研究者关于研究方法的知识与能力普遍得到提升,中肯的评议意见也会使他们对研究局限性产生更深刻的认识。

  围绕更好地呈现研究局限性,学术界进行了一系列兼具创见与实操性的探索,其中的新趋势、新动态尤为值得关注。为强化外部监督,在研究开始前预注册的做法应运而生,并已得到比较广泛的应用。在此背景下,研究者或可向期刊提交拟开展研究的计划书,让评议环节对研究局限性的处理从源头启动。不过,这样的任务非常繁重,是否可取还存在争议。另一种选项是开放同行评议,审稿人对研究局限性的评议意见可被公开浏览,防止其因偏见或敷衍作出不合理的评议。

  而从激励研究者提高自我要求、完善自我批评的角度,科研资助机构可要求项目申请书中包含对研究局限性的预计及应对方案,并在审定时优先考虑进行了忠实、严谨的自评估的申请。临床医学领域的CONSORT声明、旨在指导系统评价的PRISMA规范等有针对性的指南可为披露研究局限性提供参考清单,而由科研机构、出版机构举办的研讨会则有助于引导研究者以“旁观者”的视角预估同行评议意见并撰写高质量的局限性陈述。

  “任何领域都很难实现自我监管。可疑的研究实践存在于不同的研究领域,存在于高等教育系统内外。通过认识这种情况并切实采取应对措施,我们可以努力赢得对研究产出的信任。但这需要所有人共同努力。”克罗斯威特总结道。

转载请注明来源:中国社会科学网【编辑:陈禹同(报纸) 张赛(网络)】