反思社科“八股文”之“讨论”部分

2024-01-05 来源:中国社会科学网-中国社会科学报

微信公众号

分享
链接已复制
  社会科学的研究方法、研究过程和研究成果,是各国学者经常讨论的经典话题,似乎永远不会过时。每个时代的社会科学研究都面临着复杂深刻的挑战,在应对挑战、解决问题的过程中,伴随着社会实践的社会科学也获得了发展和进步。
  最近,英国伦敦政治经济学院行为实验室研究员菲利普·肖内格(Philipp Schoenegger)和奥地利萨尔茨堡大学哲学系博士后研究员雷蒙德·皮尔斯(Raimund Pils)讨论了当今世界范围内社会科学面临的挑战,创新性地提出了一个建议,即删除社会科学论文中的“讨论”(discussion)部分。这一“革命性”的提法,无异于给社会科学领域经典的“八股文”写法浇了冷水,引发了一定范围内的争议和讨论。本报记者围绕社会科学面临的挑战、应对策略以及社科论文“讨论”部分的作用等问题,采访了皮尔斯。
  发表偏差助长社科研究危机
  在皮尔斯看来,社会科学研究目前主要面临着三大危机,分别为重复危机(the replication crisis)、理论危机(the theory crisis)和适用性危机(the applicability crisis)。这些危机相互关联,威胁着社会科学研究的有效性、可靠性和实用性。
  首先是重复危机,即很难再现以前的研究成果,这一问题已经受到许多专家的关注。从“多实验室重复项目”(Many Labs Replication Project)等研究的成果可以看出,只有一半甚至不到一半的研究成果可以重复,这让人们对研究成果的可靠性产生了质疑。其次是理论危机,它表明社会科学缺乏全面、累积性的理论框架。从根本上说,社会科学的理论往往普适性地完成概括和应用,这就削弱了其实用性和可靠性。最后是适用性危机,即科学发现只能在小范围内重复,无法在更大范围内应用,这让人怀疑学者所提出的科学建议的实用程度或可操作程度。这些危机造成了巨大的影响,它们削弱了公众对社会科学的信任,限制了学者提出各类建议的能力,可能导致研究资源的浪费。
  肖内格和皮尔斯在其研究成果《危机中的社会科学:关于取消讨论部分》(Social sciences in crisis: on the proposed elimination of the discussion section)中提到,之所以会出现上述问题,原因之一是存在发表偏差,即具有统计学显著性研究意义的研究结果获得发表的可能性更大。另一个原因是“有不道德嫌疑的研究实践”普遍存在,包括选择性分析某些变量、分析完成后额外收集数据、放宽实验条件等。
  皮尔斯表示,为了应对危机,学术界已经启动了几项改革措施,包括通过发展“开放科学”来解决根本问题,致力于提高研究实践的透明度和可靠性。其中最为突出的方案之一是“预注册”(preregistration),研究人员需要在开展研究前公开概述其研究设计、研究假设和分析计划。这一方法有助于减少不当研究实践。需要注意的是,这些不当研究实践往往并非研究人员有意为之,他们有时可能根本没有意识到相关操作不符合规范。“预注册”要求研究人员承诺执行预先确定的计划,而不是篡改数据或有选择地报告结果,从而提高研究的可复制性和完整性。
  另一个方案是“注册报告”。在这种方案下,人们将重点关注研究主题和研究方法,而不是研究结果。研究假设和研究设计会经过同行评审,如果评议结果为合理,那么无论研究结果如何,都会被接受并发表。这种方法将重点从“令人兴奋”的研究结果转移到严谨、设计良好的研究本身,促进了更为稳健的科学探索。而且这种做法确保了统计学意义上“失败”的成果仍能得到发表,从而减少发表偏差。
  此外,人们还在大力推动优化统计学教育和方法论。相关改革旨在加深研究人员对统计学原理和研究方法的理解,从而提高研究整体质量。相关举措已经取得了一些成果。例如,预注册和注册报告越来越受各种期刊的欢迎,研究人员对研究方法和统计素养重要性的认识在不断提高。这些都在逐步提升社会科学研究的质量,改变研究文化。
  取消“讨论”部分提升可信度
  皮尔斯告诉记者,在过去几年中,上述尝试已经取得了较大进展,但这远远不够。举例来说,在市场营销研究领域,从《消费者研究杂志》等期刊发表的论文来看,只有约11%的研究成果可以被重复。因此,他和肖内格提出了一种新方法,即取消论文中的“讨论”部分,将其单独取出作为一篇论文。目前,社会科学论文的作者大多会在讨论部分解释研究结果,这个部分是滋生“认知偏见”(cognitive biases)和“激励失当”(incentive misalignment)的温床。在该部分,作者可能会更关注那些支持其观点的发现、数据和解释,而忽略那些与其观点相悖的内容。如果作者没有准确陈述其研究的真正结果和局限性,则其研究成果难免会受到质疑。因此,去掉“讨论”部分能让论文更准确、可信。
  肖内格和皮尔斯认为,另一个关键点是要让研究过程更加专业。通常情况下,一个研究团队需要事无巨细地完成所有研究相关事项,包括研究设计、收集数据、分析数据等,然后努力将研究与过去和未来的理论与实践相结合,这种“一条龙”式的做法会降低研究效率并影响研究结果。因此,他们提议将上述任务拆分,让研究人员能够各展所长,一部分研究人员可以只负责实证部分,如收集和分析数据,专注于研究和数据本身;另一部分研究人员则可以独立解释研究结果,并与实际情况相结合,专注于对研究进行全面批判性的深刻分析。这样的分工可以提高研究效率和研究质量。
  皮尔斯在接受采访时指出,自20世纪60年代以来,社会学家和经济学家已经注意到科研合作通常源于科学本身,这一发现在随后的社会科学研究中得以进一步明确,即科学家在自我利益驱动下的社会行为塑造了科学规范。学者的动机往往不仅是寻求真理,还包括促进职业发展、获得学界认可、获取研发资金等,这些动机有时会与科学研究的核心目标相冲突,也可能影响研究结果。因此,如果将学者的个人目标与科学研究更广泛的认识论目标相统一,就可以推动科学进程。同行评议就是一个很好的例子。在同行评议制度下,论文需要经未参与研究的专家严格审查才能发表。但是有人可能会有疑问:这样做会增加学者发表论文的难度,影响其职业生涯,为什么学者必须接受这样的审查?答案是:在高标准的同行评议期刊上发表论文属于学者的成就,能提高其在学界的声望。这样就将学术激励与科学研究的目标联系在一起,二者方向一致。
  皮尔斯表示,让另外的学者来评议、挑战原研究的偏见和盲区,是一种“对抗模式”,应当强化这种“对抗模式”。因此,在肖内格和他提议的结构中,解读结果和收集数据的分别是两个独立团队。这就形成了一种健康的紧张关系,负责解读的团队没有参加原始研究,一般不会对数据有偏见,可以批判性地分析研究结果,甚至质疑研究结果。这种方法有助于恢复公众对社会科学的信任。在如今错误信息泛滥的时代,准确、透明的研究报告至关重要。这种模式还能为学术出版创造新动力。在这种模式下,研究人员不仅会因为提供新的数据而获得激励,而且会因为对现有数据进行批判性分析而获得成就,从而形成一种重视全面审查研究结果和批判性思维的文化,这将对社会科学研究的整体质量和可靠性产生深远影响。
  破除社科“八股文”引发讨论
  肖内格和皮尔斯的提议一经提出,立刻引发学界诸多讨论。斯坦福大学心理学教授拉塞尔·波德拉克(Russell Poldrack)赞同这一提议,并表示他愿意在引言部分读到研究人员对结果的假设,这可以展示其研究动机,但对“讨论”部分中的猜测毫无兴趣。他认为,如果研究结果带来了新的想法,那么研究人员就应该开展更多工作加以验证,然后产出一篇相关论文。
  牛津大学发展神经心理学名誉教授多萝西·毕夏普(Dorothy Bishop)则对此不以为然。她认为,“讨论”部分应当发挥两种作用,一是简明扼要地传达结果与假设之间的关系,二是提供一个机会思考结果所激发的新想法。她也看到了肖内格和皮尔斯所提出的问题,即论文的“讨论”部分往往容易过度夸大研究结果,导致人们浪费时间去研究十分有吸引力但错误的线索。但在她看来,因为有人滥用“讨论”部分,就认为应该删除这个部分,未免因噎废食,更何况现在还有其他办法可以解决相关问题。
  毕夏普表示,肖内格和皮尔斯的观点让她感到不安,因为他们似乎是反对研究人员利用论文阐述在研究过程中产生的新想法。她认为,应该充分鼓励研究人员阐述在研究中获得的创造性见解,因为科学的发展是循序渐进的,有些见解可能对其他从事该课题研究的人很有价值,或许他们会有兴趣就此开展更多研究。如果研究人员只能提出那些已经通过成熟实验得到验证的观点,那可能会减慢科学的发展速度,降低新的科学发现出现的可能性。此外,这也会让学术研究成为一种孤立的活动,因为大家都只会在自己的道路上蹒跚前行,不再注重交流。
  肖内格和皮尔斯也承认,删除“讨论”部分的主要代价是可能会失去作者讨论自己数据的认识优势,这些是第三方研究人员无法立刻察觉的,在涉及复杂数据集时尤其如此。将“讨论”部分外包给第三方可能会错过只有原作者才能提供的重要细微差别和见解。他们知道自己的建议相当大胆,但同时也认为,学界需要对大胆的想法展开讨论以改善社会科学研究的现状。而且他们的提议并不是独立的解决方案,需要与其他正在进行的改革(尤其是开放科学运动下的改革)协同工作。取消“讨论”部分需要改变研究规范,他们希望这一建议能引发更广泛的讨论,并对社会科学研究的开展和传播方式进行有意义的改革。
转载请注明来源:中国社会科学网【编辑:姚晓丹(报纸)王晏清(网络)】