大语言模型在问卷调查中的应用及其边界

2026-10-22 来源:中国社会科学网-中国社会科学报

微信公众号

— 分享 —
链接已复制
  以大语言模型为代表的生成式人工智能,正在推动社会科学研究方法发生深刻变革。作为政治学应用最广泛的定量研究方法之一,问卷调查方法是测量公共舆论、政治态度和政治行为的重要途径。然而,样本获取成本高、覆盖范围有限、特定群体接触困难以及社会期望偏差等问题,长期制约着问卷调查的应用及信度、效度。利用大语言模型,研究者可对政策议题、政府绩效和政治参与等问卷进行预试,模拟不同群体在公共治理等政民互动情境中的可能反应。这一巨大的应用潜力,将助力未来低成本、高效率的“预调查”“假设检验”和“因果发现”。
  硅基样本拓展问卷调查边界
  大语言模型作为自然语言处理技术发展的最新成果,是运用深度学习算法理解并生成类人自然语言响应的人工智能系统。除作为先进的分析手段外,它在特定任务中呈现出的类人响应特征,也为问卷调查技术应用提供了新的可能。大语言模型所具有的推理、认知、情感和行为等能力,使其能够模拟人类被试,进而作为一种新型社会主体参与社会活动;它基于真实人类的社会人口背景资料“扮演”具有不同身份的人物角色,由此形成问卷调查的新型样本来源——“硅基样本”。大语言模型能够在一定程度上模拟人类的认知与行为模式、捕捉变量间的潜在关联,并呈现出某些人格特质和倾向。这种相似性可用“算法保真度”衡量,即模型响应与真实人群反应在分布、方向和结构上的接近程度。例如,《政治分析》新近刊发的研究显示:以美国多项大型调查中真实受访者的社会人口背景为条件,引导GPT-3生成的硅基样本可以再现不同群体的政治态度分布,且硅基样本数据所展现出的关于思想观念、态度取向等之间的复杂关联,与人类真实亚群体的内部形态具有较高一致性。由此,硅基样本既可用于插补非随机缺失数据,也可生成供探索性分析使用的合成数据。需要强调的是,形式上的“像真”并不等于经验上的“有效”,更不意味着大语言模型已经成为真实公众意见的替身。
  硅基样本在调查研究中的使用也存在明显局限。首先,大语言模型的响应具有情境敏感性,对不同社会政治议题的模拟可能出现系统性偏差,面对复杂、敏感议题时准确度往往更低。其次,大语言模型的响应易趋向“理性化”和“同质化”。由于对齐过程被注入了较强的“安全性”偏好,其输出存在“正确答案效应”,难以充分呈现人类回答的真实多样性。最后,训练语料、对齐规则和模型版本的变化,还可能放大既有偏差并削弱研究的可重复性。若直接将大语言模型输出视为公众真实感知,会造成“伪代表性”偏差,误将构念偏移、算法偏差当作经验发现。因此,现阶段硅基样本只能作为人类样本数据的补充,有条件、有限制地应用于问卷调查类的研究实践。
  大语言模型可从研究环节、任务匹配与研究对象三方面优化传统问卷调查。一是将硅基样本用于预调查。借助大语言模型,研究者在较短时间内花费较低成本,即可批量生成硅基样本。操作便捷、经济节约的显著优势,使得大语言模型成为实施预调查的有效工具,有助于研究者快速了解数据基本特征,辅助假设生成、优化研究设计及加快推进正式调查实施。二是根据不同议题选择与任务相匹配的模型。大语言模型的仿真能力存在明显的情境异质性,在共识度较高议题上的仿真功效可能优于文化嵌入型、治理敏感型等议题。研究者应基于小规模的真实人类样本进行校准,比较各模型在不同议题上的拟合误差,再审慎确定所用模型、提示词与参数设置。三是辅助获取难触达群体的样本数据。当调查对象涉及少数边缘群体或特殊敏感群体时,可以充分利用大语言模型生成的硅基样本作为替代,从而缓解样本获取困难、代表性不足和潜在伦理风险等问题。
  “碳基+硅基”的混合样本
  “碳基+硅基”的混合样本,是未来问卷调查技术应用值得探索的重要方向。无论大语言模型如何迭代发展,它终究是对现实世界的某种算法映射和概率拟合,无法拥有与人类相近或高度匹配的真实经历与情感体验。问卷调查的未来并非“碳基”与“硅基”二选一,而是边界清晰、合作互补的人机协同。
  一方面,硅基样本的使用应始终以人类数据为基准,据此判断模型响应是否符合现实世界的真实结构、检验和保障研究的外部效度,并证明测量的构念效度、避免意义漂移。硅基样本的生成需基于真实的人口学特征、职业背景和生活情境等信息,且无论是使用定性访谈提示输入还是检索增强生成技术,大语言模型对特定人群或情境仿真精度的提升,都离不开已有的人类数据。
  另一方面,受制于当前大语言模型有限的模拟精度,硅基样本仍不宜单独应用于问卷调查。对此,可通过优化硅基样本与人类样本的混合配比,提升仿真效能与成本收益。已有的模拟实验研究发现:当硅基样本占比略低时,混合样本的仿真表现相对占优,对于大样本调查项目中节约执行成本、补充难以接触的特定群体数据而言具有重要价值;而当硅基样本占比较高时,混合样本的仿真表现虽有所下降,但在预调查等场景中仍可酌情使用。研究者可结合自身研究内容、条件和目的,引入恰当比例的硅基样本开展研究。
  以理论与责任校准方法创新
  大语言模型重构了调查研究的若干流程,体现为方法论层面的变革,但其归根到底仍是一种研究增强工具,对其应用的讨论不能停留在技术和效率层面。回到社会科学研究本质,从本体论的角度而言,更应看到研究者与研究对象的交互及其作为“人”的主体性和独特性。方法问题最终指向两个更根本的问题:研究由何种理论驱动,研究者在其中扮演何种角色又承担哪些责任。
  第一,强化理论驱动意识,坚守研究者的思想创造性。大语言模型革新了问卷调查技术的应用方式,但未改变其作为方法的工具属性;硅基样本丰富和补充了人类数据,却不具备活生生的人的体认和感知。人工智能时代,社会科学研究在“方法驱动”“数据驱动”范式之外,更应找回“理论驱动”的本源意义。学术研究需以研究者的困惑为起点、求知为牵引、思考为主导,始终保持思想性、创造性和批判性。基于丰富的理论积累、深厚的经验质感和真切的现实关怀,研究者方能识别与提出有意义的研究问题,再利用大语言模型等新兴数智技术有效服务于后续的研究证成,进而得到迎向现实、思考在场的研究发现。
  第二,以“人”为价值落点,构建负责任的社科研究。大语言模型并不仅作为一种技术系统辅助分析,而是以智能体的形式深度参与科研工作,包括知识整理、变量提取、机制比较、解释生成等流程。但与此同时,其“幻觉”“黑箱”和重复性不稳定等问题依旧突出。就硅基样本具体使用的规范而言,需明确记录大语言模型的使用版本和参数设置、提示词策略和微调操作、生成代码和输出数据,遵循相应隐私保护和伦理审查要求。同时,在厘清大语言模型和研究者的认知分工、动态协同和责任边界基础上,建立健全专门性实操标准规范和贯穿研究全流程的验证机制。更重要的是,研究者应尊重“人”作为生命主体的最高价值,承担起判断、核验和决策等主要责任,保障研究过程可追溯、研究结果可信任。
  大语言模型应用于问卷调查的真正价值,不在于无限生产看似充足的样本,而在于以更低成本、更高效率拓展探索空间,并在真实数据的持续校准中推动科学发现。只有以现实社会为尺度、以理论问题为驱动、以人类福祉为落点、以规范治理为边界,才能把科技红利转化为可靠知识,最终服务于更准确的社会理解和更科学的公共决策。
  (作者系中国社会科学院政治学研究所国家治理研究室主任、研究员,中国社会科学院大学政府管理学院副院长;中国社会科学院大学计算政治学研究中心助理研究员)
【编辑:刘倩 李峥(报纸)王晏清(网络)】