声音不仅传递信息，其音高、语速、停顿和情绪强度还会影响公众对领导力、可信度和政治立场的判断，会话中的打断、沉默与话轮转换也能呈现互动秩序与权力关系；音乐及其他非语言声音则可以调节情绪、塑造集体记忆及群体认同。长期以来，受制于信号结构复杂、处理流程烦琐和理论变量构建困难，音频材料未能像文本那样得到广泛应用。随着预训练模型、自监督学习、多模态对齐和指令式大模型的发展，人工智能正在重构音频数据进入包括政治学在内的社会科学研究的完整链条，使其成为能够独立生成变量、进入统计模型并服务理论解释的数据来源与方法工具，尤其在政治传播、政治心理和政治互动研究领域展现了极大的研究潜力。

　　从预处理到语音转录：

　　音频分析的两个关键环节

　　音频预处理是音频分析流程中的基础环节。现实世界中的音频数据往往不是纯净的单一语音，因此在进入语义分析之前，首先需要对原始音频进行格式统一、切片、降噪和声源分离等处理，使其转化为较为规整的分析对象。传统音频预处理依赖专业声学软件和复杂参数设置，对非工程背景的研究者门槛较高。近年来，开源工具显著降低了这一难度。FFmpeg可以完成格式转换、采样率统一、片段裁剪和批量处理，为大规模音频数据标准化提供基础支持。进一步地，Demucs等基于深度学习的音源分离模型，能够自动将混合音轨中的人声与背景音乐分离，从而降低环境声对后续语音识别和情绪分析的干扰。原本复杂的信号处理过程因此被封装为相对标准化的技术步骤。

　　对于社会科学研究而言，预处理能力的提升一方面显著提高了音频数据的可用性，另一方面提高了后续模型的识别准确度和嵌入稳定性，从而改善了变量构建质量。更重要的是，预处理工具的开源化和模块化，使音频清洗逐渐从专门的工程技术转变为可复制的研究流程：研究者可以在Python等环境中调用成熟工具，快速完成音频切分、降噪和分轨，从而将音频预处理纳入常规研究设计。

　　语音转录构成了音频方法创新的第二个关键环节。只有当语音能够被较高精度地转写为文本时，音频数据才可能进入已有的文本分析框架。早期自动语音识别系统虽然已经具备基本转写能力，但在现实研究场景中往往表现有限，长期停留在技术上可行但难以应用的阶段。这一局面随着预训练语音模型的出现而发生转变。以Whisper为代表的多语种基础模型，在大规模语音数据上训练后，显著提高了转录精度、环境鲁棒性和跨语言泛化能力。其意义不仅在于更准确地将语音转为文本，更在于使不同来源、不同语言和不同音质条件下的语音材料能够以较统一的方式进入文本分析框架。政治演讲、媒体访谈、跨国会议发言和社交平台语音内容，都可被转写为文本，并进一步纳入情感分析、主题识别和立场分类等计算社会科学方法之中。

　　在识别精度提升之后，另一个关键问题是使用成本。大型基础模型能力强，但通常需要较高算力。近年来，轻量化模型的发展为这一问题提供了解决路径。以SenseVoiceSmall为代表的小模型，在保持较好识别效果的同时，显著降低了推理成本和部署门槛。研究者因此能够在本地环境中完成大批量语音转录，而不必依赖昂贵的云服务或高端硬件。这也推动了语音转录从“技术能力”走向“方法常规”。

　　更重要的是，当代语音转录正在突破“识别即终点”的局限。随着语音模型与大语言模型的联动，转录过程开始同时承担文本结构化和变量生成的功能。一体化语音模型可以在转录的同时进行话轮拆分、情绪标注和角色识别；即便采用Whisper等模型获得初步文本，研究者也可以进一步利用大语言模型进行纠错、分段、摘要和标签生成。这样，输出结果不再只是连续文本，而是带有发言人标签、议题划分和情绪信息的结构化材料。语音转录因此不再只是声音到文字的转换，而成为从原始音频到分析变量的起点。

　　表征学习革命：

　　从语音特征到社科变量

　　除语音内容之外，音频还包含大量无法直接由文本替代的信息，如情绪强弱、语调变化、节奏模式、声音风格以及音乐氛围。传统音频分析通常依赖音高、频谱能量、共振峰和梅尔频率倒谱系数等低层声学特征来刻画声音的物理属性，但与社会科学关心的情绪、权力、说服和互动张力等理论变量之间缺乏稳定映射，因此难以直接进入统计分析框架。

　　表征学习的出现改变了这一局面。以wav2vec 2.0为代表的自监督预训练模型，不再依赖研究者手工设计特征，而是在海量未标注语音数据上直接学习高维嵌入表示。这些嵌入向量能够压缩语调、节奏、发音方式和潜在情绪线索等复杂信息，从而把声音从“可测量的信号”转化为“可计算的表示”，为社会科学变量构建提供了新的技术基础。

　　基于嵌入表示，音频变量的构建大致可以分为两条路径。第一种是监督学习路径，即将嵌入向量作为分类器或回归模型的输入，用于预测具有明确理论意义的变量，如焦虑、愤怒、稳定、动员等情绪类型，或强硬表达、妥协表达等语气风格。第二种是无监督聚类路径，即对嵌入向量进行聚类分析，识别不同的声音表达模式，并根据其语义特征赋予其社会学解释，形成表达类型变量。

　　进一步的发展来自多模态对齐模型。以CLAP为代表的模型不仅学习音频表示，还将音频嵌入映射到与文本共享的语义空间之中。这意味着声音和语言可以在同一表示框架内进行比较。某段音频更接近“激昂”“庄重”“舒缓”还是“戏谑”等文本概念，不再必须依赖人工直觉判断，而可以通过向量距离加以刻画。这使得声音的社会意义能够较稳定地与文本概念对应起来，从而增强音频变量的可解释性。

　　指令式多模态模型：

　　从模型训练到任务定义

　　指令式多模态模型的发展进一步改变了音频使用方式。它的关键特征在于，研究者可以通过自然语言指令，直接要求模型对音频执行特定分析任务，并输出结构化结果。

　　近年来，多模态大模型逐渐将语音识别、语义理解和文本生成整合到统一框架中。音频输入不再只是待转写对象，而是成为可直接标注、分类和总结的分析材料。研究者可以要求模型完成情绪识别、对话角色区分、发言轮次划分、议题分类和互动结构提取等任务。这意味着研究重点开始从“如何训练模型”转向“如何定义任务”，音频分析的技术门槛因此显著下降。

　　需要注意的是，指令式模型与传统表征学习并非相互替代，而是在社会科学音频研究中形成优势互补。传统预训练模型适合在标注数据充足、研究目标明确的条件下开展稳定、可控的识别与测量；指令式模型则更擅长降低音频分析的技术门槛，在研究初期快速完成探索性分析、初步标注和结构化提取。研究者可以先利用指令式模型发现模式、整理数据和生成标签，再借助传统模型进行规模化训练与严格验证，从而兼顾研究的灵活性、效率与可靠性。

　　（作者系清华大学社会科学学院博士后）