夯实古籍文献的数智化基础

2026-11-10 来源:中国社会科学网-中国社会科学报

微信公众号

— 分享 —
链接已复制
  推进古籍文献的数智化,既不是单纯的技术更新,也不仅是文献保护工程,而是关乎在数智时代如何系统认识中华文明整体结构、历史演进与内在机理的基础性问题,更是关乎文明阐释权、文化多样性保护与学术自主性的战略领域。当前,人工智能、大数据、多模态计算等技术为古籍文献整理与研究提供了前所未有的工具条件。但实践表明,技术本身并不会自动生成知识,若缺乏坚实的学术基础与方法体系支撑,技术应用反而可能遮蔽问题、弱化判断。在人工智能推动人文社科研究范式变革的背景下,重新审视古籍文献数智化的基础性问题,具有突出的现实意义。
  古籍文献作为中华文明多元一体历史进程中的原生性产物与权威见证,在新时代承载着捍卫文化主权、存续文明基因与驱动学术创新的战略使命,同时也因其自身特性和当前条件而陷入系统性的研究与发展困境。一方面,数智化进程存在表层化瓶颈,难以支撑研究范式革新。目前,不少工作仍停留在“图像扫描”的初级阶段,陷入了“有数据无结构”“有档案无知识”的尴尬局面。另一方面,数智化的实现本身面临艰巨的基础性技术挑战。比如,部分古文字尚未完成系统的字符整理、考证与国际编码,导致其无法在信息系统中进行输入、显示与传输;文献的断代、缀合、残损文本复原、多语言对照释读等核心研究环节,也受制于基础训练数据的匮乏与专业标注人才的稀缺;等等。所以,古籍文献数智化面临的挑战,并非单一的技术难题,而是文字系统、文献形态与知识结构多重因素叠加的结果。
  在文字系统层面,古文字普遍存在高度非标准化的问题。绝大多数现行与主要历史文字已被纳入Unicode编码体系,为数字化保存奠定了基石。但部分文字尚未被完整纳入统一编码体系,数字身份不稳定;手写文献中异体字、俗字、变体字大量存在,字形随时代、地域与书写者而变化,缺乏可直接套用的规范模型。即使纳入统一编码体系的文字,也存在较多问题,虽然解决了“名义存在”的问题,但在实际应用中,这些文字因手写变体繁多、显现规则复杂及专用字体、输入法与软件生态的匮乏,导致其数字生命力依然脆弱。
  在文献形态层面,古籍文献的载体多样,从西双版纳的贝叶经、古彝文的皮革文献到各类文种的碑铭石刻,多为孤本且普遍存在老化、破损问题。更核心的挑战在于,它们并非单纯的文字载体,而是文本、图像、符号与物质实体深度组合的多模态意义整体。版面结构、插图、印章、朱批乃至载体本身都参与意义建构。因此,要超越对文字的简单转录,转向对文献物理形态、所有视觉元素及其空间关系的全息化采集与语义关联,否则将造成关键文化信息的流失。
  在知识结构层面,古籍文献的释读高度依赖少数专家的长期经验积累。如对复杂字形变体的直觉辨别、对特定语法现象的语境理解,以及对未释读符号的合理推断等,往往以内隐知识的形式存在,深植于专家的个人实践与判断中,难以言传和标准化。这种内隐知识不仅体现在对孤立字符的认读上,更贯穿于对整体上下文、时代笔迹习惯、潜在书写错误模式乃至特定文献群落关联的综合把握之中。目前,这类关键学识多停留在专家的笔记、记忆乃至直觉里,尚未系统转化为可共享、可验证、可供机器计算的显性知识资源。从知识化的需求来看,古籍文献数智化建设是一项由浅入深、逐层推进的系统工程。
  第一阶段是构建字符编码体系,这可以为古籍中的字符验明正身,是文字信息的基础数字化。我国部分地方性、濒危的象形或表意文字,如古壮字、古彝文、水文、纳西东巴文中的多数异体字,以及许多未被系统整理的字符,仍处于未编码或未完全编码的状态。古彝文有8万多字符,一些字的异体形式达数百个,如此未规范和数量庞大的字符,一时难以进入Unicode编码体系,它们主要依赖私有编码,经常形成“技术孤岛”。有些文字,即使有了编码,但现有的编码体系也存在不少问题,如一些汉字、西夏文存在编码不全、字形缺失问题。例如,在汉字古籍中,“寇”字有数十种写法,却仅对应一个编码和规范后的字形,如果都使用规范的字形,可能会丢失古籍文献中的语义信息。西夏文已进入Unicode编码体系,但在古籍文献数字化时,还会遇到部分未编码的字形。要解决这些问题,需要通过建立“编码—字形”映射关系与“正字—异体字”数据库,而不能过度追求全字符编码。只有在解决了基础字符、字形问题的基础上,开发专用输入工具与规范转录流程,才能产出高质量初级文本数据。此阶段工作的精度,直接决定了后续工作的上限。
  第二阶段,在全文数字化的基础上,要将线性文本转化为机器可理解、可计算的结构化知识,实现古籍文本的深度结构化与语义化。这需要系统构建语言学标注模型和历史知识注释框架。然而,这一阶段长期以来进展缓慢。由于文献载体、字形的多样性,通用OCR技术效果有限,导致数字化工作长期依赖耗时的手工录入。这一瓶颈近年来正被逐步突破。中国社会科学院民族学与人类学研究所开发了针对汉字、西夏文、维吾尔文、满文、古壮文、水书字等十多种古文字的专用OCR识别模型,大规模、高效率的全文文本自动转换正成为现实,为后续的知识结构化提供了至关重要的数据资源。基于此,还需要从多个方面进行文本结构化。一是从字符的层面开展“字形—异体字”关系研究,构建贯通形、音、义及演变关系的“语言文字知识图谱”。二是开展字、词、句等单位的边界标注。三是实现人物、事件、地点的实体标注。只有完成从图像到文本,再到关联知识的转化,后续的智能检索、分析与发现才具备坚实的根基。
  第三阶段是研究服务的智能化,这个阶段的核心任务在于利用古籍的结构化知识解决该领域的特殊研究难题。智能化服务需紧密贴合古籍文献多文种、多异体、内容独特的实际。智能化具体体现在多个方面,这里列举三个。一是深度字形溯源与跨文本关联。通过一个异体字形自动关联其所有出现的语境,并追溯其在不同抄本、地域中的书写流变,辅助文字演变研究,这种功能在古汉字、古彝文、古壮字、西夏文研究中特别有价值。二是面向特定文化的知识聚合与发现。智能化可以自动聚合多文种中的文化、习俗知识,有利于揭示中华文化的共性特征。三是跨文种知识对齐。这不仅是对译名词,更是能自动关联多文种史料对同一历史事件、制度或人物的记载,为中华民族共同体历史研究提供实证网络。
  古籍文献数智化可以将研究者从烦琐的多文种对照、异体字手工排查中解放出来,使其能够专注于跨文化的比较阐释与理论构建,推动研究从对单一文本的“精读”,走向在多源融合知识库中“远读发现脉络,近读深究个案”的新范式。当前,从字符编码、输入法到数据库构建各环节,存在标准不一、技术路线分散等现象,导致大量资源成为互不联通的“数据孤岛”。一些数据库虽已建成,但因缺乏深度结构化标注与统一规范,其学术利用价值有限,难以支撑深入的智能化分析与知识发现。这表明,古籍文献数智化不可能一蹴而就,而是需要经历一个从分散建设到整合统一、从简单存档到智慧研发的演进过程。其发展路径体现为五个层次:从为字符验明正身的“认字”,到实现机器可读的“数字全文”,进而构建“可计算的知识单元”,打破文种壁垒,实现“关联化”,最终迈向“全息理解”。当前,每一阶段均面临艰巨任务,但尤为关键且紧迫的是夯实最底层的基础。只有在“认字”和“数字全文”这两个前期阶段取得决定性突破,产出高质量、结构化的初级数据,后续的知识关联、智能发现乃至多模态融合等高级目标才具备实现的根基。这项工作的长期建设必须保持战略定力,坚持基础先行,唯有如此,才能将古籍文献真正转化为数智时代可持续挖掘与创新的智慧源泉。
  (作者系中国社会科学院民族学与人类学研究所民族语言文化行为实验室主任、研究员)
【编辑:崔晋(报纸)王晏清(网络)】