中国科学技术大学陈小平教授谈“人工智能中的逻辑”

2023-09-23 来源:中国社会科学网

微信公众号

— 分享 —
链接已复制

  中国社会科学网讯(记者 李秀伟 通讯员 李懿迪)9月20日,“武汉大学科学技术哲学论坛”系列讲座举行。中国科学技术大学计算机科学与技术学院陈小平教授应武汉大学哲学学院陈波教授邀请,作题为“人工智能中的逻辑——科学背景和认知基础的转变”的讲座。讲座由陈波主持,浙江大学哲学系廖备水教授担任评议。


陈波主持
  讲座内容是以大型语言模型(简称“大模型”)为线索展开。陈小平首先从科学的视角回顾了逻辑学的发展历程,引入了人工智能与大模型。接着介绍大模型及其基础设施,构建了作为大模型基础设施的关联度预测的形式化理论。最后,对关联度预测的形式化做出了进一步解释,陈小平指出了当下大模型面对多种挑战,展望了大模型及其理论研究的未来。

陈小平线上讲座
  通过回顾了逻辑学在数学、物理学、计算机科学和人工智能背景中的发展,陈小平指出,在传统科学的发展历程中,以往的逻辑公理系统的实质语义都是强共识性的,追求统一的直观理解。但是在人工智能背景中,这种强共识性的适用性可能并不高,图灵曾表示:“智能没有全局性的数学原理,可以有局部性原理”。另一方面,现存的大模型呈现黑箱状态,研究者无法解释其行为。这种现状给大模型研究、应用和治理都带来极大的不确定性和潜在风险,因此对大模型基础理论的研究工作势在必行。
  接着,陈小平介绍了大模型及其基础设施。他指出,预训练模型是基础的大模型,在预训练模型的基础上可以经细调生成细调大模型,但细调大模型的操作过于繁琐。另一种建基于预训练模型的大模型以引导和提示为手段,预训练模型和提示大模型的基础设施都是关联度预测。关联度预测是指基于语元和语元之间的语元关联度进行预测,语元关联度是概率的近似。任意给定一个语元,大模型可以根据关联概率预测出下一个语元是什么,直至生成完整回答。在这种意义上看,通过关联度预测生成的回答本质上是语言素材的重组。
  最后,陈小平介绍了他构建的关于关联度预测的形式公理系统L_c。该形式系统语言包括语元符号、序列项和函数符号三类语法元素,包括语境关联度、综合单调性和预测选择三条公理。在L_c中,语境关联度公理可以用于表示语元之间的二元关联度,综合单调性公理可以表示所有关联度之间可以相互影响,这种关联度综合具有单调性。预测选择公理在L_c中表示在给定条件下选出关联度最大的语元。但陈小平强调,L_c中的三条公理只描述大模型可解释的一般性行为,不考虑大模型的不可解释的或个别的行为。
  L_c系统的构建可以为大模型的通用性和不稳定性提供解释,陈小平指出,语境关联度公理和综合单调性公理能够解释大模型的通用性,语境关联度公理起到推理前提作用,要求所有二元关联度都存在,该公理能够解释大模型推理前提的全覆盖性。综合单调性公理则起到推理规则作用,作为推理后件的语元关联度总能被推出,因而解释了大模型推理规则的全覆盖性。推理前提和推理规则的全覆盖则进一步决定了大模型回答的全覆盖性。但是陈小平指出,虽然大模型的通用性导致大模型一定会给出回答,而且根据综合单调性公理,高值关联度是给出回答的决定性因素,但大模型本身并不蕴含任何正误判断,高值关联度不能一定保证回答的正确性,这种情况正是大模型的不稳定性的来源。
  最后,陈小平就大模型理论面临的挑战和未来发展进行了展望。他指出,当下大模型面临包括共识性挑战、非概念化挑战和真实性挑战在内的多种挑战。一是,大模型采用的弱共识性机制是对传统AI、软件和科学理论的强共识性的颠覆,但在实际应用场景中,仍有多数场景需要强共识,大模型如何形成某种强共识构成了大模型共识性挑战的核心内容。二是,大模型因以语境相关的统计为基础,没有通常的概念化设施,也就无法进一步分别真假。大模型能否建立概念体系,能否分辨真假,如何度量语境相关的统计和逻辑推理的部分重合等问题,是非概率化挑战和真实性挑战中面临的主要问题。
  除上述挑战外,大模型的非封闭性带来的大模型的治理风险也需要进一步关注。无论如何,形式化方法的构建目的是聚焦、挖掘、重构和揭示研究对象所隐藏的最重要的深层意义。陈小平强调,我们需要注意科学背景和认知基础的变化,并相应调整研究思路。

廖备水评议
  在评议环节,廖备水就模型可解释性问题、对综合单调性公理的理解、逻辑在人工智能中的作用和大模型的深度利用等主题展开探讨。他提出,可解释性有两方面理解,一是对模型基本原理的解释,二是对模型算法过程和结果的解释。后者更关注决策过程和结果的合理性,因而会更关注因果推断和相关元素关联性问题,大模型理论是否可以对后者有所探究?三是,在综合单调性公理中,高值关联度没有得到相关体现,这种重要的关联度预测形式该如何进一步刻画的问题需要讨论。四是,大模型强大的语言处理功能和较弱的逻辑推理能力之间的矛盾调节问题也需要得到关注,在大模型研究和利用过程中实际上缺乏普遍性的客观标准,能否确定需要什么样的逻辑完成这个工作。

现场讨论
  陈小平针对这四个问题给出回应,他表示目前的形式化理论更关注原理性解释,对过程的解释粒度较粗,更细粒度的解释有待将来进行。目前来说,大模型本身的算法较为复杂,这种过程性解释的构造中遇到的主要问题是难以把握这样的解释的复杂度和操作性。L_c是比较粗粒度的刻画,简单的形式化使其可以对现象进行简单地快速分析。综合单调性公理还存在更复杂的表达形式,能够描述的现象和机制更强,因此L_c确实还存在未刻画的东西。但综合单调性公理只是对高值关联度和低值关联度之间比较的过程进行关注,高值关联度之间的协调和综合问题不是该公理讨论的问题。目前基于关联度预测的大模型的逻辑推理能力确实较弱,仅是利用关联度预测和逻辑推理的重合进行部分推理。至于在变化的时代中逻辑学该如何发展,我们需要什么样的逻辑是亟待解决的问题,则需要进行跨学科研究。
  听众就模型可信性问题、原始语料的版权争论问题和大模型开源争论问题向陈小平提问。陈小平在回应中指出,可信性是重要的问题,对黑箱如何认识的问题最有资格回答的是大模型的开发人员,目前关于大模型的内部机制仅存在部分共识,比如关联度预测,但是想要达到最终的信任还是需要对大模型的基础理论进行深度研究。他个人赞成通用大模型开源,但是,一方面,开源更利于提高整个领域的生产力,另一方面,如何保证开源大模型的安全是需要研究并回应的问题。
  本次讲座以线上方式举行,来自国内外的450余人参加。
转载请注明来源:中国社会科学网【编辑:李秀伟 实习编辑:陈俊】