大算力与知识生产方式的革命 ——基于ChatGPT的技术影响与实践展望

2023-09-19 作者:米加宁 刘润泽 来源:《中国社会科学评价》2023年第2期

微信公众号

分享
链接已复制

摘  要:以ChatGPT为例,其背后强大的推理和计算能力,来自大模型(算法)、大算力和大语料(数据)这三个关键要素,它们共同催生出了这种具有革命性意义的知识生产工具。我们将深入分析这三个关键要素,揭示它们在由ChatGPT所引发的知识生产方式变革中的作用,以期为未来知识生产领域的研究和实践提供有益的启示和指导。

关键词:大算力;生产方式;ChatGPT;技术

作者米加宁,哈尔滨工业大学经济与管理学院教授;刘润泽,哈尔滨工业大学经济与管理学院研究助理。(哈尔滨150001)

  21世纪以来,大数据和人工智能的迅猛发展给知识生产领域带来了前所未有的冲击。 这种变革不仅影响着科学研究、教育和产业发展, 还对个人的素质能力提出了新的要求。作为这一变革的核心驱动力之一,大算力已经引起了广泛的关注。近年来,算力研究和产业领域取得了突破性进展,使我们进入了大算力时代。大算力的助推和加持,降低了训练和运行大模型的门槛,从而使得大模型在处理自然语言、图像和声音等多种信息时表现出了强大的学习和推理能力。这一变化为人工智能的发展提供了有力的支持,从而推动了人工智能在各领域的应用和发展,进而带来了知识生产方式的革命。

  以ChatGPT为例,其背后强大的推理和计算能力,来自大模型(算法)、大算力和大语料(数据)这三个关键要素,它们共同催生出了这种具有革命性意义的知识生产工具。我们将深入分析这三个关键要素,揭示它们在由ChatGPT所引发的知识生产方式变革中的作用,以期为未来知识生产领域的研究和实践提供有益的启示和指导。

  大算力催生ChatGPT

  大模型(算法)、大算力和大语料(数据)这三个要素实际上是同一整体,它们三者之间相互作用,共同推动了ChatGPT的发展和应用。下文将详细探讨这三个要素,以了解它们在ChatGPT崛起过程中的作用及互动关系,特别是大算力如何推动了ChatGPT的发展,以及ChatGPT在知识生产方式变革中的重要地位。

  要素一:大模型(算法)

  大模型(算法)作为ChatGPT的核心技术之一,为其提供了强大的学习和推理能力。 这些模型通过对大量数据进行学习,捕捉语言和知识之间的复杂关系,从而为ChatGPT提供了强大的认知和表达能力。

  比如大型预训练语言模型(Permuted Language Modeling, PLM),通过在大量文本数据上进行预训练,学会了理解和生成自然语言。BERT(Bidirectional Encoder Representation from Transformers)是其中的代表之一,它通过引入Transformer结构和Masked Language Model任务,显著提高了NLP(Natural Language Processing)任务的性能。在BERT的基础上,GPT系列模型进一步推动了大型预训练语言模型的发展。以GPT3为例,它的参数量高达1750亿,一度成为当时世界上最大的预训练语言模型。GPT3在许多NLP任务上表现出色,甚至能够在零样本或少样本条件下完成任务,被认为具有弱人工智能的特征。基于GPT3的成功,OpenAI推出了ChatGPT,这是一个基于大型预训练语言模型的智能对话系统。它能够理解用户输入的自然语言,生成相关且连贯的回应,从而与用户进行自然交流。

  要素二:大算力

  算力的指数级提升是第四次工业革命最重大的成果,同时又是第四次工业革命的巨大推动力量。如同机械力是第一次工业革命的推动力一样,算力将是我们这个时代发展的第一生产力。为什么大数据在2010年左右才被人们发现和认识,就是因为当时的计算速度得到了快速的发展,同时分布式计算的出现又使得计算能力大大的提升。因此奥巴马政府在2013年提出美国的“大数据战略”,并认为大数据就是“未来的新石油”。而算力与数据是一体两面,可以说“有多大的算力,就有多大的数据”。

  大算力为ChatGPT提供了训练和运行所需的庞大计算资源。随着计算机技术的不断进步,算力得到了空前的提升,如高性能计算设备,特别是GPU和TPU等,使得大规模神经网络的训练成为可能。这些计算资源的提供,降低了训练和运行大模型的门槛,进一步推动了ChatGPT在各领域的应用和发展。例如,GPT3模型的训练需要消耗数百PetaFLOPs(每秒百万亿次浮点运算)的计算资源。正是得益于这种强大的计算能力,ChatGPT才得以应用在各种实际场景中。

  要素三:大语料(数据)

  大量的语料数据是大型语言模型进行预训练的基础。互联网上的文本数据已经足够庞大,为训练这些模型提供了丰富的素材。大语料(数据)作为ChatGPT训练的基础,为其提供了丰富的知识来源。在互联网时代,我们可以获得大量的文本、图像和声音等多媒体数据,这些数据为大型语言模型的训练提供了海量的素材,使得模型能够捕捉到丰富的语料。有了这些大规模的语料,ChatGPT才能够更好地理解和表达各种复杂的语义和知识。例如,GPT3的训练数据来源于多种类型的网络文本,包括书籍、维基百科、新闻和论坛等。这些文本数据使得ChatGPT能够学习到广泛的知识和语言规律,提高了其生成文本的质量和准确性。

  总体来看,大模型、大算力、大语料三位一体共同创生了ChatGPT这个革命性的知识生产的工具。与以往“小的是美好的”理念不同,在今天第四次工业革命时代,“大就是好”将成为一个新的时代规则。大算力作为一种重要的驱动力,推动了ChatGPT等大型预训练语言模型的发展。这些模型的出现离不开大语料这个关键要素。未来,随着计算能力的进一步提高和语料数据的持续积累,ChatGPT等技术将在知识生产领域发挥更大的作用。借助大型语言模型和强大的计算能力,ChatGPT在诸多自然语言处理任务上会表现得更为出色,在未来知识生产领域的作用将愈发显著。通过持续发掘大算力的潜力,研究者们可以不断优化和改进这些模型,从而更好地满足各种实际应用需求。

  ChatGPT与知识生产方式的革命性改变

  ChatGPT作为一种强大的人工智能技术,在知识生产方式的革命中扮演关键角色,主要体现在转变学习方式、提升学习能力和跨领域知识整合方面。这些影响将深刻改变我们在教育、研究和实践等领域的认知和行为,为人类社会带来新的可能性和机遇。同时,这些变革也带来了一系列挑战,例如,我们需要在教育领域探索更有效的教学方法,以适应基于ChatGPT的问答式学习方式。此外,我们还需要培养学习者对大量语料的检索和分析能力,以充分利用ChatGPT等人工智能技术在知识获取和应用方面的优势。为了应对这些挑战,我们需要不断创新和改革,在教育体系、学术研究和产业实践等方面进行深入的探讨,以更好地适应这场知识生产方式的革命。

  改变一:转变学习方式

  随着ChatGPT等大型预训练语言模型的出现,学习方式发生了革命性变化。传统的知识传授方式主要依赖于教师对学生的教授,这种方式受制于教师的专业知识和教学资源。然而,ChatGPT具有强大的自然语言理解和生成能力,可以从海量的语料库中检索和整合相关信息,提供针对性的知识和建议。这使得学习者可以通过与ChatGPT等智能问答系统进行交互来获取知识,实现了从“我教你学”到问答式学习的转变。问答式学习具有以下优势。

  (1)个性化学习:不同的学习者可以根据自己的兴趣和需求与ChatGPT交互,获取个性化的学习内容和建议。这使得学习过程变得更加灵活,有助于提高学习者的学习兴趣和动力。

  (2)实时反馈:ChatGPT可以根据学习者的输入提供实时反馈,帮助学习者快速理解知识点,解决疑惑。相比传统的教学方式,这种实时反馈机制可以显著提高学习效率。

  (3)自主探索:通过与ChatGPT等智能问答系统交互,学习者可以自主地探索知识,培养独立思考和解决问题的能力,这将有助于激发学习者的创造力和创新精神。

  改变二:提升学习能力

  随着语料库的增长,记忆力在学习过程中的重要性逐渐减弱,而对语料的检索能力变得越来越关键。在这方面,ChatGPT等大型预训练语言模型具有显著优势,它们可以快速、准确地从海量文本中提取相关信息,帮助学习者解决问题和理解复杂概念。这意味着学习者可以将更多的精力投入理解和应用知识上,而不是花费大量时间去记忆事实和细节。

  此外,ChatGPT等模型可以从大量不同类型的语料中学习到广泛的知识,从而有助于学习者提高在多个领域的知识水平,培养跨学科的思维能力和创新能力。这也将意味着未来的学习者将是“百科全书式”的学者。

  改变三:跨领域知识整合

  ChatGPT等大型预训练语言模型具有强大的跨领域知识整合能力。由于这些模型在训练过程中接触到了大量不同领域的文本,它们可以从这些文本中提取和整合相关信息,为解决复杂问题提供全新的思路。跨领域知识整合的优势如下。

  (1)创新解决方案:通过将来自不同领域的知识进行融合,ChatGPT等模型可以为解决复杂问题提供全新的视角和解决方案。这将有助于推动各个领域的创新和发展。

  (2)促进交叉学科合作:跨领域知识整合有助于打破学科间的壁垒,促进不同学科领域的学者进行交流和合作。这将有助于解决一些需要多学科知识参与的复杂问题,为人类社会的发展带来更多可能性。

  (3)提高知识传播效率:借助ChatGPT等大型预训练语言模型,学者们可以更容易地获取其他领域的知识,提高知识传播的效率。这将有助于缩小各个领域间的知识鸿沟,促进整个社会的知识水平提升。

  作为大型预训练语言模型,ChatGPT借助大算力和大语料,不仅推动了学习方式的转变和学习能力的提升,还加强了跨领域知识的整合。这场知识生产方式的革命将对人类社会产生深远的影响,也给个体的学习提出了新要求。

  知识生产方式变革对个体学习的新要求

  在知识生产方式变革的背景下,个体面临着诸多挑战,传统的学习和知识生产方式可能已不再适应当前日益复杂和多元化的知识环境。因此,个体需要具备一系列新的能力,以便更好地适应和应对知识生产方式的变革。这些能力包括更丰富的想象力、对知识的全局性把控能力和在知识深度上具有更敏锐的洞察力。

  要求一:更丰富的想象力

  知识生产方式的变革要求个体具备更丰富的想象力。想象力是人类对现实世界的认知和思维过程中的一种创造性能力,它使人们能够构建新的观念、形象和解决方案。想象力是个体在学习、创新和解决问题过程中发挥关键作用的能力,在知识生产方式发生变革的当下,想象力可以帮助个体跳出传统的思维框架,探索新的可能性和潜在的解决方案。

  (1)想象力有助于提高个体在不确定环境下的适应能力,在一个充满变革的世界中,个体需要具备较强的适应能力,以应对不断变化的环境和挑战。想象力使人们能够预测未来的可能性并进行创新性的尝试,从而提高适应能力。

  (2)想象力有助于个体在多样化的知识背景下进行跨领域创新。随着知识体系的交叉和复杂化,个体需要在不同领域之间建立联系和整合,形成新的知识和观点。想象力使人们能够跳出原有的思维框架,进行跨学科的整合和创新。

  (3)想象力还能促进个体在团队合作中的创新能力。在知识生产的过程中,团队合作和协同创新愈发重要,想象力使人们能够将不同的观点和资源整合在一起,形成具有创新价值的解决方案,从而提高团队的整体创新能力。

  要求二:对知识的全局性把控能力

  在当今知识环境中,各种领域的知识快速发展和融合,形成了诸多交叉学科,个体需要具备较强的知识整合能力,以便在不同领域之间建立联系,发现并解决跨领域问题。对知识的全局性把控能力有助于个体在知识生产过程中形成更为系统和全面的认识,从而实现高效的学习和应用。知识生产方式变革要求个体具备对知识的全局性把控能力,这一能力涉及个体在知识管理、整合和应用方面的能力,具体现为以下几点。

  (1)全局性把控能力意味着个体能够在海量知识中迅速识别、筛选和评估关键信息。随着知识的快速发展和传播,个体需要具备较强的信息素养和知识筛选能力,以确保能够在众多信息中找到最有价值的知识。

  (2)全局性把控能力需要个体具备跨学科知识整合的能力。随着知识体系的复杂化和交叉,个体需要在不同领域之间建立联系和整合,形成新的知识和观点。这要求个体需要具备较强的跨学科知识背景和学习能力,以便在知识生产过程中实现有效的整合和创新。

  (3)全局性把控能力还要求个体具备系统性思维和长远规划的能力。在知识生产的过程中,个体需要能够从宏观角度审视问题,识别潜在的挑战和机会,并制定相应的应对策略。这需要个体具备较强的分析和预测能力,以确保在知识生产过程中能够实现可持续的创新。

  要求三:在知识深度上具有更敏锐的洞察力

  知识生产方式的变革要求个体具备在知识深度上更敏锐的洞察力。随着知识生产方式的变革,个体需要在学习和应用过程中,不仅关注知识的广度,还需关注知识的深度。这意味着个体需要具备较强的批判性思维能力,以便去伪存真,在知识深度上实现更为高效和创新性的学习和应用。洞察力涉及对知识的深入理解、批判性思维和创新能力。

  (1)个体需要具备对知识的深入理解。这要求个体在学习过程中不仅关注知识的广度,还要关注知识的深度,以便在特定领域培养专业化的洞察力。

  (2)个体需要具备批判性思维能力。批判性思维是一种对观念、论据和证据进行分析、评估和反思的能力,它有助于个体在知识深度上实现更高水平的认识和应用。 通过批判性思维,个体能够在知识生产过程中发现潜在的问题和偏见,并提出更为合理和有效的解决方案。

  (3)个体需要具备创新能力,以便在知识深度上实现突破。创新能力包括对现有知识的拓展、改进和创新,使个体能够在特定领域形成新的见解和解决方案。 具备这种能力的个体在知识生产过程中能够更好地应对挑战和变革,实现持续的创新。

  结论

  在大算力快速发展的背景下,知识生产方式正经历着前所未有的变革。本研究以ChatGPT为例,分析了其技术特征以及对知识生产方式的革命性改变,并进一步讨论了这场变革对个体素质能力提出的新要求。

  第一,大算力催生了ChatGPT,其特征包括大模型(算法)、大算力和大语料(数据)的三位一体。基于深度学习技术,ChatGPT具有强大的自然语言理解和生成能力。大算力为这类模型的训练提供了可能,而大语料库则为模型提供了丰富的知识源。

  第二,ChatGPT对知识生产方式产生了革命性的改变。学习方式从传统的教学模式转变为问答式学习,使学习者更能主动地获取知识,提高学习效率;学习能力从注重记忆能力转变为注重对语料库的检索能力,使学习者能够灵活运用已有知识解决问题;跨领域知识整合的能力得到加强,有助于打破知识孤岛,促进创新。

  第三,知识生产方式的变革对个体提出了更高的要求,包括更丰富的想象力、对知识的全局性把控能力以及在知识深度上具有更敏锐的洞察力。在这一背景下,个体需要培养更强的创新能力和跨学科整合能力,以适应知识生产方式的快速发展。

  大算力背景下的知识生产方式变革给我们的学习和研究带来了巨大的机遇与挑战。我们应该积极拥抱这种变革,适应新的知识生产环境,提高个体的综合素质能力。随着技术的不断发展,我们有理由相信,知识生产方式的变革将更加深入,为人类社会带来更多的发展机遇。只有不断提高我们的认识和应对能力,才能在这场知识生产方式的革命中取得成功,为未来的发展奠定坚实基础。

  原文责任编辑:刘倩

转载请注明来源:中国社会科学网【编辑:陈静】