北京航空航天大学法学院一名博士生最近遇到一件哭笑不得的事。为了查找专业资料,他按照短视频中一位“数字人专家”推荐的网址逐一打开,发现所谓“权威来源”竟是课外辅导班的报名网站。再回到原视频仔细查看,发现左下角确实设置有“AI生成”标识,但标识与背景颜色相近,肉眼很难注意到。
这名学生的遭遇并非个案。在短视频平台上,AI数字人“伪专家”已经出现在医疗、法律、经济、教育等专业领域。他们顶着“主任医师”“执业律师”“持证分析师”的名头侃侃而谈,普通人很难辨别,稍不留神就会“踩坑”。
更令人不安的是,制造一个“专家”的成本低得惊人。本报记者将“50岁教授,沉稳,白衬衫,讲解宏观经济”输入一款AI视频生成软件,再上传一张照片,仅约1分钟,一位身着白衬衫、侃侃而谈的“社科教授”便出现在屏幕上。导出视频时,软件提供了“保留水印”和“付费去水印”两种选择。若想去除水印,只需付费。短短1分钟,一位“专家”就此诞生。
病灶不在“数字人”
一张照片、一段文字,1分钟“制造”出一位专家,这正是“资格外观伪造”的完整过程。理解这种乱象,需要厘清一个根本性区别,即数字人是技术载体,专家身份承载着社会信用。AI数字人“伪专家”的危险恰恰在于将两者混为一谈,利用算法低成本批量制造虚假的“专业权威外观”牟利。中南财经政法大学法学院教授李昊表示,治理的靶心不在于“数字人”,而在于“伪专家”。由此来看,当前治理思路的一个隐忧便浮现出来——把标明“AI生成”当作治理终点。北京航空航天大学法学院副教授赵精武提醒,AI标识的核心价值在于明确内容生成来源,它既不能证明内容专业准确,也无法佐证数字人具备合法执业资质。仅标明“AI生成”,治理其实只做了一半。
真正的问题,在于低成本批量伪造“权威”的能力。整治乱象的关键,是建立可信的资质验证渠道。财经、法律、医疗等行业已有相应的执业资质查询渠道,应推动相关信息与平台核验机制衔接,让“查身份”与“亮标识”一样简单。李昊表示,当“权威声音”可被低成本批量伪造,被侵蚀的不仅是某位被冒名者的权益,更是整个社会的“信用验证机制”。信任一旦失去校验支点,便会从“普遍信任”滑向“普遍怀疑”。
“伪专家”的危害并非局限于某个环节,而是呈现出由浅入深的递进结构。一是直接的权益侵害。中国传媒大学文化产业管理学院教授郑宁告诉记者,在医疗、财经、法律等专业性较强的领域,公众往往基于对“专家”的信任作出决策。错误健康建议可能会延误诊疗,虚假财经分析可能会诱导非理性投资,错误法律意见可能会让人错失维权时机。这类纠纷还呈现出侵权主体虚拟化、责任主体分离等新特征,受害者常常难以找到真正的责任主体并追究其责任。
二是市场秩序的扭曲。南开大学法学院教授陈兵认为,低成本、高仿真的“伪专家”行为很可能构成不正当竞争,涉及虚假宣传、商业混淆等违法情形。合规持证者需要投入大量时间、资金完成资质认证与内容核验,而“伪专家”却能在不具备资质的情况下抢占流量,整个专业资质认证体系的公信力面临被削弱的风险。
三是公共信任与社会治理的系统性风险。当公众无法有效分辨真假,便可能对线上专业意见产生“普遍性怀疑”。大批量生成的AI虚假信息可能被用于后续大模型的训练与微调,诱发“AI幻觉”,影响整个AI产业的知识根基。“伪专家”制造的虚假信息,终将反噬技术本身。
西安交通大学软件学院院长王伟表示,这类AI数字人账号还能在交互中悄悄收集用户的健康数据、理财偏好等信息,构建精准画像,成为电信诈骗的“数据弹药”。整体风险呈现出“数据窃取—隐私泄露—精准诈骗—财产损失—认知误导”的链条式传导特征。
治理仍待加强
据国际数据公司(IDC)报告,2024年中国AI数字人市场规模约41.2亿元,同比增长85.3%,预计2029年将达到250.5亿元。市场规模不断扩大,但治理仍有待加强。受访学者认为,治理面临的问题并非简单的“监管不作为”,而是规则与技术之间固有的张力。中国政法大学光明新闻传播学院副教授朱巍告诉记者,消除技术发展中的风险,是技术发展中的最大风险。若一味追求“消除一切风险”,就必然走向过度规制,扼杀人工智能发展的速度和效率。因此,审慎包容成为人工智能立法的重要理念。
从治理原理上看,法律的权威性源于其稳定性,但这种稳定性又与技术创新实践产生一定落差,“规则追赶技术”是治理常态而非例外。赵精武提出,关键不在于消除落差,而在于缩短从“技术出现”到“有效规制”的时间间隔,增强治理规则的适应性。
相关制度建设的进展,正体现出这种“敏捷追赶”。从2023年8月施行的《生成式人工智能服务管理暂行办法》,到2025年9月施行的《人工智能生成合成内容标识办法》,再到2026年9月发布的《最高人民法院关于依法审理涉人工智能纠纷案件的意见》,我国已逐步形成涵盖生成服务、内容标识、侵权责任认定等方面的规范体系,事前规范、事中标识、事后追责等环节逐步完善。标识容易被规避,仅靠表层文字标识,极易被裁剪、抹除;司法裁判规则的适用同样面临责任认定难题。例如,“伪专家”多为查无此人的虚构身份,行为人又藏身于匿名化、矩阵化的账号之后,即便进入诉讼程序,追责仍面临电子证据认定难、行为主体定位难等问题。规则已然建立,责任却难以精准落实。
乱象屡禁不止的根源,还在于平台逐利与违规收益相互交织。陈兵认为,流量变现是平台盈利的重要方式,合规专业内容的流量转化效率相对偏低,平台缺乏主动严控虚假数字人的内生动力。而放任“伪专家”带货、科普,能快速拉升直播间销售额与广告投放量。要在司法层面探索依法适用惩罚性赔偿制度,让典型判决形成震慑,对多次违规者采取限制流量推荐等措施,从源头上遏制违规行为。
从“标真伪”转向“核资质”
多位受访学者表示,治理乱象,还需从技术、制度、社会三个维度协同推进,核心是从“标识真伪”转向“核资质”。
技术层面,增强标识的抗篡改能力,实现内容可追溯。王伟建议搭建多层级、抗篡改的一体化标识体系,将可视化显式标识、底层元数据等与传播日志深度绑定,即便表层标识被清除,仍可通过隐形信息追溯源头。仅靠识别、标注AI生成内容只能治标,从“标真伪”真正走向“核资质、核主体、核内容”,才是治本之道。赵精武主张把治理关口进一步前移,在数字人进入传播环节之前嵌入技术水印,由平台要求发布者根据具体应用场景提供算法备案、伦理审查等相关证明材料,推动治理从“事后删帖”前移至“事前准入”。
制度层面,构建场景化、差异化的责任与准入规则。李昊提出,对医疗、金融、法律等高风险领域应单独设定准入要求,以“精准规制”替代“泛化管控”,并探索有限度的举证责任倒置机制,破解受害者举证难题。在责任划分上,开发者承担技术安全保障义务,运营者承担资质核验与内容审核义务并原则上承担首要责任,使用者承担合法使用义务。郑宁将全链条责任划分为三个层面,即技术端落实强制标识要求并设置高风险领域生成门槛,运营端履行身份透明义务、公示资质证书,传播端对专业人设与AI数字人账号实行分类准入,未达到合规要求者不得进入推荐池。
社会层面,推动多元主体协同共治。陈兵主张,政府监管、企业自律、社会监督、网民参与缺一不可,应建立跨部门联合惩戒机制,将制作、传播虚假信息的违法失信主体依法依规列入相关失信名单。
这样的共治渠道正在逐步畅通。中央网信办举报中心自今年6月起开设“涉AI应用乱象举报专区”,专项受理公众举报,范围包括生成合成内容标识落实不到位、制作发布虚假不实信息等14类问题。这意味着,公众面对AI数字人“伪专家”,不再只能被动防范,还可通过举报直接参与治理。
公众不仅要主动参与治理,还需增强辨别能力。王伟提醒,要破除两个认知误区,既不要认为标了“AI生成”的内容就一定虚假,也不要默认没有标识的内容就一定可靠。
治理乱象绝非全盘否定数字人产业。正如陈兵所言,技术本身具有中立性,合规数字人可用于公益科普、政务宣传等场景,具有降本增效的优势。面对人工智能的快速发展,我们既要有拥抱创新的勇气,更要有守护真实与法治的定力。
中国社会科学报记者 张苹