问题的提出：算法崛起的法律挑战

　　随着大数据与人工智能时代的到来，算法开始呈现越来越大的影响，日益成为社会关注的问题。以往，算法更多是数学家或程序员所关注的对象，算法主要在数学运算或实验室的场景下发生作用。到了大数据与人工智能时代，算法开始在越来越多的应用场景中被用于决策或辅助决策。随着未来大数据与人工智能更深度地运用，未来算法的应用场景将更为广泛，在自动驾驶、公共管理、司法等领域与场景中，算法都将发挥举足轻重甚至是决定性的作用。算法在社会中的广泛运用带来很多正面效应，它可以大幅提高决策效率，为消费者或用户提供更精准的服务。同时，算法崛起也带来很多挑战。

　　从法律的角度看，算法从几个方面挑战了法律的一些基本原则。首先，算法黑箱可能挑战人类决策的知情权与自主决策。一般认为，在所有重要事务中，做出最终决策的主体应当是人，“人类选择是私人与公共生活的不可分割与根本性的一部分”。但是在算法社会中，很多时候不透明的算法——而非人——成为决策主体。如果不加检验地以机器决策替代人类决策，人类的自主性可能面临严峻考验。

　　其次，算法可能威胁个体的隐私与自由。算法常常建立在个人数据的收集之上，通过结合大数据运算与个人数据进行个性化推送。但这种对个体偏好的预测与迎合可能损害公民个体的自主性，因为这种个性化推荐可能使个体困于信息茧房。个体受限于算法的控制，能接受到的信息只是算法根据个体偏好而筛选出来的信息，而不是那些更加中立、可能促使个体反思自身前见的信息，甚至不是随机性的信息。长期如此，个体真正的自由可能受到威胁。

　　最后，算法可能导致歧视与偏见。平等是一个社会的基本价值，算法的技术特征使得有人认为，算法有助于解决歧视与偏见问题。但算法也可能常常暗含歧视与偏见，甚至放大人类的偏见。当人们设计算法与输入数据时，此类算法或数据可能就不具有代表性。例如一种进行人类脸部识别的算法，如果算法所使用的数据都是白人男性的数据，那么就可能无法识别黑人、亚裔或女性，对黑人、亚裔或女性形成歧视。

　　针对算法崛起所带来的法律挑战，传统法律规制主要采取三种方式加以应对：算法公开、个人数据赋权与反算法歧视。其中算法公开的方式认为，算法崛起带来的最大挑战在于算法的不透明性，人们常常感到它是一个黑箱，无法理解它的逻辑或其决策机制。因此，应当对算法进行公开，使得算法能够为人们所知晓。个人数据赋权的方式认为，影响个体的算法都是建立在对个人数据的收集与应用基础上的，因此，应当对算法所依赖的对象——数据——进行法律规制，通过赋予个体以相关数据权利来规制算法。最后，反算法歧视的方式认为，算法中常常隐含了很多对个体的身份性歧视，因此应当消除算法中的身份歧视，实现身份中立化的算法决策。

　　算法规制的传统方式及其困境

　　算法公开的方式认为，算法崛起带来的最大挑战在于算法的不透明性，因此，应当公开算法，使得算法能够为人们所知晓。算法公开首先会面临可行性的难题。算法公开假定，算法是一个黑箱，只要打开这个黑箱，算法就会暴露在阳光下，为人们所知晓。但现实是，算法黑箱的原理与国家机密或商业秘密的原理并不相同，算法黑箱是由算法的技术性特征造成的，而非人为刻意保持造成的。在大数据与人工智能时代，为了提高算法的准确性，算法的复杂性往往会加强，一个企业或网站的算法往往由数十上百甚至上千的工程师写作完成，同时机器学习中的算法是经过训练数据集而不断进行调整优化而产生的，并非完全按照工程师编写的代码而产生。在这样的背景下，公开算法的源代码和架构并无太多意义，因为公开并不能提供有效的对算法的说明。

　　算法公开可能导致算计（gaming）的问题。算法公开的初衷在于防止算法黑箱带来的滥用，通过公开与解释算法来监督算法，但算法一旦公开，相关主体就有可能利用和算计算法，通过设置相应的参数和制造数据达成自己的目的，从而损害其他主体的正当权益。

　　除了算计的问题，算法公开也可能导致知识产权侵权或算法被抄袭。在当前的算法监管中，很多商业机构都以商业秘密的名义拒绝监管，一些学者对商业机构的这种做法感到愤怒，因为它实际上完全将算法置于法律监管的空白地带。此种担忧有一定道理，尤其当企业算法具有一定的公共属性时，不宜将算法都视为商业秘密。但从商业秘密的定义以及知识产权原理看，并不能完全否认算法作为商业秘密的特征。从商业秘密的定义看，很多算法的确满足了秘密性、经济性等要件。

　　个人数据赋权对数据控制者与处理者施加责任，要求数据控制者与处理者满足个人的一系列数据权利，承担维护个人数据安全与数据质量等责任。在可行性层面，个人数据赋权并不一定能很好回应算法决策或算法辅助决策带来的问题。首先，个人常常无法在数据收集时作出合理判断。相关研究表明，个体对于隐私风险的认知往往非常有限，而且企业的网站和隐私政策非常复杂和冗长，一般读者很难理解。其次，在数据处理时，个人也很难有效行使反对权。面对算法黑箱，个体很难知晓其个人数据是否被处理，其个人数据何时被处理，被哪个数据处理者处理。最后，个人很难对侵犯个人数据权利的行为寻求救济。在信息社会，个人数据权利所面临的威胁涉及多个主体，侵权过程难以辨识。

　　从反歧视的角度规制算法，消除算法中可能存在的身份歧视与偏见，也是目前众多研究和报告提出的重要手段。研究者指出，应当禁止利用算法对属于某些种族、信仰、性别的群体进行区别对待，以防止恶意歧视。

　　在可行性方面，以身份中立为目标的反算法歧视会遭遇若干难题。首先，在算法中禁止运用身份因素，不一定就能实现身份平等。离开了算法决策或辅助决策，在现实社会中这些群体可能仍然遭受差别性对待与歧视，而且此类歧视可能要比利用算法进行决策或辅助决策更为普遍。其次，期待在算法中实现彻底的身份中立，这本身就是一个不可能实现的目标。现实社会中的种种经验已经验证了这一点，很多“看上去中立、不关注个人的制度性不作为、已经确立的结构和社会政治规范”，尽管看上去是理性的，但综合考虑却“制造和强化了种族隔离和不平等”。可以预见的是，无论如何设计，一种算法必然会更有利于拥有某些身份的群体，不利于另一些群体。

　　算法规制的场景化原理

　　在算法规制中，算法公开、个人数据赋权、算法反歧视的方式面临困境最根本的原因在于，机械运用这些方式都不符合算法规制的原理。算法可能会因为使用主体、针对对象、所涉问题的不同而有很大差异。一旦场景不同，算法的性质就会非常不同，对其所采用的规制原则也应当不同。机械性地采用任何一种方法，其实都将算法看作相对孤立的规制对象，都没有结合具体场景进行思考。

　　就算法主体而言，如果算法的使用者是公权力机构，则算法可能成为一种公共决策机制。特别是如果相关算法决策是由代表性不足的某些规制机构所做出，而此类决策又对公民权益具有重大影响时，则此时算法公开就具有更多的必要性，因为此时算法更具有公共性，更接近于一种正当程序。如果算法的使用者是一般企业，则算法可能成为企业的内部决策程序，此时算法就更类似企业的自主经营权；当算法具有商业价值与保密性特征时，此时算法还可能成为企业的商业秘密。在此类情形中，算法的公开就不应成为一种强制性法律要求。此外，很多算法的运用者兼具公共性特征与私主体特征。在大型企业与网络平台企业兴起的今天，很多机构的公共性属性与商业性属性已经变得很难区分。

　　就算法针对的人群而言，如果算法针对的是具有高度可识别性的个体，其数据的收集与算法的运用都是以识别特定个体为目标。那么在这种情形下，算法的性质就与个人权利密切相连，从个人数据权利立法的角度规制算法更为合理。但在其他情形中，如果数据的收集主要是为了分析某个群体或不能直接识别个体的对象提供服务，则此类情形中的算法和个人数据权利的关系并不密切。在此类情形中，强化个体对于数据的各种权利，可能会影响数据发挥流通性价值与公共性价值。同时，离开了数据的汇集与共享，此类个人数据赋权还可能影响算法本身的有效运行。

　　如果算法涉及的是纯粹商业化的决策，则此类情形中的算法就更接近于统计区分，算法就更多是一种信息匮乏手段下的信息甄别机制。但在其他很多涉及弱势群体保护的例子中，算法可能演化为可能加剧社会不公的助推器。在此类情形中，理应对算法进行更多的干预，将扶助弱势群体的伦理嵌入算法。

　　总之，就算法规制的一般原理而言，算法规制应当建立在场景化思维的基础上。算法并不像一般的有形物或某些无形物，后者具有相对稳定的法律属性，因而适用统一的法律框架。算法并不是一种标准化的物，而是一种人机交互的决策，因此，算法的法律属性会因为具体场景的不同而有所不同，算法法律规制的原理必须建立在场景化的基础上。以分类场景的原则规制算法，与当前算法规制的前沿研究具有内在一致性。例如海伦?尼森鲍姆发展出场景公正（contextual integrity）理论，将其首先使用在个人数据的收集问题上，提出对个人数据的收集要考虑场景的类型、行为者的身份、数据的类别以及个人数据传输原则等因素，不同的场景具有不同的个人数据保护规则。

　　算法规制的制度建构

　　通过分析传统算法规制方式的困境以及算法规制的场景化原理，可以对算法规制的制度进行建构。通过合理的制度建构，算法公开、个人数据赋权与反算法歧视可以重新发挥其合理的功能。就算法公开而言，算法公开制度首先应当是有意义和有特定指向的决策体系的公开，而非一般性的算法架构或源代码的公开与解释。如果机械地对算法架构或源代码进行公开，或者机械地对算法进行“解释”，那么此种公开或解释不但难以做到，而且即使做到了，相关解释也可能没什么意义，因为此类解释无法给相关主体提供有意义的决策参考。

　　个人数据赋权制度首先要区分场景与对象，赋权的类型与强度要因场景与对象的不同而不同。如果相关个人数据的收集与使用有利于相关个体或者有利于公共利益，就应当更多允许相关主体收集和处理个人数据。相反，当个人数据的使用不是为了促进个人或公共利益，而是被用于支配个体，那么此时法律应当严格规制个人数据的收集与处理。

　　个人数据赋权应当更注重数据的动态规制与伦理化规制，为算法的有效运转提供可能。在过去几十年，算法本身其实并没有任何突破，算法准确率的提升依赖于数据的海量积累。而大数据的本质特征恰是数据的全体性、混杂性和相关性。因此，有的数据隐私法所规定的原则，例如目的限制原则（即对个人数据的处理不应当违反初始目的）、限期储存原则（即对于能够识别数据主体的个人数据，其储存时间不得超过实现其处理目的所必需的时间），并不符合大数据时代算法运行的一般原理。在大数据时代，通过算法跨界处理数据特别是沉淀数据，为消费者提供不同目的的服务，已经非常普遍。对于企业收集与处理此类个人数据，应当注重此类数据处理是否符合相关伦理与人格保护，而非一般性禁止数据的流通共享。

　　在大数据时代，算法对于人类生活的影响已经越来越明显，面对越来越多的自动化决策或辅助化决策，人工智能法学与未来法治领域的研究者越来越关注由算法崛起所带来的挑战，并试图从算法公开、个人数据赋权、反算法歧视等方式来规制算法。本文指出，现代社会算法的本质是一种人机交互决策，应当戳穿算法的面纱与价值中立性，对算法进行规制。

　　无论是算法公开、个人数据赋权还是反算法歧视，机械地采取任何一种方式可能都面临可行性与可欲性的难题。从深层原理看，机械地适用几种算法规制的方式之所以存在问题，主要是它们没有采取场景化的规制思路，仍然将算法视为孤立不变的对象。但事实上，作为人机交互决策，算法可能因为运用算法主体的不同、算法针对对象的不同以及算法所涉及问题的不同而具有非常不同的性质。因此，算法规制应当采取场景化的规制方式，根据不同场景类型而对算法采取不同的规制方式。

　　从场景化规制的原理出发，可以对算法规制进行进一步的制度建构。算法公开应当是有意义和有特定指向的决策体系的公开，而非一般性的算法架构或源代码的公开与解释；算法公开应对公权力使用的算法与市场主体的算法施加不同责任；算法应当根据不同情况而决定完全公开、小范围公开或不公开。个人数据赋权的程度应当根据是否有利于个人或公共利益而进行不同程度保护；个人数据赋权应当注重数据的动态化与伦理化规制，而非数据的形式主义规制。应当警惕算法中的歧视与偏见，但应当超越身份中立，根据具体场景在相关算法中合理地运用身份性因素；在中国，反算法歧视更应注重弱势群体保护，注重身份因素与弱势群体保护之间的关联。

　　算法作为一种新型的人机交互决策，常常被不同的主体运用、内嵌于不同的场景和处理不同的问题。对于人工智能与未来法治研究而言，应当准确把握算法规制的场景化特征与原理，根据不同场景与情形对算法进行规制，以实现可信赖与负责任的算法决策。无论是算法公开、个人数据赋权还是反算法歧视，算法规制的具体制度建构都必须以此为指引，超越形式主义的法律规制。唯此，算法才能避免成为异化的决策体系，算法才有可能真正造福社会。

　　（作者单位：中国人民大学法学院。《中国社会科学》2020年第12期，中国社会科学网 阮益嫘/摘）