异界事务所希尔德可以练吗 希尔德值不值得养，异界事务所希尔德真实年龄

法律研究者荐读，研讨现实世界法律对人工智能体系不适用的问题

第七章 人工智能与法律科技：对法治的挑战

［德］加布里埃·布赫霍尔茨（Gabriele Buchholtz）　撰⁽¹⁾ 韩旭至　译⁽²⁾

人工智能正在塑造我们的社会生活。也影响了立法与法律适用，创造了“法律科技”一词。因此，我们所知道的法律即将变得面目全非。然而，到目前为止，关于规制法律科技的讨论甚少，这方面显然有相当大的需求。本章建议通过制定正确的标准、设置正确的默认值并将基本的法律原则转化到硬件和软件之中，从而重新构建法治并将其嫁接到技术上。简而言之，“通过设计的法律保护”是必要的，它的实施必须由法律来要求，在必要处分配责任。这将使法律科技与法治相协调。

程序员是一个宇宙的创造者，他自身也是其中唯一的立法者。无论是多么有权势的剧作家、舞台剧导演或皇帝，也不曾行使过如此绝对的权力来安排一个舞台或战场，并指挥如此坚定不移尽职尽责的演员或军队。¹

一、引言

人工智能正在塑造我们的社会生活。通过创造“法律技术”（legal technology）或“法律科技”（legal tech）的术语，它也深刻地影响了立法与法律适用。因此，“我们所知道的法律”即将面目全非。法律的基本原则，如可问责、公平、非歧视、自主权、正当程序以及最重要的法治，都面临着危险。这些担忧与“语言障碍”（language barrier）紧密交织在一起：传统上，法律需要语言，就像鱼需要水一样。²但算法遵循着与人类语言不同的逻辑。尽管到目前为止，可能因为这些挑战，关于监管法律科技的讨论甚少，而这方面显然有相当大的需求。问题不在于法律科技是否应该被规制，而在于现有的法律框架是否需要调整或完善。今天的立法者肩负着巨大的责任：它们决定了最初的规制条件。这些决策非常重要，因为它们将形成路径依赖。³根据劳伦斯·莱斯格的观点，我们必须“对网络空间进行建设、构建或编码，以保护我们所相信的基本价值”。⁴现在是时候将这些文字转化为行动了。

在本章中，我们建议通过“制定正确的标准”“正确的默认设置”以及将基本的法律原则内化到硬件和软件之中，从而重新构建法治并将其移植到技术基础设施之上。简而言之，为了保护我们人类对抗自动决策系统的能力，我们需要“通过设计的法律保护”，即“通过提供时间和空间来测试和对抗自动决策系统的工作”。⁵法律必须要求执行这一理念，在必要处分配责任。最终，这将使法律科技与法治相协调。最初的假设是，只要算法不能有效地确保少数群体保护和公共利益，法律就依然适用。然而，在数字化日益显著的影响下，法律必须重塑自身：它必须熟悉数字世界的逻辑。只有与不同的学科，特别是科学和社会学合作，才能找到法律解决办法。只有这样，法律才能跟上数字世界的步伐。

本章的结构如下：第二部分，将对法律科技的公共和私人使用进行概述。第三部分，将解释“法律”和“代码”之间的概念差异，以此说明为什么需要规制。第四部分，将对宪法框架进行概述。第五部分，将提出规制法律科技的建议。本章的目标包括三方面：第一，概述法律科技的公共和私人使用；第二，审视最新技术发展所提出的法律挑战；第三，聚焦于欧美的法律领域，为发展未来法律科技发展提供指引。这些建议是基于“通过设计的法律保护”的理念，旨在将法律科技纳入法治轨道。

二、应用领域

从广义上看，法律科技涵盖了法律领域中使用的所有信息技术，且与数据密不可分。法律科技是一个涵盖所有基于算法的技术的术语，包括了私人与公共的使用。⁶为了对法律科技的主要工作原理有一个基本的了解，本章将进一步提出一些的定义和分类。

1. 定义

“算法”是一个过程或一组规则，它定义了为解决某个问题而必须遵循的一系列操作。从“输入”开始，“指令描述了一种运算，当它执行时，以数量有限、定义明确的序列状态进行处理，最终产生‘输出’”。⁷换句话说，算法是一个逐步执行特定任务或功能的程序。⁸“代码”是各个算法的具体实现。⁹

基于这些定义，法律科技的潜在应用范围巨大。特别是随着“大数据”和“人工智能”的崛起，法律领域发生了颠覆性的变化。一方面，“大数据”被定义为“……大容量、高速度和多类型的信息资产，它们需要成本效益高、创新的信息处理形式，以增强洞察力和决策能力”。¹⁰人们正确地注意到，我们生活在一个数据狂热的时代。例如，为收集和存储数据，以及从这些不断增长的数据库中提取新知识，政府、大学和私人机构进行了投资。¹¹另一方面，“人工智能”“……指通过数据分析为世界的某个方面建模。从这些模型中得到的推论被用来预测和分析未来可能发生的事情”。¹²人工智能使机器能够从经验中学习，从而逐步模仿人类的认知能力。它的最终目的是“……使电脑进行一些人类会认为是智能的行为”。¹³发展最快的人工智能方法之一是“机器学习”。这组技术和工具允许计算机“独立且有效地”进行“思考”并解决问题。¹⁴根据定义，“机器学习是人工智能的一个子集，是一个强大的人工智能技术应用”。其中，机器被置于大型数据集之中，通过独立的学习机制，逐渐变得“更聪明”。¹⁵

为了找到法律科技的分析方法，必须把这个概念分成不同的类型。出于规制目的，首先要区分法律科技的私人使用和公共使用。例如，私人律师事务所使用法律科技的方式与警察使用法律科技的方式不同。私人部门是受经济动机驱动的，而国家机构必须为公共利益服务。这种差异与规制目的高度相关。第二个区别涉及法律科技的应用，它是在决策过程中用来产生新知识的“调查预测工具”，还是“替代决策”（不需要进一步的人工干预）。这两个区别对于规制法律科技非常重要的。其区分标准和适用原理，本章第五部分将详细阐述。以下部分，概述了法律科技的私人和公共使用。鉴于技术的迅猛发展，当然这只能是一个“概要”。

2. 私人使用的法律科技：现状与趋势

就法律科技的私人使用而言，它对律师和消费者都有许多潜在的好处。该技术上的可能性早已超越如lexisnexis、Westlaw（用于普通法法域）和Beck online、juris（用于德国）等，以电子数据库进行电子数据管理的范畴。在所谓的知识型专家系统的帮助下，用户可以部分或完全自动地对关于合同、行政行为或其他事项的任何文档进行审查。¹⁶除此之外，“智能合约”已经变得非常普遍。“智能合约”这一术语由尼克·萨博（Nick Szabo）于1994年首创。¹⁷“智能合约”是计算机化的交易协议，旨在数字化地执行合同条款。它们允许在没有第三方的情况下进行可信的交易。同样地，市场上出现了新型应用程序，可以独立地处理（轻微）法律案件，如飞行补偿或交通事故纠纷。¹⁸一段时间以来，市场上已经出现了一些使用机器学习技术的法律科技软件，尤其是在合同分析领域更是如此。¹⁹此外，法律科技也被用于在线纠纷解决（ODR）。²⁰2016年1月，欧盟《在线争端解决条例》（Online Dispute Resolution Regulation）²¹生效，允许欧盟境内的消费者对欧盟境内的企业提起在线纠纷解决程序。

尽管传统上德国和欧洲的技术发展较为保守，但美国的“人工智能驱动型”机器人律师已经登上舞台。例如，2016年，美国律师事务所贝克霍斯特勒（BakerHostetler）聘用了世界上第一位人工智能律师。他们已经同意对IBM公司基于沃森引擎开发的“罗斯智能”（Ross-Intelligence）进行授权，以供其破产、重组和债权团队使用。²²这些机器人律师主要被用于文件搜索和分类探索。另一个推动法律行业的人工智能趋势是“预测分析”或“大数据分析”。这种方法涉及通过统计或数学程序对大型数据集进行分析，以在数据中确定具有意义的关系。²³律师、保险公司或消费者都可能从中受益。然而，在欧洲的法律图景中仍缺乏关于法律争端结果的可靠数据，即需要的是一个既包括高级法院的判决，也包括地区法院和区域法院的判决的判例法数据库。

3. 公共使用的法律科技：现状与趋势

就法律科技的公共使用而言，执法部门被假定为先驱角色，美国与大西洋对岸的欧洲均是如此。²⁴部分欧洲国家的警方采取了新的大数据技术，旨在帮助警方在犯罪出现前对未来的犯罪进行预测，这一方案为称为“预测性警务”。在英国，预测性警务最近得到了高等法院的支持，²⁵德国警方也引进了这项新技术。许多德国联邦州正在测试一种名为Precobs（犯罪前观察系统）或SKALA（犯罪分析和犯罪预测系统）的软件，它将利用入室盗窃的某些特征（犯罪现场、受害者等）来估计一个人的再犯可能性。“犯罪预测”系统展示不同地区的风险水平，并将其用于热力图之中。警察可以在下一次犯罪发生之前到达现场。²⁶该技术工具的支持者认为，与人类所能提供的结果相比，这类分析更准确且偏见更少，最终更容易将重点放在先发制人的管制和预防上。²⁷

当然，法律科技在公共行政中的应用并不局限于预测性警务。它扩展到许多领域，如用于道路交通管理的人工智能应用。特别是高速公路上的智能交通控制系统，通过传感器收集各种数据，并相应地调节交通，例如指示超车禁令或限速。根据所收集的数据，自动进行行政行为。同样，人工智能也被用于税务程序。例如，在德国，人工智能驱动的风险识别似乎已经成为常规税务管理系统的一部分，该系统决定何人必须提交税务审计的支持文件（参见本书布劳恩·宾德文章的第16—18段）。

即便在司法部门，如今也在使用法律科技。自动催收程序是德国的第一个简单案例。不出所料，美国在这方面要领先得多，它使用的软件将成为法庭诉讼的决策基础。例如，COMPAS（罪犯矫正管理的替代性惩罚分析）已经在美国几个州得到实施，威斯康星州的监狱局（DOC）也在2012年引入了该系统。该系统旨在可靠地预测再犯风险。对于每一个犯罪者，COMPAS会计算出一个单独的“风险值”，该分值会对随后的判决产生影响。其基本逻辑很简单：如果该软件在1至10分的范围内给被告评定了一个高风险分值，那么法官就不允许判处缓刑，而应判处被告监禁。²⁸尽管这款软件受到了一些人的强烈批评，他们反对使用一个算法来帮助把人送进监狱，²⁹但也有人称赞COMPAS是一种可靠的机器学习工具。³⁰支持者的进一步研究已经提供了令人信服的证据表明COMPAS的优势：基于约150000份美国重罪案件数据的政策模拟表明，根据机器学习预测发布的规则将在不提高犯罪率的同时减少42%的监禁人数，或在不改变监禁人数的同时将犯罪率降低25%。³¹我们该如何看待这些承诺呢？在不深入了解COMPAS这样的系统内部运作的情况下，我们能相信人工智能会作出公正的决定吗？法官和陪审团将如何使用人工智能产生的证据？当涉及诸如刑事判决等重要决定时，法院应该在多大程度上依赖人工智能来规范行为？当人工智能应用程序失败时，会有什么样的风险？下面本章将给出关键答案。

这些例子表明，随着人工智能模仿人类认知能力的稳步提升，法律领域将发生巨大变化。³²法律科技不再仅仅是关于工作环境的数字化和提升个人效率的工具，而是关于使机器能够在私人和公共领域从事核心法律活动。³³因此，便出现了一个问题，即“网络法庭”和“机器人律师”是否可能不再仅仅是科幻小说，而是未来可能出现的现实图景。答案是否定的。从政府机构、学术界³⁴到企业等不同领域的利益相关者都否认人工智能目前已获得“超人的、完全自主的能力”。³⁵然而，技术的发展仍在继续，法律科技在今后将对法律形成更大的挑战。³⁶如今，法律科技产业在全球范围内已经增长至约700家企业，其中大约100家活跃在德国市场。³⁷他们开发那些旨在完成越来越复杂的任务的信息技术应用程序。³⁸这些应用的前景非常广阔。法律科技不仅为法律行业日益增长的效率和成本压力提供了答案，而且至少有可能有助于实现正义。然而，法律科技是否能够解决需要仔细考虑的复杂规制问题，则完全是另一回事。在这一点上，怀疑是有必要的。³⁹下文将对可能发生的问题进行审视。

三、“法律”与“代码”之间的概念差异

前文已述，“法律”和“代码”的差异呼唤着不同的规制概念。在本部分中，将“法律”和“代码”的工作原理并列，以便发现问题和规制需求。必须同等考虑技术和教义学的方面。还将注意到制定和适用法律实际意味着什么的社会学问题。⁴⁰

1. 作为社会规则的法律适用

首先，要注意一个看似微不足道的事实，即（书面的）法律规范是人类产物和社会行为，法律在每个案件中的适用和解释也是如此。⁴¹适用法律规范是一个苛刻的过程：首先需要一个具体化的步骤，因为法律规范通常是笼统地起草的。⁴²一项规定越抽象，这个过程就越具有挑战性。例如，《德国民法典》第242条中规定的诚信原则。在具体化之后，该规范可以适用于特定案件。⁴³

“法律只能存在于语言中，并通过语言而存在”，⁴⁴认识到这一点非常重要，这带来了解释的开放性。⁴⁵然而，成文法解释并不是“文本分析的简单机械操作”。⁴⁶它要复杂得多，并需要互补的知识，尤其是在具有自由裁量空间的情形时更是如此。⁴⁷例如，法律风险预防依赖于专门的技术知识，移民和庇护法离不开社会科学知识。特别是在行政法中，必须认真考虑一项法律规定的现实影响：如果法律是一种控制行为的工具，律师不仅必须注意其直接影响，而且必须注意其长期的社会后果。⁴⁸换句话说，法律从业者和立法者不能对法律的后果视而不见。⁴⁹综上所述，法律适用是一种独立的“法律生产”。在每一个案件中，法律都作为一种“社会产品”而被再创造。⁵⁰

2. 作为技术规则的代码

当计算机取代律师时，关于法律适用的基本假设是如何变化的呢？当然，算法是人类创造的，它们首先是“社会行为”。⁵¹这个看似显而易见的事实有着深远的影响。诚如梅尔文·克兰茨伯格（Melvin Kranzberg）所言：“技术既非好坏，亦非中立。”⁵²除此之外，“法律”和“代码”在适用上有很大的不同。算法不是用自然语言而是技术语言编写的：二进制代码通过1和0两个符号的序列映射信息。因此，编写法律科技软件的代码包含两个关键的转译挑战。第一，“法律”必须转换成二进制代码，第二，它必须译回自然语言。在这种逻辑下，算法将社会现实转化为二进制代码：然而，从随机推理中，它们只能识别相关性，而不能识别因果性。⁵³所有人工智能驱动的软件都局限于这种二进制逻辑。然而，高级的人工智能系统，即所谓的学习系统，能够在不需要大量人工干预的情况下，将新数据（输入）转换为决策（输出）。⁵⁴“回应性系统”甚至可以动态地修改先前的决策模式。⁵⁵决策过程从而受到人工智能系统学习经验的制约。这进而可能导致结构上不可预测的决策。⁵⁶然而，有些不可能的事情仍然是不可能的：算法缺乏“常识”和“软”决策因素，如直觉、价值判断或整体思维。⁵⁷机器不能思考，也不能回答深刻的哲学问题，歌德（Goethe）的话最能说明这一点：“只有人类才能做不可能的事，人类能够区分、选择和判断……”⁵⁸

3. 对“代码”的误解

如前所述，法律科技基于这样一个概念，即法律规范可以被形式化并完全翻译成计算机语言。为证实这一主张，就必须揭示“法律”和“代码”的不同运作原则。传统上，特别是随着律师和法官的自由裁量权的扩张，法律适用并不被认为是一个严格形式化的过程。律师或法官并不是在形式数学意义上适用法律的“自动售货机”，⁵⁹他们是在辩证意义上适用法律的。⁶⁰适用和解释法律规范的过程需要价值判断、直觉认知和整体思维。⁶¹然而，算法缺少这些人类的品质，而且软件程序员填补这一空白的前景渺茫。⁶²虽然机器可能在不久的将来会完成一些重复性的法律事务，但我们离它们取代细微的价值判断和专业知识还很远，也许永远也不会实现。⁶³

另一个关键问题是：自然语言究竟能否转换成计算机系统的二进制语言？虽然自然语言由于其语法而具有一定的内在逻辑，但词义可能会随着语境不同而发生显著变化（“语境差异”）。⁶⁴语言上的差别并不是完全可预测或可程序化的。⁶⁵只有在简单明了的案件中，形式化才具有可能（然而，很难事先确定一个案件是简单的还是复杂的），⁶⁶但在法律或事实的难题前，形式化的实现是不会成功的。总之，很明显，法律语言的形式化在语义上既不可能，也不可取。⁶⁷然而，为了社会的最大利益，法律需要灵活处理复杂的技术或社会现象。人类语言提供了必要的灵活性。⁶⁸在这一点上，“法律”和“代码”之间存在范畴上的区别，这一区别呼唤着新的规制形式。后文将对此进行详细介绍。⁶⁹

4. 规制的需要

为什么在数字世界的法律规制是必要的？答案很简单。法律的社会功能首先服务于公共利益和保护少数群体。但这两者在数字“代码”中都不受重视。只要这种情况继续存在，公法仍然是一种不可或缺的控制和规制工具。⁷⁰换句话说：国家很重要。⁷¹如上所述，计算机缺乏对社会规范和语言的理解。⁷²米雷耶·希尔德布兰特（Mireille Hildebrandt）说道：“人类社会有意义信息的存在模式建立在口语、手写和印刷文本的基础上。”⁷³立法者怎样才能弥补这些差距呢？与基本宪法原则发生冲突的情况将在下一部分中加以分析。

四、宪法框架

本部分将概述法律科技软件开发与应用的宪法指引。首先，本部分将研究法律科技何以对法治和民主构成风险（参见下文第1点）。其次，将在相应国家宪法和欧盟层面，着重探讨法律科技和隐私权之间的潜在冲突（参见下文第2点）。最后，本部分将分析法律科技何以与反歧视的权利相冲突（参见下文第3点）。

1. 法治与民主

首先，对法律科技的严肃批评涉及软件开发的（法律）条件。这个过程远远超出了国家的控制。⁷⁴已有人正确地批评道：“软件开发，即使是开源的，也是不透明的，而且集中在一个小的编程群体，其中许多人受雇于少数几个不直接对外负责的寡头企业。”⁷⁵该程序不为可能受影响的人提供任何干预甚至参与的可能性。

根据现行法律，软件开发人员甚至享有商业秘密保护，不必透露他们的算法。⁷⁶由此产生的控制缺失可能产生严重的后果：尽管软件开发人员当然愿意保持中立和客观，⁷⁷但在开发算法时，他们永远无法完全摆脱偏见、习俗、文化、知识和环境。⁷⁸有学者正确地指出，“代码不是纯粹抽象的和数学的，它具有重要的社会、政治和美学意义”。⁷⁹运算甚至可能深化和促进排序、分类和区别对待的过程，而非改造这一过程。⁸⁰这是因为算法与人类不同，它缺乏通过认知注意来平衡数据解释偏差以纠正偏见的能力。⁸¹此外，大多数算法都为一些非中立的目的而创建的：产生收入，“以某种方式助推行为和结构偏好”，以及对人进行识别、排序和分类。⁸²如引言所述，“计算机程序员是一个宇宙的创造者，他自身也是其中唯一的立法者。无论是多么有权势的剧作家、舞台剧导演或皇帝，也不曾行使过如此绝对的权力”。⁸³这是何其正确！如果立法者不能从社会的最大利益出发设法改变规制条件，软件开发人员将成为不受问责或不受民主控制的“准立法者”。

除此之外，非民主的软件开发，尤其是缺乏透明度，引发了人们对法治的各种担忧。⁸⁴在此语境下，法治应当解释为“依法而治”要求“所有的人和组织都受法律约束并对法律负责，且法律得到公正适用和执行”。⁸⁵其中的关键因素通常是在法院中行使的，关于法律适用和法律效力的抗辩权。⁸⁶简而言之：法治就是可问责性、公平和正当程序。

从法律科技的软件开发转向软件应用时，形势更加严峻：法治面临着严重的潜在风险，尤其是如前所述，国家机关应用法律科技时，必须为公众利益服务。例如，为了确定一个人再犯的风险，法官越来越依赖人工智能系统。只要人工智能技术的内部运作不为公众所知，人们就无法对任何涉嫌侵犯或操纵其权利的行为提出质疑。这种“决策过程的非人化”，让人对正当程序产生怀疑，也让人怀疑是否能对不利决定提出有意义的上诉。⁸⁷另一项反对意见涉及上文提及的法律科技在法官决策过程中作为“调查预测工具”或作为代替法官决定的“决定替代者”之间的区别（参见第二部分第1点）。2013年，埃里克·鲁姆斯（Eric Loomis）在一场飞车枪击事件中被控五项重罪，该案展现了相关争议。在量刑时，初审法院的法官仅仅提到了鲁姆斯在COMPAS评估中的分数。在上诉中，威斯康星州最高法院认为，“即便用于评估的方法既没有向法院也没有向被告披露”，法官在量刑时依靠封闭式的再犯评估软件并不一定侵害宪法上“正当程序的权利”。然而，法官不能完全依赖与风险评分。⁸⁸2017年6月，美国最高法院拒绝受理此案。⁸⁹这一决定可能会产生严重后果：如果法官逐渐将日常的文字推理替换为人工智能驱动的方法，这将破坏判决的复杂性。正当程序原则使被告有权了解他们被指控的罪名，以及对他们不利的证据是什么。然而，当（部分甚至全部的）法院或其他国家机关仅仅根据秘密算法进行判决时，这项权利就岌岌可危了。虽然法官可能可以依靠算法“以提高其判决的质量和一致性，但不应该让算法来替代作决定”。⁹⁰

如上所述，算法“缺乏伦理指向”。⁹¹因此产生了这样一个问题，即政府必须在多大程度上确保法治和民主参与成为一个“好”算法的质量特征。⁹²但是，多大程度的政府干预是适当的呢？立法者面临一个复杂的平衡问题：私营或国有的软件开发商是应该公开他们的源代码以供公众检查，还是应该对他们进行某种控制？这是一个具有挑战性的任务！本章第五部分将给出答案。

2. 隐私权

如前所述，法律科技的公共和私人使用可能会给隐私权带来严重的风险。由于对法律科技软件的内部工作方式缺乏了解，人们几乎无法控制应用程序收集和存储其个人数据的方式。随着数据分析的兴起，这种情况变得更加严重。

什么是“隐私”，法律科技的宪法限制又是什么呢？根据通行的概念，隐私权是关于选择、自主和个人自由的权利。它包含了一个特定的人决定将隐藏什么，以及这个人将以何种方式、何时以及向谁披露个人信息的权利。“私隐”“信息私隐”“数据私隐”及“数据保护”等词常被同义使用，以强调政府及私人有权控制个人数据的收集与处理。同样地，德国宪法法院在1983年的里程碑式判决中，“发明了”作为一般人格权分支的信息自决权。⁹³这种信息自决权为德国宪法中的数据保护提供了法律基础。法院判决指出：“……保护个人不受无限制地收集、存储、使用和披露其个人数据，是德国宪法中的一般人格权所涵盖的范畴。在这方面，这项基本权利保证个人有能力在原则上决定其个人数据的披露和使用。只有在存在压倒性的公共利益时，才允许对这种信息自决进行限制。”⁹⁴

除了德国宪法外，对人工智能的使用起决定性作用的《欧盟基本权利宪章》第8条本身并没有规定信息自决权，而是规定了一项现代的数据保护基本权利。⁹⁵根据该宪法要求，《通用数据保护条例》于2018年5月25日施行，推出了欧盟处理个人数据的统一标准。相关要求大多适用于私人和国家机构。其核心思想是让消费者有效地控制其个人数据。为了遵守欧盟的数据保护规则，企业和其他（国家）组织必须遵循《通用数据保护条例》第5条规定的主要的数据处理原则，即透明度、目的限制、数据最小化、准确性、存储限制、完整性和保密性。尤其是，从数据主体处收集个人数据时，必须提供信息（《通用数据保护条例》第13条），这一规定在大数据分析方面具有高度相关性。而且，《通用数据保护条例》还要求经营者在与用户沟通时要透明、易懂。同时，它们有义务响应用户访问、更正或删除数据的请求（《通用数据保护条例》第15条至第17条）。此外，《通用数据保护条例》第21条规定了拒绝权，允许个人要求公司停止处理他们的个人数据。但《通用数据保护条例》也明确表示，拒绝权不是绝对的；与其他公民权利一样，与公共利益相冲突时，它也会受到限制。当涉及法律科技和大数据分析时，另一个特别重要的条款是《通用数据保护条例》第23条第1款（“自动个人决策，包括用户画像”）。该款规定，数据主体有权不受仅基于自动化处理行为（即对个人数据或个人数据集执行的任何操作或一组操作，而不论是否通过自动化手段）得出的决定的制约，以及避免对个人产生法律影响或与之类似的显著影响，该自动化处理包括用户画像（即自动处理个人数据的任何形式，包括使用个人数据评估与自然人有关的特定个人方面）。再则，《通用数据保护条例》第22条第4款规定，自动决策通用不应使用《通用数据保护条例》第9条第1款所述的敏感数据（即种族、政治观点、宗教、工会成员、健康状况、性取向、遗传和生物特征数据）。

3. 不受歧视权

上述对法律科技的反对意见，特别是缺乏透明度，也可能对不受歧视的权利具有消极影响。⁹⁶该担忧与一个事实有关，即算法驱动的软件可能会深化和加速对人们进行排序和分类的过程，而那些可能受到影响的人却没有任何控制的可能性。歧视可以定义为，由于个人属于某一特定群体而受到的任何不公平待遇，如种族歧视、性别歧视等。⁹⁷欧盟的法律框架规定了不受歧视的权利。对此，《欧盟基本权利宪章》第21条、《欧洲人权公约》第14条和《欧盟运作条约》第18条至第25条有明确规定。⁹⁸

以这些标准来衡量，法律科技的使用在某种意义上可能被认为具有内在的歧视性：⁹⁹例如，前述预测性警务的使用。一项研究发现，在COMPAS软件预测中，黑人被告的再犯风险比实际要高，而白人被告的再犯风险比实际要低。¹⁰⁰虽然COMPAS使用的数据不包含一个人的种族，但被收集数据的其他方面可能与种族有关，从而导致预测中的种族差异。¹⁰¹这些结果表明“机器学习依赖于从社会收集的数据”，当社会包含不平等、排斥或歧视时，这些社会不公将存在于数据中。更重要的是，机器学习可以使现有的歧视模式持续，“如果在训练数据集中发现了相关模式，接着通过精确的分类设计将重现这些模式”。¹⁰²事实上，由于缺乏透明度和可问责性，法律科技甚至可能比人类律师“更糟糕”。如果没有进一步的（人工）审查和控制，便直接信任数据集，那么计算机将加剧偏见。¹⁰³问题的根源是什么呢？在“代码”中，非歧视的基本原则并不是一个相关的范畴。这即前述的事实：“算法缺乏伦理指向。”¹⁰⁴这需要怎么办呢？诚如亚历山大·蒂斯比克所指，人工智能和法律科学“必须携手合作，保护非歧视原则，防止在数字世界中出现新的社会边缘化形式”。¹⁰⁵

五、“通过设计进行规制”的提出：一个平衡的方法

本部分将展示如何使现有规制措施符合上述宪法原则。虽然，该探索并不能面面俱到，但它可作为跨学科研究实践的邀约，并作为未来的规制法律科技的指引。这一双层的策略是：首先，我们必须确保人工智能技术的发展与社会规范相符。其次，我们必须找到将这些原则融入技术的方法。

1. 监管调整

什么对监管而言重要？答案是，必须以创新方法补充现有的规制手段，以便应对技术的迅速发展。为此目的，必须以不适当为由拒绝传统的“命令和控制”路径。相反，必须重新设计法律规范所惯用的单边和确定性控制结构，并转向“沟通”。这里指的是法律人和软件开发人员之间为相互学习专业知识的沟通。¹⁰⁶在过去的几年里，这一努力一直与“通过设计的法律保护”的概念联系在一起。¹⁰⁷

2. 以通过设计的法律保护作为起点

长期以来，立法者忽视了设计的力量，但近年来，“通过设计的法律保护”一词得到了广泛的关注。根据社会学发现，设计具有强大的力量。它可以影响社会规范和预期。¹⁰⁸基于这一认识，法律应该引导信息技术的设计以保护宪法价值。¹⁰⁹

“通过设计的法律保护”或“通过默认设置的法律保护”究竟是什么意思呢？这一概念的灵感来自《通用数据保护条例》第25条第1款（通过设计和默认设置的数据保护）。根据该条款，数据控制者在决定数据处理方式与进行数据处理操作时，应采取适当的技术和组织手段，如假名；这些设计旨在贯彻数据保护原则，如数据最小化；其在数据处理中融入有效的手段和必要的保障措施，以保护数据主体的权利。此外，根据《通用数据保护条例》第25条第2款，数据控制者应实施适当的技术和组织措施，以确保在默认设置中，只对每项特定目的所必需的个人数据进行处理。特别是，这些措施应确保在默认设置下，未经个人操作介入不得向不特定自然人提供个人数据。相应地，《通用数据保护条例》序言第78条第2句指出，数据控制者应采取内部政策和实施措施，这些政策和措施尤其要符合通过设计和默认设置的数据保护原则。

“通过设计的数据保护”背后的原理是，数据保护和隐私原则必须嵌入技术中。这就引出了“设计”这个术语，它描述了“一个系统是如何架构、如何工作、如何沟通的，以及该架构、功能和沟通是如何影响人们的”。如果没有包括工程师、高管、用户和律师在内的所有利益相关者的参与和尊重，就不可能实现“好设计”。通过设计进行保护是考虑和保护群体（如企业）、行动（如信息或收集）或事物（如技术）发展过程中的隐私和其他社会规范的一种事前主动的方法。通常情况下，（更糟糕的）替代选择是在隐私受到损害后（事后）才作出反应。¹¹⁰

在“通过设计的保护”概念之中，法律人和软件开发人员之间的沟通是必要的，也是可以管理的。如果立法者决定关心设计，他们将不必重复劳动或自行完成任务。因为已经存在致力于隐私保护设计的稳健且完善的软件开发学科。政府监管者不能忽视那些已经致力于利用技术设计来保护我们的隐私和社会价值的专业知识。除此之外，其他法律领域和其他法域中关于规则设计的经验教训可能有所助益于规制法律科技。¹¹¹

简而言之，关键问题是什么？“忽视设计是危险的，但过度监管也是危险的，重要的是必须找到一个平衡。”¹¹²这要如何做到呢？下文将介绍“通过设计的法律保护”的核心要素。在一定程度上，现有的规定必须改革，它们必须被彻底重新定义和修订。因此，将考虑法律科技的公共和私人使用之间的类型和规制区别。

3. 规制指引

如前文所示，缺乏透明度和控制可能会妨碍人们充分行使其权利（特别是隐私权和不受歧视的权利）。但是，当法律科技限制基本权利时，则需要规范理由。当国家官员使用法律科技时，透明度是一项基本的法治原则。¹¹³存在疑问的是，现行法律在多大程度上已经满足了这些要求，又需要进行哪些改革呢？

《通用数据保护条例》第22条第1款（“自动个人决策，包括用户画像”）表明任何数据主体有权不受仅基于自动化处理行为得出的决定的制约，该自动处理包括用户画像，将对个人产生法律影响或与之类似的显著影响。此外，当个人数据被自动用户自动决策时（即仅通过自动化手段作出的决策，且没有任何人为干预），私人和国有软件开发人员必须履行提供信息的义务。根据《通用数据保护条例》第13条第2款，数据控制者从数据主体处收集个人数据时，应向其提供必要的信息，以确保特定情形中数据处理的公平和透明。这些情形包括《通用数据保护条例》第22条第1款和第4款所述的自动决策，包括用户画像；以及必要的信息是关于所涉逻辑的有意义的信息，或该数据处理对数据主体的意义和预期后果。同样，根据《通用数据保护条例》第14条第2款，若个人数据并非从数据主体处取得，则数据控制者应告知数据主体存在该法第22条第1款和第4款所指的自动决策，包括用户画像。

这些规定背后的理念是“个人赋权”：¹¹⁴即应随时向人们通报有关情况，并尽可能保护他们不受自动决策的影响。¹¹⁵因此，根据《通用数据保护条例》第22条第1款，必须保证由“在作最后决定时考虑到其他因素”的人对自动决策进行审查。¹¹⁶但是，根据第29条数据保护工作组的意见，人类参与的伪装并不足够。例如，如果一名员工例行公事地通过橡皮图章自动生成配置文件，而对结果没有任何实际影响，那么这就不符合《通用数据保护条例》第22条的要求。¹¹⁷“有意义的”监督需要通过“有改变决策的权力和能力的人”进行。¹¹⁸然而，问题是人工审查是否最终会偏离先前的自动决定，并且在多大程度上偏离。实践中，人类的监督实际上不太可能超越真实性审查的范畴。¹¹⁹尽管存在对《通用数据保护条例》第22条的各种批评，但为了提供透明度和防止歧视，仍需进行规制。尤其是，必须以一种容易理解的形式向人们告知关于人工智能数据处理的事项，以使得他们能够以有意义的方式对决策作出反应。¹²⁰然而，就软件开发者的合法利益而言，披露软件程序代码的一般性责任并不符合比例原则。但是，人们可正确地要求软件开发人员承担公开其软件基本决策结构的义务，¹²¹以使受（潜在）影响的人可理解决策过程的指导原则。¹²²

此外，为了平衡（由数据集的复杂性而形成的）信息不对称，必须采取集体控制机制：有人建议，对敏感数据有潜在影响的软件，必须受政府的许可控制。¹²³这种“算法审查”不仅应包括程序代码本身，还应包括软件训练程序的质量和可靠性。当国家所采用的法律科技可能对敏感数据产生影响时，这种审查应该是强制性的。例如，如果没有额外的质量保证，法官不应该使用COMPAS这样的软件。由于学习算法经常改变决策结构，除了强制的许可控制外，还必须对学习系统的后续执行情况进行持续控制。¹²⁴政府控制必须延伸至数据库的有效性和准确性。控制算法可能有助于系统地分析自动决策过程，尤其是发现偏见和歧视。而且，软件开发人员必须建立风险管理系统，以确保软件应用程序不会产生歧视性或有偏见的决策。目前为止，现行的立法并没有要求软件开发人员建立风险管理系统。然而，这样的义务将有助于向潜在受影响的人提供一个公平的机会，以事先正确地评估和识别隐私风险。最终，每一个法律科技系统都应该被设计成让系统中的用户和其他主体能够通过算法和数据集来评估系统的可靠性。同时，必须向那些可能受影响的人保证透明度和可问责性。只有这样，人们才有能力“拒绝所有狡猾的助推”，才有能力“挑战所有类似技术处理的法律后果”。¹²⁵这些机制是否会付诸实施，我们将拭目以待。然而，这些建议的一个重要贡献是表明，基本的宪法价值可以内嵌于算法之中。如果应用得当，人工智能驱动的技术不仅能做出更准确的预测，而且与人类相比，它还能提供更大的透明度和公平性。另外，我们还明白了，合理的技术设计需要技术专家和法律专家之间的密切合作。¹²⁶

4. “人为因素”

最后，本章将对法学教育提出一些意见。如上所述，“通过设计的法律保护”需要跨学科的努力。法律人所目睹的技术变革使得法律学者必须熟悉人工智能工具的机遇和后果（参见本书莫尔纳尔-盖布尔文章的第13段及以下）。必须研发出在技术应用中实现最优社会利益的解决方案。¹²⁷通过承认技术限制，法律人将更清楚地认识到他们的职业和“伦理指向”。“我们将会发现……当我们试图在我们自己与更为强大但也许永远有限的机器之间建立新的平衡时，我们那不可为规则所化约的直觉认知，加重了人类思维一侧的砝码。”¹²⁸

5. 平衡的方法

在根本上，规制法律科技需要取得复杂的平衡，特别是在消费者的隐私相关利益和软件开发者的经济利益之间的平衡。¹²⁹此外，规制者必须考虑到规制对创新的影响，以及技术变革对规则的基本原理和设计的影响。规制与创新之间的作用是相互的、动态的。¹³⁰但是，本章提出的“通过设计的法律保护”提供了一个适当的平衡。然而，必须强调的是，“通过设计的法律保护”必须是法律所要求的，或如米雷耶·希尔德布兰特所言，“通过设计的法律保护”必须“从一种伦理选择转变为一种法律要求”。只有这样，我们才能有效地确保法律科技与法治相一致。¹³¹

六、结论

“如果我们想要创造出能更广泛地造福于公民的技术，国家的角色就很重要。”¹³²只有通过法律手段才能使法律科技与法治相一致。因此，如果我们愿意建立维护人类自由的系统，技术设计的焦点必须在于隐私保护。“我们当前的系统缺乏隐私保护是一种选择。”¹³³此外，我们需要开发“提高算法的透明度的机制以及民主控制机制”。¹³⁴这将产生信任，而信任又是商业和社会繁荣的一个关键要素。因此，如果我们致力于改善贸易、寻求自我定义以及造福整个社会，我们就需要通过设计来提供更好的法律保护。¹³⁵

立法者和法律学者必须意识到他们的责任。需要进行跨学科的交流和研究。只有做到这一点时，政府规制者才能在隐私相关利益和经济利益之间找到恰当的平衡。从这个意义上说，“通过设计的法律保护”将服务于法治和最优社会利益。如果我们开始从跨学科的角度对人工智能进行批判性思考，社会就可以充分利用人工智能。而且，通过人工智能，社会将可能更“人性化”。

注释

1. Weizenbaum（1976）, p.115.

2. Isensee（1990）, p.52.

3. Eidenmüller（2017）; Hartzog（2018）, p.76.

4. Lessing（2006）, p.3.

5. Hildebrandt（2018）, p.35.

6. Grupp（2014）, p.660.

7. https://en.wikipedia.org/wiki/Algorithm.

8. Sharma et al.（2018）, p.479.

9. Schmidt（2016）, §1, para 2.

10. Gartner IT Glossary（2018）.

11. Medina（2015）, p.1005.

12. Government Office for Science（UK）（2016）, p.5.

13. Society for the Study of Artificial Intelligence and Simulation of Behaviour（2011）.

14. Frese（2015）, p.2090; Hoffmann-Riem（2017）, p.3; Mainzer（2016）, p.3; Stiemerling（2015）, p.765.

15. Pfeifer（2018）.

16. Frese（2015）, p.2090; Stiemerling（2015）, p.765.

17. Szabo（1994）.

18. Frese（2015）, p.2092.

19. Legal Technology Journal, Smart Contracts（2017）.

20. Grupp（2014）, p.660; Shackelford and Raymond（2014）, p.615.

21. Regulation（EU）No 524/2013 of the European Parliament and the Council of 21 May 2013.

22. Chowdhry（2016）.

23. Aletras et al.（2016）.

24. 关于人工智能与执法的概述，也可参见本书拉德马赫文章的第3—13段。

25. Brown v. BCA Trading Ltd ［2016］ EWHC 1464（Ch）（17 May 2016）.

26. Rademacher（2017）, p.366.

27. Angwin et al.（2016）and Dressel and Farid（2018）.

28. Pasquale（2017）.

29. Pasquale（2017）.

30. Kleinberg et al.（2017）, p.2.

31. Kleinberg et al.（2017）.

32. Susskind（2013）.

33. Wagner（2018）, pp.2—3.

34. Bostrom（2014）; Goertzel（2015）, p.55; La Diega（2018）, paras 10 et seq.

35. Stevens（2017）.

36. Wischmeyer（2018）, p.3.

37. Tobschall and Kempe（2017）, p.10.

38. Wagner（2018）, p.3.

39. Eidenmüller（2017）.

40. See Buchholtz（2017）, p.956.

41. Hoffmann-Riem（2017）, p.26; Hoffmann-Riem（2016a）, p.37.

42. Riehm（2006）, p.21.

43. Bydlinski（1982）, pp.395—396.

44. Becker（2014）, p.19; Großfeld（1985）, p.1577; Isensee（1990）, p.52; Kotsoglou（2014）, p.1101.

45. Hoffmann-Riem（2016a）, pp.80 et seq.; Kotzur（2014）, §260 para 23.

46. La Diega（2018）, para 11.

47. Hoffmann-Riem（2017）, p.26.

48. Ehlers（2015）, §3 para 102; Hoffmann-Riem（2016b）, p.5.

49. Ehlers（2015）, §3 para 102.

50. Bryde（2015）, p.129; Hoffmann-Riem（2016b）, pp.12 et seq.

51. Hoffmann-Riem（2017）, pp.28—29.

52. Kranzberg（1986）, p.547.

53. Martini（2017）, p.1018; Rademacher（2017）, p.389.

54. Wischmeyer（2018）, p.3.

55. Wischmeyer（2018）, p.13.

56. Wischmeyer（2018）, p.3.

57. Grupp（2014）, p.664.

58. Goethe（2008）, p.256.

59. Weber（2002）, p.826.

60. Jandach（1993）, pp.105—106.

61. La Diega（2018）, para 11.

62. Engel（2014）, p.1097.

63. Kotsoglou（2014）, p.455; La Diega（2018）, para 11; Pfeifer（2018）.

64. Kotsoglou（2014）, p.453.

65. Engel（2014）, p.1098; Kotsoglou（2014）, pp.453—454.

66. La Diega（2018）, para 11.

67. Engel（2014）, p.1097.

68. Kotsoglou（2014）, p.454.

69. Buchholtz（2017）, p.958.

70. Boehme-Neßler（2017）, p.3034.

71. Medina（2015）, p.1018.

72. Wischmeyer（2018）, pp.17—18.

73. Eisenstein（2005）; Goody（1986）; Hildebrandt（2018）, pp.12—35; Ong（1982）.

74. Schmidt（2016）, §1 para 1 ff.

75. O'Hara（2017）, p.101.

76. 详见La Diega（2018）, para 31 ff.

77. Porter（1995）.

78. Kitchin（2017）, p.18.

79. Montfort et al.（2012）, p.3.

80. Pasquale（2017）, p.5.

81. La Diega（2018）, para 18.

82. Kitchin（2017）, p.18.

83. Weizenbaum（1976）, p.115.

84. Hoffmann-Riem（2017）, p.31；参见本书威施迈耶文章的第3段及以下。

85. https://www.dictionary.com/browse/rule-of-law.

86. Hildebrandt（2015）, p.10.

87. La Diega（2018）.

88. State of Wisconsin v. Eric Loomis, 7. 881 N.W.2d 749（Wis. 2016）.

89. Eric Loomis v. State of Wisconsin No.16-6387.

90. La Diega（2018）, para 117.

91. Martini（2017）, p.1018.

92. Hoffmann-Riem（2017）, p.36.

93. 参见本书马奇的文章和本书拉德马赫文章的第15—18段。

94. Bundesverfassungsgericht 1 BvR 209, 269/83 “Volkszählung”（15 October 1983）, BVerfGE65, p.1.

95. 亦可参见本书马奇文章的第20—28段。

96. 参见本书威施迈耶文章的第3段及以下。

97. Altman（2015）.

98. Goodman and Flaxman（2017）.

99. 参见本书蒂斯比克文章的3—13段。

100. Angwin et al.（2016）.

101. Dressel and Farid（2018）.

102. Goodman and Flaxman（2017）.

103. La Diega（2018）, para 116.

104. Martini（2017）, p.1018.

105. 参见本书蒂斯比克文章的第25段。

106. Scherzberg（2004）, p.226.

107. Hildebrandt（2017）, p.308.

108. See Hartzog（2018）, pp.8, 21 et seq.

109. Hartzog（2018）, pp.5 et seq.

110. Hartzog（2018）, pp.11—12.

111. See also Hartzog（2018）, pp.86 et seq.

112. Hartzog（2018）, p.6.

113. Wischmeyer（2018）, p.22.

114. Kuner（2012）, p.1.

115. Martini（2017）, p.1020；参见本书威施迈耶文章的第46段。

116. Article 29 Data Protection Working Party（2018）, p.21.

117. Article 29 Data Protection Working Party（2018）, pp.9—10.

118. Article 29 Data Protection Working Party（2018）, p.10.

119. Hoffmann-Riem（2017）, p.36.

120. Martini（2017）, p.1020；参见本书威施迈耶文章的第25段。

121. Mayer-Schönberger and Cukier（2013）, pp.179 et seq.

122. Martini（2017）, p.1020.

123. Martini（2017）, p.1021.

124. Martini（2017）, p.1021.

125. Stevens（2017）；参见本书威施迈耶文章的第41段。

126. Goodman and Flaxman（2017）.

127. Shackelford and Raymond（2014）, p.633.

128. Dreyfus and Dreyfus（1986）, p.XV.

129. Martini（2017）, p.1021.

130. Blind（2012）, p.391; Martini（2017）, p.1025.

131. Hildebrandt（2017）, p.311.

132. Medina（2015）, p.1018.

133. Medina（2015）, p.1018.

134. Medina（2015）, p.1018.

135. See Hartzog（2018）, p.9.

本章参考文献

1. Aletras N, Tsarapatsanis D, Preoţiuc-Pietro D, Lampos V（2016）Predicting judicial decisions of the European Court of Human Rights: a natural language processing perspective. Peer J Comp Sci2:e93. https://doi.org/10.7717/peerj-cs.93.

2. Altman A（2015）Discrimination. In: Zalta EN（ed）The Stanford encyclopedia of philosophy. Stanford University, Stanford. Winter 2016 edn. plato.stanford.edu/archives/win2016/entries/discrimination. Accessed 4 Oct 2018.

3. Angwin J, Larson J, Mattu S, Kirchner L（2016）Machine bias. ProPublica, New York. www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. Accessed 4 Oct 2018.

4. Article 29 Data Protection Working Party（2018）Guidelines on automated individual decisionmaking and Profiling for the purposes of Regulation 2016/679, 17/EN, WP251rev.01, adopted on 3 October 2017, as last revised and adopted on 6 February 2018.

5. Becker C（2014）Was bleibt? Recht und Postmoderne. Nomos, Baden-Baden.

6. Blind K（2012）The influence of regulations on innovation: a quantitative assessment for OECD countries. Res Policy 41:391—400.

7. Boehme-Neßler V（2017）Die Macht der Algorithmen und die Ohnmacht des Rechts. Neue Juristische Wochenschrift 42:3031—3037.

8. Bostrom N（2014）Superintelligence—paths, dangers, strategies. Oxford University Press, Oxford.

9. Bryde BO（2015）Richterrecht und Gesetzesbindung. Sozialrecht 5:128—132.

10. Buchholtz G（2017）Legal Tech—Chancen und Risiken der digitalen Rechtsanwendung. Juristische Schulung 2017:955—960.

11. Bydlinski F（1982）Juristische Methodenlehre und Rechtsbegriff. Springer, Wien.

12. Chowdhry A（2016）Law Firm BakerHostetler hires a “digital attorney” namend Ross. Forbes, New York. www.forbes.com/sites/amitchowdhry/2016/05/17/law-firm-bakerhostetler-hires-adigital-attorney-named-ross. Accessed 4 Oct 2018.

13. Dressel J, Farid H（2018）The accuracy, fairness, and limits of predicting recidivism. Sci Adv 4（1）:eaao5580. https://doi.org/10.1126/sciadv.aao5580.

14. Dreyfus H, Dreyfus SE（1986）Mind over machine. Free Press, New York.

15. Ehlers D（2015）Verwaltungsrecht. In: Ehlers D, Pünder H（eds）Allgemeines Verwaltungsrecht, 15th edn. De Gruyter, Berlin, § 3.

16. Eidenmüller H（2017）The rise of robots and the law of humans. ZeuP 2017:765—777.

17. Eisenstein EL（2005）The printing revolution in early modern Europe. Cambridge University Press, Cambridge.

18. Engel M（2014）Algorithmisierte Rechtsfindung als juristische Arbeitshilfe. JuristenZeitung 69:1096—1100.

19. Frese Y（2015）Recht im zweiten Maschinenzeitalter. Neue Juristische Wochenschrift 68:2090—2092.

20. Gartner IT Glossary（2018）“Big Data”. www.gartner.com/it-glossary/big-data. Accessed 4 Oct 2018.

21. Goertzel B（2015）Superintelligence: fears, promises and potentials. J Evol Technol 24（2）:55—87.

22. Goethe JW（2008）Das Göttliche. Fischer, Frankfurt am Main, pp.258—258.

23. Goodman B, Flaxman S（2017）European Union regulations on algorithmic decision-making and a “Right to Explanation”. AI Magazine 38（3）:50—57. https://doi.org/10.1609/aimag.v38i3.2741.

24. Goody J（1986）The logic of writing and the Organization of Society. Cambridge University Press, Cambridge.

25. Government Office for Science（UK）（2016）Artificial intelligence: opportunities and implications for the future of decision making. assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/566075/gs-16-19-artificial-intelligence-ai-report.pdf. Accessed 4 Oct 2018.

26. Großfeld T（1985）Sprache, Recht, Demokratie. Neue Juristische Wochenschrift 28:1577—1586.

27. Grupp M（2014）Legal Tech—Impulse für Streitbeilegung und Rechtsdienstleistung. Anwaltsblatt 2014:660—665.

28. Hartzog W（2018）Privacy's blueprint. Harvard University Press, Cambridge.

29. Hildebrandt M（2015）Smart technologies and the End（s）of Law, novel entanglements of law and technology. Edward Elgar Publishing, Cheltenham.

30. Hildebrandt M（2017）Saved by design? The case of legal protection by design. Nanoethics 11:307—311.

31. Hildebrandt M（2018）Law as computation in the Era of artificial legal intelligence. Speaking law to the power of statistics. Toronto Law J 68:12—35.

32. Hoffmann-Riem W（2016a）Innovation und Recht—Recht und Innovation. Mohr Siebeck, Tübingen.

33. Hoffmann-Riem W（2016b）Außerjuridisches Wissen, Alltagstheorien und Heuristiken im Verwaltungsrecht. Die Verwaltung 49:1—23.

34. Hoffmann-Riem W（2017）Verhaltenssteuerung durch Algorithmen—Eine Herausforderung für das Recht. Archiv des öffentlichen Rechts 142:1—42.

35. Isensee J（1990）Unsere Sprache: Die Sicht des Juristen. In: Großfeld B（ed）Unsere Sprache. VS Verlag für Sozialwissenschaften, Wiesbaden, pp.52—78.

36. Jandach T（1993）Juristische Expertensysteme. Springer, Berlin.

37. Kitchin R（2017）Thinking critically about and researching algorithms. Inf Commun Soc 20（1）:14—29.

38. Kleinberg J, Lakkaraju H, Leskovec J, Ludwig J, Mullainathan S（2017）Human decisions and machine predictions, National Bureau of economic research. Working Paper 23180. www.nber.org/papers/w23180. Accessed 4 Oct 2018.

39. Kotsoglou KN（2014）Subsumtionsautomat 2.0 reloaded?—Zur Unmöglichkeit der Rechtsprüfung durch Laien. Juristenzeitung 69:1100—1103.

40. Kotzur M（2014）Thematik des Verfassungsgesetzes. In: Isensee J, Kirchhof P（eds）Handbuch des Staatsrechts XII, 3rd edn. Müller, Heidelberg, §260.

41. Kranzberg M（1986）Technology and history: Kranzberg's Laws. Technol Cult 27（3）:544—560.

42. Kuner C（2012）The European Commission's proposed data protection regulation: a Copernican revolution in European data protection law. Bloomberg BNA Privacy and Security Law Report, pp.1—15.

43. La Diega GN（2018）Against the dehumanisation of decision-making—algorithmic decisions at the crossroads of intellectual property, data protection, and freedom of information. J Inellect Prop Inf Technol Electron Commerce Law 9（1）:3—34.

44. Legal Technology Journal, Smart Contracts（2017）Von der Smart Factory zum Smart Contract.legal-technology.net/von-smart-factory-zu-smart-contract. Accessed 4 Oct 2018.

45. Lessing L（2006）Code: and other law of cyberspace, Version 2.0. Basic Books, New York.

46. Mainzer K（2016）Künstliche Intelligenz—wann übernehmen die Maschinen? Springer, Heidelberg.

47. Martini M（2017）Algorithmen als Herausforderung für die Rechtsordnung. JuristenZeitung 72:1017—1072.

48. Mayer-Schönberger V, Cukier K（2013）Big data. John Murray, London.

49. Medina E（2015）Rethinking algorithmic regulation. Kybernetes 44:1005—1019. https://doi.org/10.1108/K-02-2015-0052.

50. Montfort N, Baudoin P, Bell J, Bogost I, Douglass J, Marino MC, Mateas M, Reas C, Sample M, Vawter N（2012）10 PRINT CHR$（205.5 + RND（1））; : GOTO 10. MIT Press, Cambridge, MA.

51. O'Hara K（2017）Smart contracts—dumb idea. IEEE Internet Comput 21（2）:97—101. https://doi.org/10.1109/MIC.2017.48.

52. Ong WJ（1982）Orality and literacy: the technologizing of the word. Routledge, London.

53. Pasquale F（2017）Secret algorithms threaten the rule of law. MIT Technology Review. www.technologyreview.com/s/608011/secret-algorithms-threaten-the-rule-of-law. Accessed 4 Oct 2018.

54. Pfeifer J（2018）The data-driven lawyer and the future of legal technology. www.lawtechnologytoday.org/2018/01/the-data-driven-lawyer. Accessed 4 Oct 2018.

55. Porter TM（1995）Trust in numbers: the pursuit of objectivity in science and public life. Princeton University Press, Princeton.

56. Rademacher T（2017）Predictive Policing im deutschen Polizeirecht. Archiv des öffentlichen Rechts 142:366—416.

57. Riehm T（2006）Abwägungsentscheidungen in der praktischen Rechtsanwendung. Beck, München.

58. Scherzberg A（2004）Risikosteuerung durch Verwaltungsrecht—Ermöglichung oder Begrenzung von Innovationen. Vereinigung der deutschen Staatsrechtslehrer 63:214—263.

59. Schmidt（2016）Programmierung, Dokumentation und Test von Software. In: Auer-Reinsdorff A, Conrad I（eds）Handbuch für IT- und Datenschutzrecht, 3rd edn. Beck, München, §1.

60. Shackelford SJ, Raymond AH（2014）Building the virtual courthouse: ethical considerations for design, implementation, and regulation in the World of ODR. Wisconsin Law Rev 3:615—657.

61. Sharma S, Mishra P, Mittal M（2018）S-Array: high scalable parallel sorting algorithm. In: Mittal M, Balas VE, Hemanth DJ, Kumar R（eds）Data intensive computing applications for big data. IOS Press BV, Amsterdam.

62. Society for the Study of Artificial Intelligence and Simulation of Behaviour（2011）What is artificial intelligence? www.aisb.org.uk/public-engagement/what-isai. Accessed 4 Oct 2018.

63. Stevens Y（2017）The promises and perils of artificial intelligence: why human rights and the rule of law matter. medium.com/@ystvns/the-promises-and-perils-of-artificial-intelligence-whyhuman-rights-norms-and-the-rule-of-law-40c57338e806. Accessed 4 Oct 2018.

64. Stiemerling O（2015）Künstliche Intelligenz—Automatisierung geistiger Arbeit, Big Data und das Internet der Dinge. Computer und Recht 31（12）:762—765.

65. Susskind R（2013）Tomorrow's Lawyers: an introduction to your future. Oxford University Press, Oxford.

66. Szabo N（1994）Smart contracts. www.fon.hum.uva.nl/rob/Courses/InformationInSpeech/CDROM/Literature/LOTwinterschool2006/szabo.best.vwh.net/smart.contracts.html. Accessed 4 Oct 2018.

67. Tobschall D, Kempe J（2017）Der Deutsche Legal-Tech-Markt. Neue Juristische Wochenschrift—Sonderheft: Innovationen & Legal Tech, pp.10—13.

68. Wagner J（2018）Legal Tech und Legal Robots: Der Wandel im Rechtsmarkt durch neue Technologien und künstliche Intelligenz. Springer, Wiesbaden.

69. Weber M（2002）Wirtschaft und Gesellschaft, 5th edn. Mohr Siebeck, Tübingen Weizenbaum J（1976）Computer power and human reason: from judgement to calculation. W. H.Freeman & Co, Oxford.

70. Wischmeyer T（2018）Regulierung intelligenter Systeme. Archiv des öffentlichen Rechts 143:1—66.

(1)　作者为汉堡法学院助理研究员。

(2)　译者为华东政法大学法律学院特聘副研究员。