从澳大利亚政府针对接受福利者开展药物检测的新“数据驱动画像”试点，到美国执法部门使用面部识别技术，以及美国许多法院在量刑中部署专有软件……几乎悄无声息，也鲜少引发抗议，技术正在改变我们受到监管、作为公民被分类乃至或许很快被治理的方式。
我们才刚刚进入所谓算法监管的初期阶段——智能机器运用大数据、机器学习和人工智能（AI）来规范人类行为、执行法律——但这已经对普通公民与国家之间的关系产生了深远影响。
此外，此类技术的兴起，恰逢西方世界大部分地区对政府的信任跌至历史最低点之时。在许多发达国家，选民越来越认为建制派政客及其周围的人脱离现实、困在自己的小圈子里，并通过选票表达不满。
技术解决方案
在这种动荡的政治气候下，越来越多人觉得技术可以提供另一种解决方案。算法监管的倡导者声称，随着机器学习能力不断提升，以及机器筛选和解读日益庞大（往往由智能手机生成的）数据流的能力不断增强，许多由人类制定的法律和法规可以由人工智能实时、更加妥善且迅速地执行。
人工智能的倡导者还认为，根据历史趋势和人类行为，算法很快或许就能塑造我们日常生活的方方面面：从我们作为驾驶员的行为，到我们作为公民的责任与权利，再到我们因违法而应受的惩罚。事实上，无须把目光投向太遥远的未来，就能想象这样一个世界：人工智能能够自主制定法律，在社会问题出现之前预测并加以防范。
有人可能会把这称作民主重启。在我看来，这无异于对民主本身的威胁，我们应当保持高度怀疑。将算法引入政策领域存在五个主要问题：
1）自我强化的偏见
机器学习和人工智能（总体而言）的强项，与人类不同，在于实时分析数百万个数据点、识别趋势，并据此给出“如果这样，那么就那样”的结论。其固有问题在于，这会带来自我强化的偏见，因为它假设过去发生的事将会重演。
以犯罪数据为例。与富裕的白人社区相比，收入较低、以黑人和少数族裔为主的社区更容易受到犯罪和反社会行为的侵扰。如果再用算法来影响法律制定，这些社区必然会被列为重点巡逻区域，从而增加对峙和逮捕的可能性。
当然，这会把人们对某个地区高犯罪率的合理担忧变成自我应验的预言。如果你是出生在这类目标社区的孩子，摆脱原有环境的机会就会越来越渺茫。
这种情况当然已经发生。预测性警务自2010年代初以来一直在美国各地使用，却持续受到批评，被指存在缺陷且容易受到根深蒂固的种族偏见影响。预测性警务能否持续减少犯罪，仍有待证明。
2）容易受到攻击
人工智能塑造法律带来的第二个问题同样重要，那就是安全。几乎所有大型企业、政府机构和部门——包括美国司法部——都很可能曾遭到过网络入侵，主要原因是这些组织在数据安全方面往往远远落后于黑客。委婉地说，政府不太可能有能力保护算法免受攻击者侵害；而算法通常又是“黑箱”，我们是否能够发现算法遭到篡改，以及何时被篡改，也并不清楚。
美国近期围绕俄罗斯据称入侵民主党全国委员会的争论就是一个例子。据报道，这次入侵帮助了唐纳德·特朗普竞选总统。同样，考虑到将政府和司法权力移交给机器所需编写代码的复杂程度，以及我们对软件的一切了解，几乎可以肯定，这类代码会充斥漏洞。
3）谁在拍板？
利益冲突也是一个问题。警务和监管所用的软件当然不是由政府开发的，而是由私营企业开发，其中往往包括科技跨国公司。这些公司已经向政府提供软件，通常有着非常明确的专有利益，而且经常与政府存在不透明的联系。
这类合作也引发了算法透明度方面的疑问。鉴于算法对人们生活的影响，这是一个重大关切。我们生活在这样一个世界里：政府数据正日益向公众开放。这是一项公共利益，我对此大力支持。
然而，从这波免费数据浪潮中获益最多的公司却奉行双重标准：政府提供数据时，它们强烈主张数据免费开放；但它们会竭尽全力确保自己的程序和数据仍属专有。
4）政府有能力应对吗？
接下来是政府在数字事务方面的能力问题。以我的经验来看，绝大多数政客对技术的局限几乎一无所知，不清楚技术能做什么、不能做什么。政客连这一领域的基本原理都不了解，更不用说其中的复杂细节，因此无法充分监管那些将开发相关软件的软件公司。
如果他们无法理解后门与加密为何不能并存，就很可能也无法在认知上跨越到另一个层次，理解算法监管需要什么——而算法监管的复杂程度还要高出许多层。
同样，英国和法国政府正在制定的法规不断扩大国家获取公民数据的权限，这表明它们并不理解建立此类数据库所造成风险的规模。下一起丑闻爆发、揭露政府大规模越权，肯定只是时间问题。
5）算法不懂变通
与此同时，硅谷或许抱有一种自负的态度，认为技术几乎可以解决所有有意义的问题。人工智能监管方式的最后一个问题，正是这种态度的体现：它假设每个问题都有一个最优解。
然而，要解决看似无解的社会问题，需要耐心、妥协，尤其需要协调各方。以加利福尼亚的缺水问题为例。这是一场不同诉求之间的角力：农业与普通民众之间的角力；一方主张减少用水以应对气候变化，另一方则认为全球变暖并非生存威胁。算法真的能在这些各方之间进行协调吗？从宏观层面看，它能否决定应由谁承担应对气候变化的最大责任：最初造成问题的发达国家，还是认为如今轮到自己实现现代化、而这意味着仍将低效使用能源的发展中国家？
我想说的是，算法虽然擅长处理黑白分明的问题，却不善于应对不断变化的灰色地带、细微差别和权衡取舍，也不擅长衡量哲学价值或争取来之不易的让步。我们或许能够构建算法来实施和管理某种社会制度，但在此之前，必然需要先就我们想要什么样的社会达成共识。
那么，当这个社会周期性地经历根本变化（无论迅速还是渐进）时，会发生什么？想象一下，如果算法是在奴隶制盛行、同性恋不被接受、女性没有投票权的年代构建的，又会怎样。当然，这正是我们选举政府的原因：让政府依据选民多数认同的愿景，而非历史趋势来作出决策，而这些愿景往往经过妥协打磨。
公民社会要做的许多工作，就是不断形成共识，持续调整我们希望过怎样的生活。这不是我们能够完全外包给智能机器的事情。
设定一些基本规则
尽管存在种种问题，人工智能驱动的某种形式政府终将出现，这一点几乎毋庸置疑。那么，我们怎样才能避免它变成糟糕科幻小说里的情节？
首先，我们应该利用人工智能探索积极的替代方案，而不只是用它来支持传统方式，以应对社会认为存在的问题。与其只是为了保护公众，更快地找出罪犯并把他们送进监狱，何不利用人工智能来评估其他潜在解决方案的成效？为年轻成年人提供读写、计算及其他技能培训，很可能比更严厉的执法更能有效打击犯罪，而且成本效益也高得多。
此外，为了避免根据人们的过往经历、基因和居住地给他们贴上污名，人工智能应始终用于人口整体层面，而非个人层面。对于潜在雇主、医疗保险公司、信用卡公司和抵押贷款机构更隐蔽、却更普遍的数据驱动定向，同样如此。人工智能分类的商业动机显而易见，但一旦针对个人，就等于进行画像，其必然结果是让整个社会群体失去机会。
当然，并非所有公司都会利用数据损害客户利益。2015年，哈佛商学院的一项研究以及爱彼迎随后开展的审查发现，使用共享住宿平台的黑人和少数族裔租客经常遭遇偏见之后，爱彼迎高管采取了措施来遏制这一问题。但爱彼迎原本可以完全避免这项研究及后续审查，因为如果真正巧妙地将人工智能算法应用于平台数据，就能更早发现歧视，或许还能提出防止歧视的方法。这种做法利用技术来辅助人类作出更好的决策，而不是取代人类决策者。
要在公共部门实现这一做法的潜力，政府需要制定一套方法，首先围绕部署算法所期望达成的结果展开讨论，以便我们了解并商定，究竟要依据什么来衡量算法的表现。
其次——政客需要在这方面补上功课——必须针对算法应用的每个案例，实时、持续地提供算法表现数据，以便算法能够不断调整，反映情况和需求的变化。
第三，任何依据人工智能应用结果提出的法规或法律草案，在正式立法之前，都应与传统的人类处理方式进行严格比较测试。
最后，任何利用公共部门数据来强化或改进自身算法的营利性公司，都应与政府分享未来收益，或者同意作出安排，让该算法先由政府租用，最终归政府所有。
毫无疑问，算法监管即将到来。但要将人工智能更广泛地引入政府，需要谨慎管理，确保以正确的方式将其用于正确的目的——改善社会。否则，就可能引发意料之外的后果，造成混乱，最终甚至危及民主本身。
