为什么银行需要为机器人失控做好准备

SoftBank's robots 'pepper', dressed in different bank uniforms, are displayed during a news conference in Taipei, Taiwan July 25, 2016. REUTERS/Tyrone Siu - D1BETROXIJAA
Risks could spiral if a machine started making inappropriate investment recommendations.Image: REUTERS/Tyrone Siu
本内容由人工智能自动翻译。

银行正陆续推出机器学习应用,处理各种过去由人类负责的任务,从客户服务到自动化投资选股。但如果机器人失控,银行准备好收拾残局了吗?

金融服务公司已有完善的机制来监督人类的不当行为,近年来还扩大了这些机制的适用范围,将社交媒体和其他新技术纳入其中;但机器失范则是另一回事。在合规、风险管理、人力资源和技术的交汇处,机器行为管理在大多数银行的组织架构中都没有明确的归属。

如果银行希望充分挖掘机器学习应用的巨大潜力,这种情况就需要改变。正确使用这些技术,银行及其客户都能从中获益良多。机器学习应用可以带来更深入的客户洞察和更优解决方案,并提高整个公司的效率,涵盖客户界面到后台职能的各个环节。

Image: 埃森哲

但银行也需要像严格审查求职者的背景、道德操守和适配度一样,严谨审视机器学习应用的伦理影响。一个失控的机器人可能损害银行声誉,并可能减少收入。机器失范纯粹是数字现象,问题往往会瞬间扩散,引发连锁反应,对机构和客户造成大规模影响。

即使是科技巨头,在机器学习领域也曾遭遇挫折。苹果的 Siri 搜索工具最近以不恰当的方式解释了“母亲”一词,而谷歌的照片应用则犯下了种族歧视错误。

那么,银行如何才能加强机器风险管理,同时推动创新并充分发挥机器学习的巨大潜力?

首先,银行需要为机器学习工作制定健全的机器开发和数据治理标准。第一步是盘点公司各处运行的所有此类应用。在许多银行,各个团队各自独立地推出新应用。银行需要从全公司层面掌握整体情况。

接下来,银行必须深入审视数据。银行已经深入了解每天流入和流出的市场及其他数据,但机器学习应用正引入大量新类型的社交媒体数据和客户界面数据,需要对其进行编目和监测。这些新型数据需要接受与交易及其他金融数据同等水平的治理。个人或团队必须严格筛查,排除任何可能使机器学习应用的结果产生偏差的因素。

推出新应用前,应经过审查和审批流程,兼顾全公司妥善管理风险的需要与促进创新的需要。每个应用都可能向生态系统引入新数据和决策,从而损害其他职能。

银行还必须为机器故障确立问责机制。银行早已设有针对员工的长期流程:人力资源部门负责规范行为及其他伦理事项;合规部门确保遵守公司规定和监管规则;行为管理团队负责规范与客户的互动;风险团队则确保所售产品不会使公司陷入危险。

同样,银行需要为机器学习应用建立分类体系,明确各类机器的治理和风险管理角色、责任及流程;如果某种机器可能失控,例如新机器开始向客户提出不恰当的投资建议,风险就可能不断升级。届时,责任可能被推给技术团队,而技术团队又可能把责任推给销售团队或模型风险管理团队。合规部门等其他部门也可能完全不介入。

为确保银行能够妥善应对,必须提升各治理职能的技术专长水平,从风险管理到合规和人力资源部门皆是如此。银行需要在这些领域增聘数据科学家和其他技术专家,以便提出恰当的问题,并开展有依据的监督。

最后,机器学习用于决策会涉及伦理考量,高级管理层需要积极参与制定相关框架。

机器学习应用能够帮助银行以新的方式为客户、员工、股东和社会创造价值。但银行必须了解机器学习的风险,并迅速、有系统地加以应对。缺乏适当治理,用不了多久,机器学习灾难就可能发生,并造成重大的伦理、法律和财务后果。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。