我们需要以人为本的技术,既能提高生产力,又能带来更高的投资回报率。
借助嵌入数据标注流程的机器学习辅助技术,您可以减少所需的时间、资金和人力。
有许多方法可以防止标注人员受模型预测结果的影响而产生偏见。
在传统机器学习(ML)方法下,人工需要逐行标注所需的每一条数据,这项任务往往耗时且成本高昂;成功的人工智能(AI)模型需要数千乃至数百万条经过准确标注的训练数据。
随着我们不断改进人工智能的研发方法,这种高度依赖人工的做法越来越值得商榷。
既然我们已掌握多个最先进的预标注模型,当务之急是将其用于改进端到端人工智能部署周期中的流程。这些模型包括用于自动驾驶汽车图像像素标注的预标注、用于图像和文档转录的预标注、用于音频分割的预标注,以及其他若干预标注或分类模型。在推进工具建设时,我们需要投资于一类特定的以人为本的技术:既能提高生产力,又能带来更高投资回报率的技术。
以人为本的技术将操作人员视为资产,而非阻碍。它认可操作人员的技能、知识、灵活性和创造力的价值。
优化以人为本技术,我们的目标应有两方面:在不牺牲质量的前提下,打造更快、更高效的人工智能流程;同时通过减轻标注任务中往往重复且令人精疲力竭的人工负担,推动对标注人员的公平对待。视频标注通常需要对视频的各个帧进行标注,相邻帧之间的标注变化非常细微。例如,一段汽车行驶在道路上的视频会被拆分为多个帧,每辆车都需要单独标注。即便是很短的视频,帧数也很多,若逐一手工完成,这类标注将极为耗时。借助机器学习,我们可以将标注过程自动化:把标注预测结果即时应用到各帧上,标注人员只需按需调整,而无需从头逐一创建标注。
机器学习辅助工具是我们迈向以人为本技术这一努力的基石。借助嵌入数据标注流程的机器学习辅助技术,您可以减少模型构建这一关键步骤所需的时间、资金和人力。
它还为实现数据标注的自动化、提升数据标注质量与交付效率提供了机会。在这一方法中(Appen 将其称为“智能标注”),在作业完成之前、期间和之后均存在关键接触点。
接触点一:作业开始前
在运行标注作业之前,您可以利用预训练或可训练模型,为数据标签提供初始假设。与人工从零开始添加标签的标注流程不同,您的标注人员只需检查假设的准确性。
例如,如果您正在进行图像标注作业,以识别道路上的汽车,可以使用预训练模型对这些目标对象或汽车进行预分类。
根据您的使用场景,各类模型可完成特定任务,范围从过滤露骨内容到模糊个人信息,再到为对象添加边界框。利用现有模型提供初始数据标签,可通过自动完成部分标注流程来节省时间和资金。准确性取决于您所选模型或模型组合。
您或许会问:我们如何防止标注人员受模型预测结果的影响而产生偏见?
事实上,我们通过为多个标注项目开展大规模 A/B 测试对此进行了验证,结果恰恰相反:预标注数据提高了标签质量。换言之,在交由标注人员完成最终标注之前,由机器学习模型完成初始标签或标注的数据,其标签质量高于未经初始标注的数据。
在一个面向自动驾驶汽车的图像像素标注项目中,使用机器学习模型进行初始标注,在我们所有试验中使标注人员的生产力提高了 91.5%,标注质量提高了 10%。
如果您的团队仍对偏见问题有所顾虑,在流程的后两个阶段还有进一步的缓解机会。

接触点二:作业期间
进入作业后,您可以利用机器学习模型辅助人工判断。例如,如果您的作业包含视频标注,人工流程可能如下:将视频拆分为逐帧序列,标注人员在每一帧中标注每个目标对象。
以每秒 24 帧的标准帧率计算,这项标注任务很快就会变得繁重且重复。改用机器学习辅助技术,标注人员只需标注一次目标对象,模型即可在后续帧中追踪并预测其位置。沿用道路汽车的示例,标注人员只需在第一帧中标注每辆汽车,模型便会追踪其位置,从而标注其余各帧中的汽车。
随后,标注人员转为审核员,对其余各帧进行审核,并视需要加以修正。
在作业期间借助机器学习辅助技术,标注人员能够更快速、更准确地工作。采用这一方法,标注速度可比人工方法快至 100 倍,且不牺牲质量。这一优势也惠及标注人员:该方法减轻了认知负担,提升了整个任务过程中的舒适度。

最后的接触点:作业完成后
模型和标注人员对您的数据作出判断后,您便可进入验证阶段。在此步骤中,您可以使用机器学习模型核实所作判断,并在标注人员的输入未达到预期质量阈值时通知其。
这一方法有几项显著优势。尤其值得一提的是,它无需设置测试题或同行评审,还能降低您为不符合要求的判断付费的风险。模型验证完成后,标注人员即可提交作业。
我们不仅需要投资于人工智能解决方案,还需要改进支撑这些方案的流程。
Wilson Pang
例如,如果您有一个文本话语项目,可以将机器学习辅助验证工具与相关指标(如连贯性或语言)结合使用。对于这些指标,模型会标记所有不符合您准确性要求的数据标签。
随后,人工标注人员对标签进行审核与修正。Appen 在一个涉及聊天机器人训练的文本话语项目中测试了机器学习辅助验证工具。我们发现,使用实时模型后,错误率降低了 35%。

“问题不仅在于人工智能,更在于更好的人工智能流程”
将机器学习与以人为本技术形式的人工投入相结合,是人工智能创新的必由之路。
数据标注流程中的机器学习辅助功能同时惠及企业和标注人员:企业可以减少在推出高质量人工智能解决方案时所需投入的资源,并且推进得更快;标注人员则可以从事心理压力更小、重复性更低的工作。后者对于促进所有参与人工智能项目的人员实现公平的人工智能实践尤为重要。
我们不仅需要投资于人工智能解决方案,还需要改进支撑这些方案的流程。这样一来,我们便能推进伦理人工智能的发展路径,并加快以机器驱动的解决方案应对全球性问题的步伐。
人工智能并非只能依赖机器或人类单方面的力量;相反,两者的结合能够相互增强各自的优势,促成更成功的成果。


