AI领域的语言多样性鸿沟可能使数十亿人被排除在数字经济之外，目前大多数系统仅基于全球7,000多种语言中的100种进行训练。
新兴举措正在展示语言多样化的AI在推动创新与包容方面的潜力。
未来的AI必须是多元的，领导者们在可持续发展影响力会议于本周在纽约举行。
到2050年，全球超过三分之一的青年将居住在非洲。但他们能否平等地参与数字经济？
目前，在全球互联网使用的前34种语言中，没有一种是非洲语言。自然语言处理（NLP）、大型语言模型（LLMS）和人工智能（AI）研究等领域的进展也仍在持续，但缺乏充分的代表性的非洲语言。
“这既是挑战，也是最大的机遇之一，”第四次工业革命卢旺达中心董事总经理Crystal Rugege在提及非洲大陆丰富的语言多样性以及当前AI系统无法服务于这种多样性时表示：“我们或许无法拥有能够使用1,400种方言交互的应用，但我们肯定应当能够服务于大多数人口。这一市场还可以成为世界的数字劳动力，我们应当营造有利的环境。”
AI领域的这一语言鸿沟不仅是非洲问题，更是具有深远影响的全球性挑战。
AI中的语言鸿沟：一个日益严重的问题？
世界上有7,000多种语言，然而大多数AI聊天机器人仅基于其中约100种进行训练。AI的“第一语言”被认为是英语，这并不令人意外，因为确实存在更多网上可用的英语语言数据可供抓取并用于训练模型。
尽管全球只有不到20%的人口使用英语，但AI领域对英语的语言集中趋势似乎正在加深：一些经训练以其他语言回应提示的生成式AI模型，现在以英语“思考”。与此相对的是“高资源语言”，而不同的“低资源”或服务不足的语言正因缺乏支撑这些AI系统的优质数据集、工具和技术而落后。
但AI领域的语言多样性挑战不仅仅是技术问题，它也是重塑数字格局、推动经济增长、确保AI益处真正惠及全球的机遇。
若放任不管，这意味着那些已经难以利用现有AI系统、且还面临互联网服务接入不足、计算能力有限以及缺乏行业训练资源等额外挑战的群体和国家，“可能会进一步落后”，正如世界经济论坛人工智能、数据与元宇宙负责人Cathy Li，指出。
应对这一问题的早期努力
从印度、北美到非洲国家，全球已出现一些应用案例，展示了投资于AI以多种语言工作能力的价值。
例如，在卢旺达，语言多样化的AI正助力社区卫生工作者跨越这些语言障碍提供服务。Crystal Rugege表示，该国约有70,000名此类一线工作者不使用英语交流，他们常常需要判断人们是否需要更紧急的救治。
“我们构建了一个兼具语音和文本功能的翻译模型，因此他们可以与之互动，并判断某人是否头痛、是否咳嗽。”她解释说，使用OpenAI的ChatGPT 4.0，她解释说，在与患者互动的试验中，他们达到了71%的准确率。这意味着，由于语言多样性是此AI应用的一项功能而非事后补充，更多人因疾病得到了治疗。
但她表示，同样重要的考量是建立适当的防护机制，确保人们的权利受到保护、技术得到负责任的使用。“数据是AI的氧气……[确保]人们有权自主决定其数据如何被使用，是必须嵌入其中的基本原则；除此之外，还需确保出台相关政策和法律以激发创新。”
开源AI与合作伙伴关系提供解决方案
Meta副总裁兼首席AI科学家Yann LeCun在世界经济论坛于纽约举办的可持续发展影响力会议（SDIM）上发言时，还以塞内加尔新兴的数字医疗措施作为另一例证。
“在塞内加尔，尤其是在农村地区，很难预约到医生，”他说。他表示，像Kera Health这样由AI驱动的平台，让人们“现在可以与AI助手交谈来解决这一问题。但它必须能说沃洛夫语，此外还要能说法语以及塞内加尔其他三种官方语言。”
LeCun表示，要取得更大进展有两大主要推动力。第一是开源AI——“我们需要的是一个非常简单的开放基础设施——可以把它看作是‘AI领域的维基百科’——从而让人们能够构建对当地人群有用的系统。”
第二是能够推动变革的合作伙伴关系。“例如，Meta与印度政府之间存在一项合作，使得Meta未来的开源大语言模型（称为LLaMA）至少能够使用印度的全部22种官方语言，或许还能使用数百种地方语言和方言。”
他还看到了将这一机遇延伸到实体空间的前景，未来，眼镜等设备将能够在两种不同语言的使用者之间提供同声翻译。“硬件的未来将是智能眼镜之类的产品……它让人们能够用各自的语言进行交流，”他说。
“我们正开始拥有能够翻译非书面语言的系统……因此，在语音到语音方面，我们可以实现文本到文本、文本到语音、语音到文本以及语音到语音的翻译，包括对许多没有文字的语言。”
专注于改进低资源或代表性不足语言自然语言处理的研究员Pascale Fung表示，我们应当致力于构建能够促进低资源与高资源语言群体之间交流的系统。“对于大语言模型而言，这意味着收集低资源语言的额外数据，对模型进行微调，使其表现与英语模型处于同一水平。”
迈向“多元的未来”
目前正在推进促进数据（包括语言数据）顺畅交换的工作。例如，欧洲委员会的语言技术联盟（ALT-EDIC）将致力于解决欧洲语言数据在AI解决方案训练中短缺的问题，并支持欧洲大语言模型的开发。
阿拉伯联合酋长国（UAE）等其他国家已“开发并输出”新的大语言模型（LLM）如NANDA，这些模型将专门服务于印地语用户，同时积极在全球推广其开源大语言模型“Falcon”。“我们也在做的一件事是跨地域合作，探索如何定制Falcon，以满足那些无力自建大型模型的政府的需求，”阿联酋人工智能、数字经济与远程办公应用国务部长Omar Sultan Al Olama说。
世界经济论坛的AI治理联盟汇聚了多元利益相关方，对于在全球构建更加公平、负责任的AI生态系统至关重要。其中，包容性AI工作流尤其致力于推动尊重并考虑所有人需求的包容性AI开发。它还在开发公私合作框架，同时着力凸显和推广支持人类与地球目标的AI应用。
世界经济论坛如何为人工智能建立防护机制？
人工智能卓越中心汇聚各行业领袖，帮助理解人工智能的快速演进及其对经济和社会的影响。它支持就AI应用相关的机遇、风险和权衡进行知情对话。
通过值得信赖的平台和合作举措，该中心使合作伙伴能够建立共识，并共同推动负责任的AI创新与应用方法。
Meta的LeCun强调，未来必须是多元的。“正如我们需要获取从新闻媒体到社交媒体等广泛多样的信息来源一样，我们也需要高度多样化的AI系统，以服务于我们多元的兴趣、文化规范、价值体系和语言。”
请观看以下完整环节“AI促进全球福祉”：
