语言一直通过 ISO 693-1 代码进行标准化，但数字内容的增长意味着采用更精确编码的需求如今更加迫切。
ISO 639-3 将双字母语言编码升级为三字母标准，并纳入更多地区方言或语言变体，例如区分普通话和粤语，而不再统称为中文。
为实现更精确的语言编码，应将 ISO 639-3 与 ISO 3166 国家代码结合使用，这对元数据尤为重要。
标准化的必要性早已得到充分证明。标准不仅有助于监管，也有助于在全球化经济中有效整合各类系统。数百种功能都采用代码或标准化方式，语言便是其中之一。
代表各语言、语系和方言的国际认可代码，有助于各国系统和组织正确识别数据并进行相应管理。这些代码用于图书馆、信息管理系统、数据库和网站中的书目工作，也能确保机器学习训练数据符合其预期用途。此外，正确对应语言变体不仅提高效率，也更加便利，并有助于保护品牌。
那么，要精确标示语言，应该采用哪种代码？全面的 ISO 639-3 与 ISO 3166 国家代码相结合，可以明确界定世界上几乎所有已知语言。
ISO 639-3 之前
不过，在 ISO 639-3 之前，还有采用双字母标示的 ISO 639-1。随着数字世界的发展，对更精确语言支持的需求也随之增长。例如，ISO 639-1 中代表中文的“zh”，在 ISO 639-3 中是“zho”；此外，ISO 639-3 还有约 16 个代码用于区分不同方言，例如代表闽东语的“cdo”、代表普通话的“cmn”、代表客家话的“hak”等。
借 2022 年卡塔尔世界杯之机，我们可以用英语中的“football”一词来理解区分语言变体的重要性。对美国英语使用者而言，football 指的是一种完全不同的运动；例如，英国人所说的 football，就是美国人称为 soccer 的运动。不过，ISO 639 实际上并未处理美国英语和英国英语之间的区别，尽管国家代码能够区分二者。
尽管英语在世界各地有多种形式，ISO 639 并未将英语归为宏语言。其他英语代码大多对应克里奥尔语或皮钦语变体，例如牙买加克里奥尔英语。这或许更凸显了将阿拉伯语的不同变体归在同一代码下有多么不妥，例如埃及阿拉伯语（arz）与标准阿拉伯语（ara）就有所区别。
在词汇资源、训练数据和数据管理解决方案方面，区分语言至关重要，这样才能避免结果混乱。大多数应用的最佳实践是结合使用 ISO 639-3 和 ISO 3166，以识别目标语言及其使用地区。
要向终端客户提供日益个性化的解决方案，就必须精确识别语言，以便应用能够契合各地区终端用户的期望及其所说的语言。
Erik Vogt，Appen Limited 企业解决方案副总裁
语言 ISO 标准
国际标准化组织（ISO）已发布语言识别标准化的五个部分：ISO 639 规定了国际认可的代码（双字母、三字母或四字母代码），用于表示语言或语系。
第 1 部分 ISO 639-1 是最早的标准，使用双字母代码表示大多数语言。该标准涵盖最常见的口语，但不考虑语言内部的差异。第 2 至第 5 部分采用三字母代码，并提供更多本地化组合，以涵盖所有已知的自然语言，无论其现存还是灭绝。ISO 639-3 的适用范围远超 ISO 639-2，涵盖 7,000 多种语言，并用于元数据编码。它常用于计算机和信息系统（如网络和 SaaS 应用），以支持多种语言。
要向终端客户提供日益个性化的解决方案，就必须精确识别语言，以便应用能够契合各地区终端用户的期望及其所说的语言。三字母 ISO 639-3 代码和 ISO 3166 代码能够区分这些独特的语言。Ethnologue，当今规模最大、内容最全面的语言数据库之一，采用三字母 ISO 系统。
然而，令人意外的是，仍有大量请求要求提供未加区分的语言训练数据，这些语言要么未由 ISO 639 定义，要么请求的输出包含两个或更多共用同一 ISO 639-1 代码的变体。迁移到 ISO 639-3 的时间越晚，在需要语言分类的系统中就越容易产生歧义。不同变体相互混杂的风险也会更高，代价也更大。
一旦开始处理具有多个变体的语言，迁移到三字母代码系统就至关重要。不过，虽然所有双字母代码都能一一映射到三字母代码，反向映射却没有那么容易。尽早更新流程以符合 ISO 639-3 标准，是一项面向未来、值得提前采取的举措。
ISO 标准的优势
自然语言处理（NLP）模型需要足够细致、准确的数据，才能有效处理口语。最佳组合是 ISO 639-3 语言代码与 ISO 3166 国家代码。例如，英语（eng）可细分为美式英语（eng-USA）、英式英语（eng-GBR）、加拿大英语（eng-CAN）、澳大利亚英语（eng-AUS）、南非英语（eng-ZAF）等。用于语音识别的语音助手应能识别英语方言，从而准确理解请求并给出正确结果。
在整个系统中一致应用这些 ISO 标准，有两项主要优势：
能够准确识别具备适当语言技能、可胜任每项任务的候选人。
能够在各组织和应用中始终以一致方式指称同一种语言。
忽视对精确数据日益增长的需求，会导致本地数据不一致、不完整且可能不准确，进而无法可靠识别所有相关用户，影响质量并妨碍数据收集工作。从根本上说，这也意味着忽视了客户群体中使用地区方言的大量用户。采用三字母 ISO 代码加国家代码，能够将所提供的服务交付给所有终端用户，这是再充分不过的理由。
