手语不易学习，教授起来更是困难。手语不仅依靠手势，还借助口型、面部表情和身体姿态来传达含义。这种复杂性意味着专业的教学课程仍然稀少且往往价格高昂。但在人工智能（AI）的一点帮助下，这一切很快就可能改变。
我和同事们正在努力开发一款软件，用于以自动化、直观的方式帮助人们自学手语。目前，该工具能够分析学员在瑞士德语手语中做出手势的方式，并就如何改进手形、动作、位置和时机提供详细反馈。但我们希望借助该工具背后的人工智能，开发出能够教授世界各地多种手语的软件，并纳入手语中更为复杂的特征，例如句子语法以及非手部的交流要素。
人工智能此前已被用于手语的识别、翻译或口译。但据我们所知，我们是首个真正尝试评估人们所做手势的团队。更重要的是，我们希望利用人工智能技术，向用户反馈其做错了什么。
手语的练习与评估之所以困难，是因为手语无法通过阅读或书写来学习。为此，我们开发了一款电脑游戏。在练习某个手势时，游戏会向你展示该手势的演示视频，或提供最接近的描述性口语词汇（或两者兼有）。随后，游戏会通过摄像头记录你模仿该手势的过程，并告诉你如何做得更好。我们发现，将学习设计成游戏能够激励人们相互竞争，力争取得最高分，同时在过程中提升手语表达能力。
人工智能被应用于表现评估的各个环节。首先，卷积神经网络（CNN）从视频中提取关于你上半身姿态的信息。CNN是一种人工智能类型，其原理大致借鉴了大脑视觉皮层的信息处理方式。随后，你的骨骼姿态信息与原始视频会被发送至手形分析器，由另一个CNN逐帧分析视频，提取每一时刻的手形信息。
随后，骨骼信息和手形数据会被发送至手部动作分析器，该分析器使用一种名为隐马尔可夫模型（HMM）的技术。这种人工智能使我们能够随时间对骨骼和手形信息进行建模。随后，它会将所观察到的内容与代表该手势完美版本的参考模型进行比较，并给出其匹配程度的评分。
手形分析器和手部动作分析器的结果随后都会被评分，并以反馈形式呈现给你。因此，所有人工智能功能都隐藏在简便易用的界面之后，让你能够专注于学习。我们希望，这种自动化的个性化反馈能够提高学生学习手语的参与度。
将人工智能引入课堂
目前，该软件仅适用于瑞士德语手语。但我们的研究表明，该系统的“架构”无需改动即可应对其他语言。它只需要每种语言的更多视频录像作为训练数据。
我们希望探索的一个研究方向是，如何利用人工智能已掌握的知识帮助其学习新语言。我们还希望探索，在使用手语时，如何纳入其他交流要素，例如面部表情。
目前，该软件在教室等简单环境中效果最佳。但如果我们能够改进它，使其适应所分析视频画面背景中更多的变化，它就有可能像许多热门应用程序一样，让人们无需专家指导，随时随地学习语言。随着此类技术的发展，学习手语将很快能够像学习口语一样，人人皆可轻松获得。
