大多数新的数字技术在设计时往往以健全人为用户。最早的台式电脑需要用户具备精细的运动技能,才能使用鼠标操作软件菜单;手机则需要用户按压按钮、滑动屏幕等。要使用这类技术,使用者需要具备相当灵活的双手。
我们的无障碍表演研究小组以残障音乐人为设计出发点,开发数字音乐界面。这项工作从新技术的起步阶段就让残障表演者参与进来,并关注他们各自具备的特定能力。如此一来,技术便与他们同步发展,充分考虑他们的行动能力、需求和创作兴趣。
目前的虚拟现实技术是面向健全人设计的,更重要的是,它往往只允许被动互动——例如聆听音乐表演,如埃尔顿·约翰的360度演唱会,或是“乘坐”一过山车。我们更感兴趣的是,残障音乐人如何以主动、表演性的方式运用虚拟现实技术。
携手合作
我们的研究团队由多元化的成员组成,包括电子工程师、计算机科学家、声音艺术研究人员、沉浸式内容设计师、一个独奏乐团,以及一个本地团体,该团体协助残障音乐人独立表演并创作自己的音乐。我们与这些音乐人共同合作,并与一家美国软件开发商携手,该开发商正在设计一款名为“无限乐器”的虚拟现实乐器,运行于一款名为HTC VIVE的360°虚拟现实头显上。
这款乐器最初是为健全音乐人开发的,因此我们在设计时考虑了不同类型的行动能力。这促成了我们的一位脑瘫音乐人演奏一款全新的虚拟现实乐器,该乐器专门为契合她富有表现力的上半身动作而设计。它无需她的手臂或手指具备精细的运动精准度,而这恰恰是她所不具备的能力。

虚拟现实头显主要关乎视觉体验。然而,我们发现,手持控制器提供的触觉反馈——用户通过它访问菜单并按下指令以获取内容——让这位音乐人得以通过感受和聆听来演奏乐器,而非通过头显观看。不必依赖头显,也使她在演出过程中能够与其他音乐人保持视觉上的交流。
我们另一个协作式虚拟现实设计的案例,是与一位盲人表演者合作。这位音乐人的关键优势在于他精湛的单簧管演奏技艺。我们的构想是以他的专长为基础,运用虚拟现实技术来调整并提升他的音乐表演技能。
许多虚拟现实体验过于侧重视觉效果,往往忽视了声音本身所具有的沉浸特性,而声音无处不在,是真正的360°体验。显然,视觉头显对这位盲人音乐人而言既无关紧要,也无帮助。我们需要思考如何利用空间中其他的沉浸特质来开展音乐表演。
我们的团队设在皇后大学的Sonic LAB。该空间是一个沉浸式且可完全定制的3D声音空间,常被称为“耳朵上的iMAX”。我们决定将VIVE技术应用于这一既有环境。
对于我们的单簧管演奏者,我们重点采用了VIVE控制器,因为它们更多地依赖触觉而非视觉。它们还能追踪空间中的物理位置,这使得这位单簧管演奏者能够通过将VIVE控制器绑在乐器上,在3D Sonic LAB中定位声音。
包容性思维与设计
这些量身定制的虚拟现实乐器设计,在2018年11月的一场展示音乐会中亮相,残障音乐人与来自Hard Rain独奏乐团的音乐人同台演出。

观众席呈圆形环绕在音乐人周围,以增强表演空间的沉浸感。
据估计,全球残障辅助设备市场将增长至2020年超过80亿美元,英国残障辅助设备的销售额在过去十年中增长了93%以上。包括虚拟现实在内的所有技术,只要纳入残障人士的视角进行设计,都可以是包容性的。
我们的方法表明,新技术可以如何被开发,使残障音乐人积极参与音乐创作,并体现出对残障音乐人生活质量的重视。我们将继续设计可用于虚拟现实的乐器,但目前将重点转向采用更经济实惠的系统,以期组建一支由残障音乐人与健全音乐人共同组成的虚拟现实合奏团。


