HoloLens 由工程师、微软技术院士 Alex Kipman 创造，如今正作为一种新工具应用于手术中。
HoloLens 通过手势和语音命令操作，让外科医生能够调取远超以往可获取的信息。
它还可用于培训，并让多位外科医生协作，即使他们不在手术室也能参与。
12月中旬的一天，骨科医生 Bruno Gobbato 博士走进巴西 Jaraguá do Sul 的一间手术室，戴上 HoloLens 2 混合现实头显，准备开始手术。
远程加入他的还有外科医生同行 Thomas Gregory 教授，他从巴黎连线，以及常驻新泽西州的 John Erickson 博士。Gobbato 的患者锁骨骨折后未能妥善愈合，因此 Gobbato 需要重新调整骨骼位置，并进行肩关节镜手术；手术中要将一台小型摄像机插入关节，以查明患者肩痛的原因。
Gregory 和 Erickson 通过以下应用连接到 Gobbato 的头显：Microsoft Dynamics 365 Remote Assist，并通过以下应用将他的视野共享到各自的电脑屏幕上：Microsoft Teams。他们可以看到患者，以及 Gobbato 根据 CT 扫描生成的全息影像：一幅显示患者受损的锁骨，另一幅则呈现其健康锁骨的样子。三位身处三大洲的外科医生讨论手术方案，就每一步交换意见，并分享各自的做法。
“他们是帮助我完成手术的伙伴，”Gobbato 说。“我们带来了法国视角、美国视角和拉丁美洲视角。手术室里汇聚了世界四分之一的力量。”
这项手术是一个项目的一部分，旨在展示 HoloLens 2 如何帮助外科医生，并促进全球医生之间的协作。该项目由 Gregory 发起；他于2017年完成了首例使用初代 HoloLens 的手术。这项计划汇集了来自五大洲、13个国家的骨科医生。
从11月至次年1月，12位医生使用 HoloLens 实施手术，手术类型从阿联酋的膝部手术到南非的肩关节置换术不等；其他医生则与 Gregory 一起轮流旁观并提供意见。该项目于今日以一系列圆桌讨论和访谈收官，聚焦混合现实技术及其对医疗保健的影响。
对 Gregory 来说，这个项目旨在传达他所说的“外科医生的智能手机”的优势。他指出，许多人在日常工作中依靠智能手机快速获取信息，但外科医生不能在无菌手术室环境中使用手机或电脑。他们通常会提前规划手术，而手术一旦开始，便很难获取患者数据或其他资源。
2016年首款 HoloLens 发布时，Gregory 立即看到了外科医生将其用作信息和沟通工具的潜力。自此，他可以通过手势或语音命令调取信息，无需触碰键盘或鼠标。
“多年来，我一直在寻找这样的东西，”Gregory 说。他是巴黎 Avicenne 医院骨科与创伤外科主任，也是 University Sorbonne-Paris-Nord 的骨科手术教授。
“我意识到，在手术过程中，我可以把 HoloLens 当作电脑或智能手机，在需要时获取所需信息。这能让外科医生动作更快、效率更高，并提升表现。”
Gobbato 自称是“科技迷”和“极客”，他非常渴望拥有一台 HoloLens，设备发布后不久便搭乘飞机，飞行八小时前往迈阿密购买。他使用这款设备进行更复杂的手术已有数年。
“我真的认为，未来混合现实会在手术室的许多方面得到应用，”Gobbato 说。“我非常期待看到未来几年我们能用它做些什么。”
HoloLens通过手势和语音命令操作，让外科医生能够查看根据 X 光或其他扫描结果生成的患者解剖结构三维全息影像。外科医生可以移动这些虚拟影像，从不同角度查看。他们还可以在手术期间通过 HoloLens 访问患者数据，调取视频或文件以协助解决问题，并联系其他专家寻求建议。
路易斯安那州拉斐特市的骨科医生 John Sledge 博士参与了 HoloLens 项目中的一项手术，即一台历时10小时的脊柱融合术。Gregory 以及来自英国和阿联酋的两位外科医生在旁观摩时，Sledge 调取患者下背部的 X 光片和扫描影像，寻找需要取出的器械，并确定如何摆放手术器械才能最好地触及这些部位。他还加载了患者事故发生后不久拍摄的影像，以便向其他外科医生说明术前病史。
Sledge 说，如果没有 HoloLens，他只能在电脑屏幕上查看患者扫描影像中的少数几张图片。
“我能获取的数据集非常有限，”他说。“有了 HoloLens，我可以调出想看的影像，并根据需要放大。我需要的所有影像都切实呈现在眼前，大小和清晰度都能按我的需要调整。”
Sledge 说，HoloLens 对手术规划和培训也很有用。例如，如果他正在规划肩部手术，就可以创建患者肩部的全息模型，以确定植入物的放置位置，或判断是否需要重建骨骼。
Sledge 说，不必打印出骨骼的三维复制品，只能在上面练习一次手术；他可以根据需要，在全息影像上反复测试手术方案。在培训中，他可以生成任何手术的三维交互模型，甚至在全息影像中模拟并发状况，例如骨折或意外出血，让受训医生设法解决。
“医学，尤其是外科手术，至今仍采用学徒制。你得先看别人做100次手术，才获准亲自操作，”Sledge 说。“但现在，我们可以让住院医生在 HoloLens 上演练100台手术，包括罕见并发症及其解决方法。我们可以开展最坏情况训练。借助 HoloLens，我们可以让问题出现，再由受训医生解决。”
“我们可以统一外科培训标准，让世界各地的毕业生都能在 HoloLens 案例库中看到并学会解决其培训领域的所有病例，”他说。“看别人解决问题，和自己必须解决问题，两者之间有天壤之别。”
骨科医生 Stefan Greiner 博士在同意与好友 Gregory 一起参与该项目之前，从未使用过 HoloLens。起初，Greiner 对这款设备持怀疑态度，认为它不过是“又一个小玩意儿”，或许只在少数情况下有用。
但随着学会使用，Greiner 开始看到更多可能性。他设想在关节镜手术中用该设备显示影像，这样手术时就不必在手术视野和屏幕之间来回转头；通常，内窥镜摄像头拍摄的影像会显示在屏幕上。
“我认为它会提高手术的精准度和安全性，因为你不必再看向别处，”Greiner 说。他负责 Sporthopaedicum Regensburg 的肩肘科，该机构是德国规模最大的运动医学中心之一。
他说，这款设备还可通过全息影像或动画讲解手术过程，帮助患者做好术前准备。
“看到全息影像实际呈现出来，要比只看一张小图片清楚得多，”他说。“这能极大帮助患者了解自己将接受什么手术。”
Ashish Babhulkar 博士在报名参加 Gregory 的项目之前，也从未使用过 HoloLens。Babhulkar 是印度浦那 Deenanath Mangeshkar Hospital & Research Center 肩部与运动损伤科主任。他与 Gregory 及一位来自英国的骨科医生合作，完成了两台反向肩关节置换手术；这种手术会将肩关节球窝的位置互换。
在另外两位医生的指导下，Babhulkar 将关节窝植入物的全息影像叠加在患者身上，再进行植入，以实现完美贴合。他的视野中还显示着一本手术手册，内含每一步的三维视频。外科医生参考这些视频，查看 Gregory 用于肩部手术的一种器械。
虽然 Babhulkar 在手术中不需要手册，但他看到了 HoloLens 作为培训工具的用处。
“想象一下，明天肯尼亚有人拥有一台 HoloLens，想要开始做这种手术。他不必来印度学习，”Babhulkar 说。“我们可以带着他一步步完成整个过程，避免他犯错，并帮助他建立信心。这将彻底改变一些偏远地区的治疗方式。”
他说，这段经历让他确信，HoloLens 将成为未来医学领域的重要工具。
“这款设备功能强大，随着我们不断推进，每年都会进行创新，并为它添加新的应用，”他说。“希望最终所有病例都能用上它。”
HoloLens 及其前身、Kinect 动作感应设备系列由微软技术院士 Alex Kipman 创造。他是一位富有远见的工程师，看到了打造一种设备的必要性：以有意义的三维方式融合物理世界与数字世界。
Kipman 希望开发一种能够理解人类及其所处环境的设备，并将数字世界从由扁平玻璃矩形构成的世界——电脑屏幕、手机——转变为一个全息影像的宇宙，让全息影像能够与现实世界互动或模拟现实世界。
首款 HoloLens 于2016年发布，随后HoloLens 2于2019年11月推出。这款设备配备了先进的环境地图绘制硬件和眼动追踪摄像头，能够识别其使用空间以及用户关注的对象。Microsoft Dynamics 365 Remote Assist 应用旨在让 HoloLens 与 Teams 连接，使用户能够与世界各地的人协作。
十年前，人们或许很难想象外科医生会在手术中使用全息影像，也难以预见混合现实技术能为医疗领域带来什么。如今，HoloLens 2 已用于医疗保健的多种场景，从为医学生提供虚拟病房查房到救治新冠肺炎患者；此外，还有用于模拟各种病症、培训医生并统一治疗标准的“HoloPatient”。
微软欧洲、中东和非洲地区医疗保健与生命科学业务董事总经理兼区域负责人 Elena Bonfiglioli 说，HoloLens 在手术中的应用尚处于起步阶段，这一进展由 Gregory 等先锋医生推动。
“这些领军者正在重新构想手术；长期以来，手术一直以传统方式进行，”她说。“这些临床医生的变革之处，在于他们有能力设想变革并推动变革。HoloLens 在手术中的应用确实才刚刚起步，但发展路径已经明确，推动变革的人也已就位。”
Bonfiglioli 说，HoloLens 的强大之处在于能够在可信赖的数字环境中将物体和数据叠加到现实世界，并提供自然的学习方式。
“全息计算赋予视觉这一全新维度，因此它将助力医学的未来，”她说。“协作这一维度，我们早已拥有。人工智能赋能的数据维度，我们也已经具备。但我们还缺少一种非常符合人类特点的能力，那就是视觉增强。这正是它强大的原因。这项技术本身就是变革的推动力量，能够赋能那些看得见未来的人。”
Gregory 所在科室使用 HoloLens 2 进行所有手术已有一年多，这款设备也已成为他日常工作的一部分。年轻同事在手术中遇到问题时，会通过 HoloLens 联系他寻求建议。Gregory 可能会在手术中联系另一位专家征求意见，也可能联系护士，请其安排下一位患者进来。
2020年1月，微软与 Gregory 等人合作创办了 Institut Moveo，这是一家专注于外科手术人工智能的研究与教学中心。该中心位于 University Sorbonne-Paris-Nord，汇集计算机科学家、数学家和外科医生，并提供使用 HoloLens 进行手术的培训。
未来计划包括收集手术中的 HoloLens 数据，并用这些数据开发算法，以改进手术流程，甚至根据眼球运动识别外科医生何时遇到困难。
Gregory 认为，HoloLens 的成本远低于用于某些微创手术的手术机器人——这类机器人价格可达约200万美元——因此它能让世界各地的小型医疗机构也可以在外科实践中应用人工智能。
“借助 HoloLens，我们有了一个工具，可以让世界各地所有手术室都参与这场数字革命，”他说。“它的影响巨大。我认为未来外科医生将无法在没有 HoloLens 的情况下进行手术。”
