我们将怎样碰触真实当今世界

”

作者 | 古巨基

编辑 | 青暮

从收购Oculus VR至今，Facebook已经走来7年。这一路走来，子公司将VR“格斗游戏当今世界”扩容为“真实当今世界”，用“元银河系”的名头叫出响来，并将Meta扶植为子公司大icon，力证7年成功之路，倘若暗痒，则为裂动。感官头盔落眼于2030年，意在解决元银河系的核心挑战之一：我们将怎样碰触真实当今世界？

在Meta之前，许多玩者都想做出真正通向真实当今世界的“尖牙”，它不仅是VR隐形眼镜，还有更加喜剧效果的、胜过听觉与感官的新方式：感官意见反馈头盔！

从今年3月已经开始，Meta(本名Facebook)的现实生物医学 (RL) 就已经开始了感官可视化头盔的新项目，直到昨天，Meta正式面世感官可视化头盔，并撷取了关于软件机器、微流控CPU、脚部跟踪、感官图形和可视化科学方面的工作进度。

此款赚足了8个月火气的感官头盔到底怎样？是否如他们所说，“这将是2030年的人与当今世界无碰触式可视化的未来技术”？

Meta表示，目前此款头盔能在真实当今世界中重现现实中的一系列感官觉得，包括演示人手不足爱抚织物着色的觉得、阻力意见反馈以及阻尼意见反馈。

在展现图中，能看到这个头盔增设了4道安全气囊垫，每道约有15个，沿手掌呈骨棒分布。腹部有白色的感应器，Bokaro手掌在空间中的移动情况。并且头盔内外两侧也增设了三根感应器，可动态抓取配戴者的手掌卷曲状态。

当戴上头盔进入VR或AR新体验时，两个复杂的控制技术会调整安全气囊的喷水水平，在手里的相同部位造成相同的阻力。比如，假如你用掌心轻触两个可视化式球体，会感到球体被压迫脚部皮肤，而假如你握着两个可视化式球体，手掌的磁盘就会变软，造成一种阻力感。这些觉得与听觉和感官可视化共同作用，从而造成身体与可视化式球体碰触的“错觉”。

究其根本，这项技术到底新奇在何处？作为元银河系的“头号人物玩者”，Meta的技术与其他玩者有何相同？

用感官头盔“轻触”数字当今世界

怎样增强人与真实当今世界的联系？

Reality Labs 的负责人Sean Keller 说，他们一直在推进关于AR/VR 可视化和可视化输入输出的研究，为下两个计算时代构建传播界面：即推动跨感官、肌电图输入、软机器、设计、可视化科学、应用机器学习等领域的研究。

自2014年收购Oculus VR子公司以来，7年时间里，Meta的现实生物医学(Reality Labs)一直在开发可视化式格斗游戏环境，同时也在开发更加适配格斗游戏环境的可穿戴设备。

最初是在Quest 上建立脚部追踪，从而操纵可视化式球体，但在实际新体验中并没有建立脚部觉得。

在 2015 年，生物医学又开发了第两个感官蓝本：一根带有执行器的手掌，但劣势明显，缺少整体的脚部可视化。

在今年3月，生物医学又面世手腕腕带，通过脚部肌电(electromyography, EMG)感应器平移电机神经信号，将手腕到手的动作指令转化为数字指令，从而动态化地适应可视化式环境。这项技术大大推进了可视化输入的研究进程，但在可视化可视化上，腕部可视化也对更加系统的“抓”、“握”等力度可视化绕道而走。

而且，从众多进场的玩者来看，演示轻触并非新研究，比如将 VR 与控制器阻尼结合起来，也能让人们觉得像在轻触球体。许多子公司都在研究可穿戴设备，既能跟踪用户脚部动作，也能提供感官，比如温度可视化。但这并不是Meta现实生物医学的首要目标。

随着众玩者的介入，非核心技术一定会在第一时间让短视玩者的技术壁垒荡然无存。能复刻现实当今世界的感官可视化才能掘出一条技术护城河。

目前感官头盔解决的就是全方位感官可视化的问题。

最已经开始，为了提供逼真的触感，感官头盔需要在整个手里安装数百个执行器（微型电机），以使配戴者的脚部运动与轻触可视化式球体时协同。但是过多的的机械执行器会造成过多的热量，既不舒适又太大、太硬、太贵太耗电。

是否能用柔软、柔韧的磁盘代替机械磁盘？假如磁盘能根据配戴者的动作改变形状，就能假设执行器根本不存在，与脚部融为一体。

新技术就采用了更加新颖的软件机器，用微型安全气囊取代了笨重的机电组件。这种柔软、轻便的感官头盔，最明显的优势是解决了外部器件过于异化的问题，同时还明显提高了 AR/VR 中双向可视化问题：帮助计算机准确理解和反映配戴者的脚部动作，并为配戴者重现一系列复杂、细微的觉得，例如阻力、着色和阻尼来创造用手感受可视化式球体的效果。

为了控制这些新的软执行器，他们正在构建当今世界上第两个高速微流体CPU：头盔上的微型微流体芯片，通过告诉阀门何时开关，从而控制执行器的气流。

现实生物医学的Andrew Stanley说到：“我们和其他微流体研究的相同之处在于，我们强调一切都非常轻巧、可穿戴和响应快速，在手里创造可信的感官，让真实当今世界变得「有形」。”

感官图形：做出对可视化式环境的准确反应

即使有一种控制气流的方法，系统也需要知道何时何地提供正确的觉得。这需要先进的脚部跟踪技术，使计算机能够准确地知道脚部在可视化式场景中的位置，人是否与可视化式对象碰触，以及手怎样与对象可视化。

因此，还需要一款为 AR/VR 界面构建感官图形的软件，能根据手的位置和对可视化式环境的理解，几乎实时地向头盔上的执行器发送指令，包括着色、重量和刚度等。

RL 软件工程师 Forrest Smith 说，“人们通常将‘图形’视为听觉效果，我们还使用‘图形’来表示感官：首先获取人与真实当今世界的可视化状态，并将其图形到执行器，从而获得相应的觉得。然后为了图形与对象的实时可视化，还需要演示相应的物理状态。”

强化学习研究工程师Justin Clark 指出：两个物理引擎（用于视频格斗游戏中演示对象的可视化软件）决定了手与可视化式环境可视化的方向，幅度，力度。然后，感官图形算法将此信息与感官设备的特性（例如其各个执行器的位置和属性）相结合，以便向设备发送正确的指令。

软件工程师 Andrew Doxon 补充道：“其中两个挑战是构建适用于相同类型执行器并支持各种感官新体验的软件。最终，我们还需要构建工具，让人们能够像创建听觉或音频内容一样创建感官内容。”

将感官、听觉和感官可视化结合起来

随着工作的进行，第三个挑战出现了：为了使着色和觉得发挥作用，他们必须以模仿现实的方式演示轻触物理，但不能完全重新创建现实当今世界的物理学。

因此，他们想到多感官整合：研究人类感官怎样协同工作，从而建立我们对当今世界的整体理解。

UX 研究科学经理 Sophie Kim 曾说到，“我们的大脑非常擅长接收一点感官信号、一点听觉信号、一点感官信号，然后将它们融合在一起，形成全方位的觉得，并使你的大脑确信有两个球体在你手里。”

RL 可视化研究科学家 Jess Hartcher-OBrien说到：假如我拿起两个球体，我已经对它的材料类型以及重量有了一些假设，然后我抓拿起它，感官系统会验证这是什么材料，大脑会识别摩擦力和惯性；听觉系统会根据我手臂移动的方式，计算出这个球体的密度或重量。最终这些线索会综合起来，形成关于这个球体的本体感觉。

这种思路套用在感官头盔上，就是让配戴者的可视化系统相信它正在感受球体的重量，通过用致动器轻轻拉动配戴者手掌的皮肤来演示握持球体上的重力、拉力。但这一切都必须计算准确。

更舒适的织物

随着程序的成熟，头盔舒适度就要提上日程。怎样将感应器和机器执行器集成到头盔本身材料中，其实是个非常大的挑战。

比如，一副僵硬、沉重或其他不舒服的头盔，或者两个很容易脱落的头盔，会立即把配戴者打出沉浸式新体验。因此，头盔需要重量轻、柔软且高度耐用。

RL 研究过程工程师 Katherine Healy 说，“矛盾是我们必须将所有的技术制成缩小版，这样才能在有限的头盔上安装更多的东西，还要兼具美观和舒适。”

这项工作涉及到材料科学的工作。材料小组一已经开始想到发明一种新型便宜的聚合物，既能像塑料和硅胶那样舒适又可拉伸，又能在分子水平上定制以造成新功能。这需要全新的制造技术来将这些新材料变成非常细的纤维，然后缝制成头盔。

“但仅导电的纱线并不能满足人们在 VR 中进行可视化所需的所有功能，这就是为什么我们探索怎样在同一纤维或织物中构建多种功能——包括导电、电容和传感功能，并制出更纤薄、更耐磨的头盔外形，”RL 研究科学经理 Kristy Jost 补充道。

制造纤薄、轻便的感官头盔是一项挑战，定制这些头盔以适应数十亿人又是另两个挑战。

这就是为什么材料小组在探索制造技术，同时又保证每只头盔可定制，以获得最大的感官精度和舒适度。这样做意味着开发设计和制造微型执行器的新方法，并创建新的编织和刺绣工艺以将它们精确地嵌入头盔中。

“目前，头盔能由熟练的工程师和技术人员单独制造，由他们制造子系统作为头盔组装配件，”Healy 说，“这个过程要尽可能使用半自动化工艺，因此还要发明新的制造工艺。”

Meta公布愿景后，剽窃控告随即而来

“我相信，在即将到来的 AR/VR 和元银河系人机可视化革命中，感官将是至关重要的，”RL 研究科学经理 Nicholas Colonnese 说。

“当我们已经开始感官头盔项目时，我们问自己是否能构建一种可大规模生产、价格合理的消费设备，让人们能在任何地方新体验任何有形的界面，”Healy 说，“我们无法发明新材料、新感应器和执行器、新的集成方法和系统、新的图形算法、新的物理引擎，但我们已经开辟了一条可行的道路，能让我们到达那里。” 

不过颇为戏剧的是，就在Mate讲述完愿景不久后，HaptX子公司CEOJake Rubin便声称Meta微流体AR/VR体感头盔方案与HaptX的专利高度相似。

HaptX表示，在过去十年他们开创了微流体感官意见反馈技术，为此更是申请了不少专利。HaptX还指出，此前曾接待过Meta工程师、科研人员和高管，向他们展现其体感技术。无疑认为Meta存在剽窃和偷师学艺的嫌疑。

--

12月9日-11日，雷锋网将主办第六届GAIR全球人工智能与机器大会，大会中，我们会举办“下一代互联网——元银河系技术高峰论坛”，邀请知名UGC格斗游戏平台、VR/AR/MR厂商、社交子公司、NFT资深人士、人工智能企业等多个行业的从业者，向观众清晰展现元银河系的未来。详情点击【阅读原文】查看大会介绍。

参考链接：

https://www.theverge.com/2021/11/16/22782860/meta-facebook-reality-labs-soft-robotics-haptic-glove-prototype?scrolla=5eb6d68b7fedc32c19ef33b4

https://tech.FB.com/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world/