两年前，Facebook Reality Labs发布了这款超精巧的交互式肖像控制系统Codec Avatar，该控制系统如前所述体积摄影家等3D动捕控制技术，可在AR/VR中静态绘图高度还原成的脸部眼神和特点，与布偶外貌十分接近。而且面容、下巴、胡须、发色等特点看上去足够多技术细节、自然。

当然，Codec Avatar的重点主要是演示动态的人脸识别眼神变动和脸部特点，完备的AR/VR交互式形像还需要显示指甲、四肢等更多部分。前不久，青亭网报道了Facebook在绒毛绘图上的最新丰硕成果，早已能对指甲进行3D可视化，精细到可绘图丝丝秀发。

除此以外，近期Facebook也发布了一项如前所述体积抓取的静态浑身交互式形像计划：可交互驱动力讯号的浑身静态交互式形像控制系统。其特点是采用一个根据条件变动的自动编码数学模型，能将面目、脸部突破点等不完备的驱动力讯号转换成动画影片统计数据，生动活泼且精巧的体现人体内部结构和静态外形变动。

事实上，浑身静态形像聚合所面临的困难是，包括脸部在内的浑身姿势抓取重要信息不完备，因此透过导出动捕控制系统获得驱动力讯号，来同时实现更加通用的浑身静态数学模型效果。此外，还紧密结合潜在性空间数学模型，来抓取静态交互式形像所需的其余重要信息。借助驱动力统计数据，该计划聚合的泛函数学模型将包含少部分由缺位统计数据组成的不确定内容，然后透过演算法来预测和分配这一部分的统计数据。

同时，科技人员还提出一种自学习式本土化的填充计划，有利于提升驱动力统计信息处理的适用性，以及降低真实统计数据集中常出现的自上而下偶然相关影响。

科技人员表示：此项研究的目标是，借助高效率感应器，来聚合在欧几里得内部结构和外形上看上去足够多精巧的浑身交互式形像。事实上在绘图绘图应用领域，具有感染力的静态交互式人早已得到深入探讨，尤其是在特技后期应用领域，早已有成熟的数字保镳控制技术，通常紧密结合姿势抓取控制系统来同时实现（比如《阿丽塔：战斗魔鬼》、《变形金刚》等影片就是透过布偶动捕来控制特技保镳来同时实现）。

此前也有一些动态数字保镳的案例，比如：Epic根据布偶开发的数字交互式人Siren、数字王国开发的DigiDoug等等。今年，Epic还推出了数字交互式人创作平台Metahuman Craetor，让你能在网页端就能制作制作高保真、技术细节丰富的3D交互式人，其支持骨架和脸部绑定，可在PC和VR应用中运行。

不过，这些交互式保镳控制技术通常依赖于高成本动捕控制系统，以及详细复杂的面目和眼神脚本。此外，其原理是在数学模型上手动绘图静态技术细节，缺点是需要人工合成面目，而且依赖于高端感应器（比如Xsens、OptiTrack等浑身动捕计划）。而且，动捕数学模型需要根据不同的感应器计划独立训练，不具备适用性。

相比之下，Facebook的浑身可视化计划更侧重紧密结合驱动力讯号，同时紧密结合体积抓取控制系统和静态感应器来抓取浑身统计数据，然后透过不完备的驱动力讯号来直接复原完备的人体外形和形态。

其实，这种计划可识别的驱动力统计数据类型有限，而且静态传感统计数据与交互式人数学模型存在重要信息不对称，从而产生一对多映射问题，也就是说如前所述全身关节角度聚合的统计数据可能并不包含对应的服装褶皱、肌肉收缩等完备重要信息。此外，脸部突破点统计数据通常也不包含注视点、指甲、舌头运动等重要信息。

为了解决上述问题，并帮助学习数学模型根据缺少重要信息的驱动力讯号来推算浑身数字数学模型，Facebook科技人员提出了一种泛函数学模型，明确抓取两种类型的变量：1）根据驱动力讯号可靠计算的观测统计数据；2）可视化阶段所预测的缺位统计数据。

技术细节方面，科技人员透过构建根据空间变动的驱动力讯号数学模型，来优化第一种变量，然后透过潜在性空间来分离观测统计数据与变量，进而仅抓取对于重建人体数学模型必要的变量。此外，还采用肢体运动的粗糙数学模型和环境光遮挡贴图，来帮助数学模型自动绘图阴影。

简单来讲，整个计划将观测统计数据和缺少的统计数据分开处理，好处是能根据不同的应用场景来采用合适的分配策略，流程足够多有效且简单。数学模型还会紧密结合脸部眼神和面目与服装的褶皱和阴影，演示精巧的浑身静态变动。

统计信息处理流程：输入图像源、前景掩膜分割、重建3D数学模型、识别关键节点、应用表面网格。

在验证实验中，头显和周围环境中各配备一对立体摄像头，用于抓取动态的驱动力讯号（脸部眼神和面目）。这样高效率的计划足以呈现精巧的VR临场感，适用于双向社交场景。此外，实验展示了借助少量感应器和VR头显来演示浑身静态数学模型的效果，从demo视频来看效果足够多精巧自然。

据了解，此项浑身动捕计划如前所述Facebook研发的球形体积摄影家工作室Mugsy，该工作室专门用于拍摄脸部眼神，它的外形像呈圆顶状，墙壁和天花板上安装了132颗佳能摄像头和350个光源，它们全部对准工作室中央的一把椅子。在这里拍摄人脸识别就像是在拍大头照（Mugshot），因此得名Mugsy。参考：FB