反向透传vr设备，让我们看到了未来这是一个愚蠢的想法

文章图片

文章图片
这是一个愚蠢的想法，充其量是一种新奇事物。
-shenzhenware-
很多企业的科学研究（比如AI/AR等前沿研究）因为商业化的压力而黄了，但Facebook仍在疯狂地在实验性的研究项目上做投入。
近日， FacebookRealityLabs（FRL）的科学家NathanMatsuda通过博客展示了一项实验性的VR研究——反向透传VR（reversepassthroughVR）。
佩戴VR设备的人，他的眼睛能够「透传」到设备外面的显示屏上，让你能看到他的眼睛——就像下图的样子，八角形的镜框里装的不是透明玻璃片，而是3D显示屏。

文章图片

文章图片
此前Facebook曾推出过Passthrough+和实验性的PassthroughAPI技术，虽然都叫「透传」，但这些是让佩戴VR设备的人能够看到外面的情况。
而反向透传则与此正好相反，是让外面的人看到里面的情况，这样，就促进了眼神的交流。因为通常VR头戴设备是密封的，里面的人看不到外面，外面的人也看不到里面。
Matsuda在两年前就启动了项目研究，当时的做法是，佩戴定制的RiftS设备，正面装有3D显示器。在屏幕上，他的面部浮动3D图像由游戏引擎粗略渲染，使用来自设备内的一对眼动追踪摄像头的信号重新创建了他的眼睛注视。

文章图片

文章图片
Matsuda第一次把这项研究展示给他的老板——FRL首席科学家MichaelAbrash时候， Abrash的第一反应是：这是一个愚蠢的想法，充其量是一种新奇事物。但他还是支持了Matsuda这样做，因为这很独特。
两年后， 3D显示技术和研究原型有了显着的发展，具有专门构建的光学、电子、软件等一系列的技术支持，可以捕捉和描绘更逼真的3D面部。
Matsuda公布的原型设备将在下周的SIGGRAPH大会上展示。目前如我们所见，这个设备上插满了摄像头和电缆，距离独立设备还很远，并且，眼睛和面部的渲染还不够逼真。
尽管它离产品路线图还很远，然而，它确实让我们看到了未来——通过反向透传实现的虚拟世界和现实世界的融合。

文章图片

文章图片
左图：禁用了外部显示器的VR设备，代表当前的技术水平。外界看不到佩戴者的眼神。
中图：带有外向2D显示器的VR设备。外界可以看到佩戴者的眼神，但视角不准确，比较难判断眼神的方向。
右图：最新的带有外向3D显示器的VR设备，运用了反向透传技术，外界可以看到佩戴者的眼神，并能够判断眼神的方向。
Matsuda在博文中透露，在这项研究中， FRL使用了微透镜阵列光场显示器，因为它很薄，构造简单，并且基于现有的消费类LCD技术。这些显示器使用一个微小的透镜网格，将来自不同LCD像素的光向不同方向发射出去，这样观察者在从不同方向观看显示器时会看到不同的图像。

文章图片

文章图片
但FRL的这套系统并非都是革命性的。
HTC在vivePro头显设备上安装了面部追踪插件，将运动映射到VR设备内的虚拟形象上，尽管没有向外的显示器，但映射原理是相似的。
HoloLens等AR和XR设备采用了透明或半透明的镜片，通过提升透光度来实现虚拟世界与现实世界的「透传」，其效果，远远比Facebook的反向透传3D成像要清晰和真实得多，并且也没有视角的问题。