HTC Vive 首开“写轮眼” ,混合现实将成主流?

“他最后一个出场,气场碾压那些面无表情的瘦瘦男模们。”3月底,黑匣一位已经上了王者的女编辑这样评论汪丛青。

2018上海时装周开场秀,HTC Vive中国区总裁汪丛青也走了趟T台,脸上还挂着个VIVE Focus。那时,他也许凭借身高体重三围等优势迷惑了众女生,但仅仅一张现场照片就暴露了他的惊天大秘密——他没摔倒!

戴着VR眼镜走秀,难度显然比“恨天高”高一个档次,他怎么做到不摔倒的呢?显然,当时他肯定使用VIVE Focus一体机的摄像头看路。HTC Vive都发布两年了,我们从没听说那个摄像头派上用场,而今天,它的“写轮眼”终于解除了封印。

前置摄像头SDK:超酷的混合现实体验

4月17日,HTC Vive正式发布针对Vive Pro前置摄像头和Vive音频的VIVE SDK。借助Vive提供的SDK,开发者将能够实现许多基于Vive Pro前置摄像头以及Vive音频的MR(混合现实)体验。

啥是混合现实?即在通过摄像头实时看到现实世界的同时,还能看到叠加于现实世界的虚拟影像。不仅如此,立体RGB传感器还能支持3D感知和深度感应,让开发者能够创造虚拟与现实互动的神奇体验。

原来Vive的开发者只能使用很简单的相机功能,现在除了更新的OpenVR相机API之外,VIVE软件团队还为开发人员提供了VIVE SRWorks SDK。使用此SDK,你可以获得的将不仅仅是原始相机图像,还包括:

·深度判断

·空间映射(静态和动态网格)

·将虚拟对象放置在前景或背景中

·与虚拟对象进行实时交互以及简单的手势交互

这些功能由三个服务模块提供:一个深度模块,一个透视模块和一个3D重建模块。啥都有了,开发人员可以专注于内容而不是技术难题。据黑匣了解,该SDK还包括Unity和Unreal插件本地开发的支持文档。

请看下黑匣辛苦整理的视频和GIF:

深度判断非常准确,以致于虚拟物品能识别每一样家具的大小及位置。每一帧信息量都很大。

空间映射。实时将现实环境里的物体进行拓扑,同样基于深度感知功能。瞬间感受到CPU跟GPU的压力。

用一个传送门的测试应用来看一下该SDK的综合表现:

打开新闻 查看精彩视频

有了这些功能后,VIVE Pro可以做什么呢?

首先是全景的滤镜,比如锐化效果、色调调整等。(图太小,可能看不出墙壁上图案的变化细节)

再看一个小游戏,在办公室里跟一只笑得很贱的鱼捉迷藏:

打开新闻 查看精彩视频

除此之外,HTC Vive还跟开发商Project Ghost Studios合作推出了一个游戏,进一步发挥了对传送门的想象力:

打开新闻 查看精彩视频

VIVE音频SDK:三种模式自由切换

HTC Vive还宣布推出两款VIVE音频SDK(VIVE 3D Sound Perception SDK),可用于Unity,并即将支持UE4。

- VIVE 3DSP SDK

VIVE 3DSP SDK提供了Unity兼容的音频空间化插件,具有以下功能:

高阶高保真度立体声系统。

基于精炼真实世界建模(水平和垂直)的HRTF。

支持高分辨率音频源文件和播放。

与真实世界建模的声学距离效应。

VIVE 3DSP插件支持房间效果,房间混响和反射,以及针对VIVE Pro进行调谐的声音遮挡,同时支持Vive头显和其他品牌头显及耳机。

- VIVE专业音频模式

由于VIVE Pro具有支持警报和对话模式的双麦克风,HTC Vive特意提供了API以便开发者可以在监听前景、背景音频和两者混合的三种音频模式之间进行切换。此外,你还能使用USB Type-C高功率模式设置(开/关)。

这些测试用例在早期测试版SDK中都可以看到,详见链接

什么是混合现实?

VR、AR及MR的解释有多种版本,黑匣倾向于从产品的作用来区分:

- VR(虚拟现实)意在虚拟一个现实世界出来,让你沉浸其中,不知自己是庄周还是碟,不知今夕是何年。因此VR隔绝现实场景,只让你看到虚拟影像,如不带前置摄像头的VR眼镜;

- AR(增强现实)意在增强现实场景的显示效果,让你正常生活、工作时,还能获得眼镜提供的帮助信息。因此AR首先让你看到现实场景,之后叠加有价值的信息,如透明的Google Glass;

- MR(混合现实)意在将现实和虚拟世界混合在一起,不只是将虚拟影像随意叠加在现实场景上,而要能够识别现实场景并与之互动。因此MR既要能识别场景的物体形状大小,还要知道各自的远近,如开了写轮眼的HTC Vive Pro。

几年前,AR和VR的拥护者还会因哪种技术能笑到最后而争论,后来大家达成了共识:两者将最终统一成MR。这种统一倒不是指此消彼长,某一类一统天下,而是设备将不断升级,最终将几种不同的功能集于一身。因此,我们也不需要将某一个设备定性为VR、AR或MR,分类主要由内容决定。(点击阅读原文,让你涨知识)

HTC Vive早就在Vive头显上增加了前置摄像头,汪丛青在不久前也已经透露AR功能即将在VR设备上实现。如今,基于该摄像头的多功能SDK终于面世了。那接下来,就看开发者们给我们什么惊喜了。

黑匣这张配图选得非常好

昨天说迪斯尼用了十几年AR,看的人没几个