Meta官方吐槽大会?Connect 2022卡马克演讲全文回顾

编辑:Esther

来源:青亭网

在上周举行的Meta Connect期间,Reality Labs顾问CTO John Carmack(约翰·卡马克)按惯例发表了一年一度的脱稿演讲。我们知道,卡马克脱稿演讲是每年Connect大会的关键环节,他会在演讲中发表自己对于AR/VR等技术的个人见解。与往年不同,卡马克今年使用Quest Pro在VR中进行了近1小时演讲。

与视频演讲不同的是,这一次他使用Meta Avatar出镜,还是没有下半身的那种,与本人并不是特别像。而且虽然这次演讲是在VR中进行,但观众只能在2D视频中观看,不过好在虚拟场景可切换视角,因此可以多机位录制。当然演讲的内容才是重点,比如对于过去一年Meta在运营、研发上的进展卡马克将发表哪些犀利的观点,才是大家所关心的。实际上,今年卡马克从多方面对Meta VR业务和技术进行评价,他不止一次提到自己“不爽”,似乎对VR发展现状有很多话说,俨然成为“Meta官方吐槽大会”。

接下来,青亭网整理了本次演讲的内容,以下是其中的一些重点:

  • 演讲使用的Quest Pro头显,不过并未使用眼球追踪、面部追踪等高级功能;
  • 相比于提升Avatar质量,同时渲染多个Avatar更重要。希望VR互动可以像发短信那么即时;
  • Home界面或引入虚拟镜子、屏幕共享功能,还会为Avatar引入虚拟手臂;
  • 希望VR语音通话比手机打电话更流畅;
  • Home和Horizon定位、用途不同,因此场景质量也不同;
  • XR2+和XR2采用一样的核心,区别是通过新的封装技术来改善效率、扩展内存,实现超频运行;
  • Meta正在与高通密切合作,研发真正的XR2下一代芯片;
  • Quest Pro的LCD屏幕支持分区背光,未来或 支持局部调光,显示纯黑色;
  • 推出充电底座是为了降低VR使用阻力,提升使用率;
  • 动态注视点渲染功能对性能的提升没有想象中那么大;
  • 未来希望实现多VR头显/手柄共享追踪数据,实现本地多人VR互动;
  • Meta靠免费VR应用赚不到钱,因此未投资发展免费应用生态,Quest 2涨价后也许会改变这一点;
  • Meta将Facebook和Meta账号分离花了很大功夫,绑定Facebook账号对Quest 2销量影响不大,大部分新VR用户都有Facebook;
  • 120Hz刷新率适合播放2D视频;
  • 未来会有更多VR健身应用支持手势交互;
  • VR办公体验还不够理想,VR还不能替代显示器;
  • MR录屏还需要改善;Meta内部曾为《Beat Saber》录制MR比赛视频,但没成功;
  • Meta在筹备“更新并关机”功能;
  • 卡马克不支持Meta自研操作系统,目前已改为优化安卓系统。

卡马克表示:去年我就说过,今年Connect大会如果不在Horizon中举办,我会失望的。现在我在VR中发表演讲,也还不是我想要的形式,这其实跟录制视频也没什么差别,不过是虚拟化身替代真人出镜而已。而尽管今年Meta没有将Connect舞台搬到Horizon的虚拟场景,但我和其他人在Horizon房间中观看了Keynote直播,体验感相当不错。

Horizon中的虚拟大屏画质清晰,周围的虚拟特效也小小加分,而且和十几个人在同一个空间中看直播,是不错的体验。

值得注意的是,马克·扎克伯格也通过虚拟化身的形式加入了Horizon的直播活动,虽然只是一个预设的动画,但让我看到了未来虚拟直播的形式。在我的预期中,如果未来在VR中举办活动,演讲者将以虚拟化身的形式在台上讲话,演讲结束后可以走下台阶,到现场观众身边交流和互动,但这将需要Horizon支持大规模空间(至少数百个虚拟房间)、数千人级多人同时在线和实时统一共享功能。

目前,Horizon还需要解决一些关键的技术挑战,不过这些挑战在未来也不是难以逾越。


关于Avatar


当前一个急于解决的问题是,Avatar的渲染质量不够高。今年初,我们看到了对Avatar质量的公开吐槽,因此Meta内部开始致力于呈现更加优质的Avatar技术。为了提升Avatar的质量,Meta还研发了更多渲染优化。

我现在的演讲舞台实际上是一个定制的Horizon空间,这个空间的特点是持续锁定我这个Avatar的细节层次,不管发生什么,这个Avatar的质量也不会下降。但如果你使用正常的Horizon应用,很有可能会看到其他人的Avatar掉帧或闪烁。如果将每个Avatar的渲染质量提升两倍,也许可以解决这个问题,但同时可能牺牲其他方面的性能。

实际上,因为VR一体机的算力等资源有限,所以我担心逼真的虚拟化身系统(比如Codec Avatar)应用起来很困难。在很多情况下,云端渲染也无法解决这一问题。

与此同时,我喜欢Meta Avatars的现状,这个头像系统的可选择性在持续增加,也很开心有新的VR应用引入Meta Avatar。Meta旗下的非VR应用也开始支持Avatars系统,这将会为该系统带来更多受众。

对于Avatars系统,我个人更倾向数量而不是质量,因为在很多应用场景,如果只能同时运行4-8个Avatar,效果并不如同时运行至少几十个Avatar,理想的情况当然是数量越多越好。

实际上,即使在Horizon最多Avatar数量限制内,也可以实现不错的多人活动。比如,将讲话者的Avatar复制并放到每个分区中,这些分区包含一个主区和其他复制区,就像是多元宇宙。观众可以选择排队进入主区与演讲人、企业代表对话,也可以加入好友所在的复制区,体验和主区同样的演讲内容。目前我们还不能解决Avatar规模化的问题,也许分区是个实际的方案。

在Horizon中举办虚拟活动有一定优势,目前已经可以在虚拟空间中实现专业的多机位设置,团队可在虚拟空间中运镜,制片团队可控制演讲画面,就像是拍摄专业的线下活动那样。

在VR中举办活动,有望为研讨会、展会带来实际的价值。与其投入大量成本在线下举办大规模活动,不如将资金用来购买VR头显,每个参与者可以通过VR加入会议。很多情况下,即使你给参会者免费发放VR头显,也是能赚到钱的。


Horizon Home现状


相比于Horizon Worlds,我更关心Horizon Home空间,Meta内部将它称为VR Shell(直译为VR壳、VR框架)。Horizon Home的原始核心程序是我几年前写的,所以我个人比较偏爱它,但就其现状我还是有几点不满意。

首先,近些年Horizon Home性能下降不少,几乎很难锁定在目标的90Hz刷新率,我每次使用VR都会被这个问题困扰。就像我常和开发者们讲,如果VR内容达不到90Hz稳定刷新率,就应该下调到72Hz,这样至少可以更流畅,比高刷新率但抖动、不均匀要好。

当然,低刷新率也有其他的缺点,比如应用启动速度慢,场景切换容易出错等等。为了给用户提供无缝衔接的VR体验,多年来我一直推动通用屏幕共享模式等“一键社交”功能。

比如前不久推出的Home社交模式,尽管目前还存在一些小故障,但是在本地和其他人的Avatar互动很不错,在Explorer主页上可以直接一键邀请好友加入派对,很方便。而且Home社交模式基于本地渲染,未来将有望比Horizon运行更快,支持的Avatar数量更多。当然,我们还需要继续优化Home社交模式,提升用户进入Home的速度。

目前,用户加入好友Home空间大约需要等1分钟,未来希望减少到几秒,这样VR中的互动就可以像发短信一样快速响应。在我的预期中,未来你可以进入同步的VR场景进行社交,速度就像是使用手机打开app那么快。

此外,未来Home可能还会有一些改变,比如将Horizon Worlds中采用的第一人称手臂引入Home的Avatar。目前,你在Home中不能在第一人称看到Avatar的手臂,只能看到两个手柄,未来Meta计划采用模拟的手臂来取代只有手柄的设计。而这将要求用户提前设置自己的Avatar。

此外,可能还会在Home中加入虚拟镜子,引导用户设计自己的形象。通常,VR游戏中的镜子基于单独渲染的视图,画质较低、比较模糊。而未来Meta将在Home中加入一个比较清晰的虚拟镜子,其原理是翻转场景视图,将镜子对面的区域切割,这样镜子中的图像就和周围的场景差不多清晰了。这个技巧是我在开发《Doom 3》时就使用的,

目前,用户可以通过传送系统在Home场景中走动,这种传送交互不够直观,而且只能移动到预设的位置。为了优化Home中的移动机制,我一直在与设计师争执,希望Home可以支持通用的自由探索。然而产品设计则担心,如果用户可以自由走动,可能会走到环境边界,穿模去看VR场景外的部分。

总之,由于Home已经支持社交模式,一大群人在同一个空间却不能自由走动,这种体验并不好。不过,我相信这个问题会在不久后解决。

另一方面,用户在Home社交中可以聊天、照镜子,而未来如果支持屏幕共享,会更有价值。目前,你可以在Home中共下个呢沉浸式视频,未来可能会支持网页应用共享,但我一直在推动一种完全通用的屏幕共享功能,允许好友查看你的VR控制面板。在共享过程中,可能因为重新编码等过程而损失质量,也许可以通过采用中心源串流的方式来优化。

当前,人们几乎可以在屏幕上做所有事情,如果可以让你和其他人快速、简单的分享屏幕,那么将有望为同步社交带来价值。相比于开启Horizon Worlds和Workrooms应用,如果可以在Home中直接共享屏幕,这种体验会更快速、更简单。

宏观来看,我认为未来可以让Home空间产生关联,允许人们在不同的空间中快速穿梭,而且这种虚拟空间不一定要和一个人绑定,也许可以效仿Facebook群组,将这个空间作为多人聚会的场景。我总是说,每一个Facebook群组,都应该在VR中有一个相关联的房间。

当然,我不希望Horizon Home成为另一个Horizon Worlds,这两个产品的用途不同,Worlds更注重动态、互动的空间,而Home的重点则是虚拟化身、控制面板和漂亮的静态场景。Meta内部曾提出在Home加入场景图动画等复杂内容,但我提出了反对,因为这是Horizon Worlds的东西,Home应该保持简单、干净,避免和Worlds有太多重叠功能。

说到这里,Horizon Worlds支持传统多边形网格的决定很好,方便开发者导入高质量的3D虚拟场景。很多人评论,说Horizon Worlds质量看起来没有Home好,这是因为Home场景基于高度优化的3D建模,是在原生几何模型上贴了预照明的纹理。相比之下,Horizon Worlds主要针对用户生成内容去优化,重点是动态的内容和互动功能,因此在图像上可能有所牺牲。在支持多边形网格后,Worlds的质量可能会进一步提升。

另外,Quest 2推出了更多新的优质Home场景,不过数量没我预期的多。说到高质量3D场景,就不得不谈谈glTF等3D标准格式。我们花了大量精力去支持glTF格式,但还没有开发任何相关的内容。我们还未向所有Quest用户/开发者开放glTF支持,目前主要将它作为内部工具的一部分,有时候并不使用该功能。

既然已经开发了glTF支持,倒不如也向所有人开放,即使用户使用glTF模型并不能开发优质的内容,这也是UGC生态的特点所在,总会有人能开发出令人惊艳的优质体验。


关于延迟


对于VR体验,我最关注的一点就是降低动作延迟和使用步骤,不管是定位、打开应用,这个过程都要快速。

去年,Quest的语音延迟很严重,常常将声音卡成两半。而今年,我们大幅优化了语音延迟,甚至还计划进一步降低延迟。我希望,未来通过调整音频驱动的固件,让VR语音交流比手机通话更稳定。

关于Quest Pro

我的想法一直很明确,面向大众推出高性价比的VR头显,是拓展Meta业务和VR市场发展的重要策略。Quest Pro显然并不属于这一范畴,它的定价高,但集成了非常精细的工程技术,探索了多种新的VR设计。

值得注意的是,外观大小是早期驱动Quest Pro设计的因素之一,因为Meta内部认为现有的VR头显体积大,是阻拦VR普及的一大门槛。因此,Quest Pro的设计初衷是将VR做的更小、更紧凑、更时尚,于是采用了Pancake透镜方案。

与Quest 2相比,Pro的头显部分看起来更小,但实际上采用了更大的电池,不过电池和头显前后分离,重量可以更均匀分布。

除了对于外观的考量,Pancake透镜的另一个好处是图像显示的更清楚,尽管Quest Pro的屏幕分辨率和Quest 2接近,但实际显示效果会更好。我常说,限制Quest 2清晰度的主要是光学,而不是分辨率。菲涅尔透镜只能清晰显示视觉中心20-30°的范围,而边缘的图像会看起来比较模糊。相比之下,Quest Pro图像边缘也足够清晰,即使是将由小字组成的密集网页铺满你的视场角,你也可以自然的移动注视点来阅读,不需要左右移动头部,这与Quest 2有很大不同。

不过Pancake的缺点是,由于边缘图像清晰,Quest Pro很难使用固定注视点渲染功能,图像边缘模糊看起来比较明显。相比之下,Quest 2通过固定注视点渲染功能,可将性能优化20%左右。由于VR一体机图形处理能力有限,同时渲染大量像素可能会影响VR的刷新率。

值得注意的一点,Pancake透镜依然存在一定的边缘渐晕效果,图像边缘比中心更暗。如果校正这一现象,那么便可能牺牲中间的部分动态范围,因此目前还没有一个明确的解决方案。很多基于Pancake透镜的VR头显,在高对比度模式下容易出现重影,但我目前在Quest Pro的量产透镜中并没有看到严重的重影问题,所以还不错。

显示屏方面,Quest Pro采用分区两块LCD,配备了完整的背光阵列,可支持分区背光,不过考虑到显示架构的一些设计本身存在一定延迟,我们就没有通过分区背光来实现滚动快门功能。不过,未来我们可能会通过分区背光来支持局部调光,这样就可以通过关闭屏幕上黑色部分的背光,来显示类似于OLED屏幕的纯黑色。

OLED虽然可以显示纯黑色,但它还是存在精度、镜面校正等问题。相比之下,Quest Pro在LCD上也能实现纯黑色显示,显示效果也更好。当然,LCD并不能默认关闭背光,还需要先扫描屏幕,这将需要一定时间,不过大多数VR场景的纯黑区域比较少。

有一项功能我很期待,但Quest Pro目前还不支持,那就是超高动态范围HDR。在理想的情况中,HDR允许你从屏幕中看到每个像素的色彩范围和强度,并选择最佳背光值,将所有的像素的亮度重调到0-255区间。此外,在局部调光LCD屏中实现HDR还有一定局限,比如显示黑色夜空中的明亮星星效果可能并不好,不过显示从室内向室外看的场景时,HDR效果非常好。可以在室内部分显示高质量的暗淡色彩范围,而室外部分则可以将背光亮度调大,让视觉效果看起来非常明亮。当然这只是我的预期,目前还没有这样的技术。

不过,实现HDR的成本相当昂贵。未来,我们希望通过演示预先计算好的HDR场景地图,来探索这项功能的应用场景和价值。

关于Quest Pro的充电底座,它的作用不只是为了充电,更重要的是它可以优化VR头显的使用体验,在你不使用Quest Pro的时候,可以将它放在充电座上,这样下次就可以随时拿起来用。相比之下,人们在使用Quest 2后常常不能及时充电,这一定程度上降低了使用频率,而且也不能及时更新。

硬件方面,Quest Pro整体比Quest 2重,但舒适度广泛提升,长时间佩戴在脸上的压力不大,特别适合看电影、办公等一些比较静态的场景。Meta内部员工曾尝试体验Quest Pro,反馈连续几个小时使用感Quest 2要舒服得多。


关于XR2+芯片


芯片方面,Quest Pro采用了高通骁龙XR2+ SoC,XR2+基本上和XR2基于同一个核心,主要的升级是拓展了内存、优化了散热,因此可以在更高的频率运行,性能更好。简单来讲,就是通过全新的封装技术来改善XR2芯片的散热效率,从而实现超频运行,榨干芯片的性能。

芯片方面的一大提升是内存多了很多,可以更好的进行多任务处理,VR应用不需要牺牲太多性能,因此开发起来更容易。也许开发者可以先通过Quest Pro测试VR应用,经过优化和迭代后,再下放到Quest 2等较低端的VR设备上。

正是因为XR2+带来额外的性能,Quest Pro可以在VR游戏中查看浏览器界面。我觉得,这个功能未来也可能在Quest 2上实现,很多VR应用并不会占用全部内存。

目前,Meta正在与高通密切合作,研发真正的XR2下一代芯片除了提升CPU和GPU性能外,未来我还期待看到一些专为VR定制的特殊功能。不过,XR2的下一代芯片可能适用于高端VR头显,未来还需要为更便宜的VR头显推出成本更低的方案。

另外,尽管Meta内部有很多人想要自研芯片,但我认为Meta的自研能力还没有到达苹果的水平,与高通合作是一个很好的选择。


注视点渲染功能


Quest Pro支持眼球追踪,这项技术可以有多种用途,比如大家期待的注视点渲染功能。在外界的预期中,注视点渲染功能可将GPU性能提升数倍,目前这是绝不可能的,因为眼球追踪和图像生成架构之间存在矛盾。首先,眼球追踪需要扫描和计算的过程,这意味着延迟,而图像渲染系统需要了解用户在看图像的时候,注视点的实时位置。

目前,Meta眼球追踪系统的延迟大约在50毫秒左右,在这50毫秒中,人眼可以运动很长的距离。不同于手柄定位系统,眼球追踪系统没有加速计,仅通过扫描图像来计算眼球位置难以做到精准。如果眼球追踪不够准确,那么注视点渲染的效果就容易模糊。

降低延迟也不是不可能,比如提前预测用户注视点运动,在GPU渲染每一块图像之前,预测这块区域显示后,是否会进入用户注视点范围。如果在注视点范围内,就将这块区域以完整质量渲染,如果不在注视点范围内,就以较低质量渲染。目前,Meta还未实现这样的技术,VR图像系统有这样的能力,所以我们也许可以和高通合作,在硬件上实现这种功能。

相比于固定注视点渲染,动态注视点渲染对VR图像只有小幅提升,在侧重于着色器渲染的系统中才能优化更多像素。所以,先不要太期待注视点渲染功能。


眼球追踪与社交


很多人希望通过眼球和面部追踪,来模拟细微的面部表情变化,从而带来额外的虚拟社交互动。我不是评论虚拟社交互动的合适人选,不过目前Meta有很多工程师在为此努力,尽可能优化基于眼球/面部追踪的社交体验。

目前,我正在使用Quest Pro来发表演讲,但并没有用上眼球和面部追踪这些特殊功能,因为如果出什么差错,肯定会被人拍下来。实际上,Quest 2首发的时候并未支持手势追踪,后来通过多次迭代才得到优化,未来Quest Pro的眼球/面部追踪会逐步提升到一个不错的水平。


彩色VST透视


关于Quest Pro的彩色高清VST透视功能,首先我并不是MR技术的拥护者,因为还没有看到MR应用的真正价值所在,我也不确定MR能否打开大众市场。尽管如此,Quest Pro彩色透视的体验感很自然,比Quest 2的透视效果大幅提升。图像质量,Quest Pro透视平面的效果很好,但在透视摆动的手指或是一些多边形时,还是可以看到物体周围有伪影。

除了VST透视外,Quest Pro还有一个特点就是头显周围和底部为开放式。我本人喜欢VR的沉浸感,因此多年来一直吐槽Quest 2等头显在鼻子处漏光的效果。我以为用开放式VR头显来玩游戏体验感不好,但实际体验下来并没有想象中那么困扰我。如果想要更好的沉浸感,可以使用磁吸式遮光配件。

与此同时,Quest Pro的开放式设计对于办公、生产力等场景会更有意义。比如你可以通过VR头显下方的缝隙看桌面上的笔记、周围的环境,或是看键盘打字等等,作为键盘追踪的补充。


手柄定位与追踪


Quest Pro配备全新的VR手柄,特点是定位更加灵活,体验感不错。实际上,每个Quest Pro手柄就像是一个完整的计算机系统,其内置追踪系统和摄像头。虽然我不确定这么做是否值得,但在VR手柄上实现这么多功能很神奇,而且也优化了因为遮挡而丢失追踪的问题。不管我把Quest Pro手柄放到桌子下面还是背后,都能正常定位。

当然,这种VR手柄设计也有一定缺点,比如在使用时要注意手指别挡住定位摄像头。另外,精心设计的VR游戏通常为了体验流畅,不需要VR手柄移动到复杂的位置,因此Quest Pro手柄的定位能力不一定会为VR游戏带来太多提升。明智的开发者也不会急于为Quest Pro设计复杂的VR手柄交互,因为目前Quest 2手柄还不支持这样的效果。

未来,我希望VR的定位系统可以同时追踪多个VR头显/手柄,允许多个VR用户在同一空间中共享位置追踪数据,实现本地多人VR体验。


关于定价和定位


我个人仍然希望推动Meta研发超便宜、超轻量的VR产品线,我的目标是实现250美元价位、250g重量。尽管目前Meta没有这样的VR产品,但我还是一直在尝试。也许在未来,可以给VR瘦身,省去一些功能,以实现更舒适的外形、更低的价格,吸引更多人使用。

提到价钱,就要说到Quest 2涨价这件事,显然这是一个不受欢迎的决定。毫无疑问,在消费级VR头显发售一段时间后再涨价不常见。实际上,硬件补贴政策在游戏主机等封闭生态系统很普遍,亏本卖硬件靠软件赚钱是一种常见的商业模式。但这种激励措施可能并不恰当,反而会对产品的使用价值产生反作用。

比如,Quest平台上有一些VR应用是免费的(VRChat、Rec Room等等),这些VR应用常常位居排行榜前列,但Meta通过它们赚不到钱,所以内部也没有主动去推动这些免费应用发展。因此Quest 2涨价有一个很好的优势,就是Meta可以将更多精力放在塑造用户价值上,即使部分用户在购买VR头显后更常使用免费的App Lab应用、WebXR应用、本地侧载VR应用也没问题。

我希望Meta可以尽可能推动免费VR应用发展,这实际上对VR生态是有益的。


Meta账号


利用全新的Meta账号取代Facebook账号登录是一件大事,你可能想象不到Meta内部做了多少工作。网上有不少人反对用Facebook账号登录VR,因此拒绝使用Quest 2。不过Quest 2的销量比Meta此前所有VR头显加一起还多,因此这些反对Facebook的人显然对产品销量影响不大,而且目前还没有发现大量未使用Facebook的新VR用户。

我知道,将不同的账号系统捆绑在一起并不好事,假如你的Facebook账号有问题,这不应该影响你登录VR账号。尽管如此,起初将VR与Facebook系统绑定的一些优势没有实现,除了整合好友列表外,我原本还希望通过用户在Facebook上喜爱、发布的内容,来为VR交友场景带来共同话题。此前我们曾在Venues上尝试过类似的功能,但后期没有通过隐私审查。

人们并不信任这种个人信息读取和共享。实际上,通过大量的监督和审查,Meta希望可以通过获取的数据来做积极的事情。小心处理用户数据对于是一家公司的重要原则,尽管可能会阻碍我们开发适合用户的VR功能。


VR头显定位


VR头显定位的稳定性得到了很大提升,Meta内部有两条技术线路,一种是量产的定位系统,另外一种是科研的定位系统,为了将两种系统合并,Meta付出了巨大投入。因此在过去一年,边界消失、定位丢失等问题已经肉眼可见的减少了一半。

VR头显的定位效果得到了整体提升,不过还是存在个别VR头显定位不稳定的情况。值得注意的是,Quest定位系统需要在具有一定亮度的环境中才能运行,30%用户的使用环境比官方规定的水平更暗,这是一个可怕的数据。尽管Quest可以在更暗的环境中定位,但目前算法未对这些暗光环境取钱优化,接下来Meta有理由重新调整。另一方面,你可以在使用Quest时打开室内灯,来提升定位效果。

VR手柄预测

VR手柄的预测算法得到了优化。此前,《Eleven Table Tennis》的开发者曾反馈,VR乒乓球游戏在Vive和Quest上分别运行时,可以感觉到Quest手柄预测算法不如Vive。因此,Meta对大量数据进行分析,优化了VR手柄位置推算效果。

在优化VR手柄的过程中,我们发现VR手柄的震动和VR头显播放的高音量声音,实际上会干扰头显和手柄中的IMU定位。因此,Meta开始采用一些特殊的措施去过滤、优化这一问题。

Air Link

为了改善Air Link串流效果,Meta推出了专用的配件。在使用Air Link模式时,你最好是将电脑连接网线,而不是连WiFi。如果你已经有完美的Air Link配置,那么USB WiFi配件的提升作用并不大。

相比于商业路由器,VR专用的WiFi配件好在哪呢?它的特点是性能接近高端游戏路由器,比普通的路由器在一些细节上处理的更好,而且使用方便,只需要插在电脑上就能解决很多问题。

App Lab

App Lab的进展不错,我的职责是作为客服的最后一层,通过与内容审核团队跟进,我发现App Lab的审核速度已经足够快。App Lab还加入了应用内购买功能,实际上这个功能应该一开始就推出。

120Hz刷新率

Quest 2正式支持120Hz模式。在探索该功能的应用场景时,我发现高刷新率非常适合播放视频,渲染3D场景还是比较难,除非你预先对模型进行优化。

通常,在刷新率60Hz的屏幕上播放60Hz视频太容易出现闪烁,而在72Hz或90Hz屏幕上播放60Hz视频时也不够稳定,提升不大。相比之下,在120Hz屏幕上播放60Hz视频效果不错,播放120Hz视频的效果会比普通视频更加流畅。

Quest 2可解码4Kx4K分辨率、120Hz刷新率的2D视频,这种功能可用来在VR中播放体育视频,效果很棒。不过,Quest Pro还不支持120Hz刷新率。

手势识别

手势识别技术一直在优化,尽管这种交互方式还远没有触屏那么自然。很多人觉得,可以直接在VR中设计一个虚拟的平板界面,然后用手戳这个界面即可。但问题是,距离越近的交互对延迟越敏感,因为每次运动覆盖的范围比远处更大,所以如果预测算法不够准确/灵敏,那么可能会因为实际手势和虚拟手势位置不匹配,而引起舒适性问题。

当然也有解决这种问题的办法,比如在合成器的时间扭曲中直接移动控制面板,这样也许可以将延迟降低至10毫秒。

如果想要在手势交互中加入反馈,可以设计交互式3D按钮,或是对虚拟菜单进行表面处理,标记出可触控的部分,并且在下面用阴影加深。此外,还可以为触控动作配提示音,来确认交互。

Meta内部有一个专门研究手势交互的实验室,未来将有望进一步提升VR中的手势体验。另外,通过手势追踪API,未来我们会看到手势交互应用在更多VR游戏、VR健身应用中。也许我们需要进一步优化VR手势,来识别/追踪快速的手部运动。

最终,我们希望将手势识别看作是VR头显的主要输入方式,目前这项技术还不够成熟,但差距不算很远。而且在社交等场景手势识别具有一定可用性,比如省去VR手柄交互,允许新手快速上手VR。在演示VR时,手势识别的体验更加自然,比VR手柄更容易学习。


VR办公


每一年,我都会尝试在VR中做一些研究工作,目前VR办公体验还不够理想,但已经越来越接近了。VR生产力应用正在缓慢优化,蓝牙键盘和鼠标追踪效果还不错,只是鼠标滚轮的交互有点奇怪,不过在近期的更新中推出了相应的补丁,也许已经修好了。

多窗口模式越来越好,目前主要支持多个浏览器窗口,不过未来希望可以同时打开多个安卓应用、远程桌面串流等窗口,实现更复杂的多任务处理。

目前VR还不能替代显示器,但它依然有一些优势,比如将手机屏幕放大,可以让我看清手机上更多细节,不过这也可能因人而异。最终,我们确实希望用VR头显取代电脑,在旅行、出差时供你使用。从电脑向VR过渡,前期体验感可能并不好,但取代PC是我们终极的目标。

在我看来,VR需要能够取代其他设备,才能算成功。我们不可能期望人们在现有硬件基础上,再额外购买VR,VR头显应该不仅能带来全新功能,还要能取代现有的硬件产品。


VR视频录制


Quest开始支持高级录制设置,VR录屏效果得到改进,可以设置16:9尺寸和比特率,而且支持运动稳定效果。接下来,我们需要支持3D立体录屏设置。我还希望推出刷新率设置,比如在60Hz刷新率运行VR应用,并以60Hz录制视频。

投屏和MR录屏

VR的投屏流程得到了改善,但我还是希望进一步简化步骤,甚至自动将VR头显屏幕分享到关联的手机客户端。

Quest 2已经支持MR视频拍摄,但这项功能还需要变得更好。Meta内部曾举办一场《Beat Saber》大赛,最后一轮是我对决马克·扎克伯格,并且计划用MR的形式记录比赛,结果并没成功,只能通过剪辑将真人视频和VR录屏缝合。


需要改进的方面


接下来,我想谈一些缺点。首先,Quest的基本可用性需要改进,比如续航有限,更新等问题很容易打断、阻碍VR体验,让用户失望。VR应该是一种炫酷的体验,向其他人演示的过程应该是愉悦的。为了展示VR,Meta还设立了线下门店。接下来,我希望通过改变主线代码来提升VR演示的流程。

Quest的可用性存在很多小问题,不容易解决,但Meta内部已经有足够多的人受够了这些问题。目前,Meta正在筹备一个“更新并关机”功能,这样就可以在关机之前更新到最近版本,下次开机时将无需再更新。我希望,可以将遥测等几乎所有的后台处理任务都放在Quest关机之前或睡眠期间,不影响VR的正常使用,不过这将需要系统级别的控制。

近期有人问我,怎么看待为沉浸式计算平台从头开发全新的OS,现在我也许可以回答这个问题。Meta此前确实为自研OS付出大规模投入,但我并不支持,而且我有一篇关于这件事的内部帖子曾被举报并删除。实际上,我理解为什么要重新开发OS,我清楚的意识到现有OS中浪费资源的部分,有太多我想要重新编写的地方。但如果将VR的OS向第三方开发者开放,便会失去系统优化的优势。

目前,Quest大多数VR应用基于Unity、Unreal等引擎,或是在Chrome浏览器上运行,而优化的操作系统对这些VR应用的影响并不大。

从战略角度讲,Meta拥有自己的操作系统好处是,可以避免因竞争而受到其他科技公司限制,如果自研OS,就可以拥有完全的控制权。但即使自研的OS技术更好,对于第三方开发者生态来讲,也不是明智之举。比如,在开发基于安卓系统的VR内容时,你可以在Stack Overflow或是谷歌文档等平台获取经验和答案,尽管现有的操作系统并非专为VR优化,但它已经拥有成熟的开发者生态,这很有价值。

目前,Meta内部还是有部分OS开发者在优化Quest的安卓系统,我认为他们将会为Quest系统带来超强的升级,比如通过虚拟内存、静态映射资源等方式,加速用户进入VR应用、VR空间的时间。Meta也许可以和Unity、Unreal在引擎侧面上去合作,优化资产配置过程,开发者不需要学习新知识,便可使用新技术。

最后,对于未来的Meta Connect,我希望可以和大家相聚在同一个空间,也许明年我们可以在VR中实现这一点,就像是以前在线下见面那样。