我几乎尴尬地承认,今天我第一次看到 Meta 的新全息化身,是在与几分钟前认识的 Meta 代表进行 WhatsApp 通话时,我并没有立即意识到我正在与一个化身交谈。以下是该公司的虚拟形象技术在过去两年中取得的进展。
Meta 在 Connect 上宣布,它将把全息化身应用到新款 Meta Ray-Ban Display VR 眼镜和镜框中。我什至在主题演讲之前就有机会进行实验,当我在 Meta Orion 原型上体验该技术时,我对这项技术的进步感到惊讶。
根据您使用的设备的不同,设置头像会略有不同。借助带显示屏的眼镜,您可以通过类似于创建 Vision Pro“角色”的过程在 Meta AI 程序中创建化身。使用手机的摄像头,系统会要求您转动头部以显示脸部的不同角度。然后它会问你一系列问题,帮助你了解你的声音如何在不同的关系中产生共鸣。
在我的节目中,它问我诸如“你完美的一天从开始到结束是什么样的”和“你的爱好之一是什么以及你为什么喜欢它”。这一段节目确实出了问题。 Meta AI 应用程序运行了这些问题,就好像它无法检测到我的声音一样,但问题并没有影响这个过程。然后我被要求“微笑并露出牙齿”并重复一个短语,好像我很惊讶一样。
总而言之,为显示眼镜创建全息化身从开始到完成大约只需要 5 分钟。安装后,您可以在戴着显示眼镜进行视频通话时使用它,无论您是通过 WhatsApp 还是 Zoom 聊天。
头像是使用 Meta Muse 的全新实时头像模型创建的,该模型使用较短的训练时间来模拟您说话时的真实面部表情。观看我的头像说话是一次奇妙的体验。当我戴着眼镜并以我的头像说话时,我可以在屏幕的下角看到我自己的一个小预览。长得很像我,但我的大脑也能立刻认出来 不是 我
但当我尝试从另一边体验,拿着手机和头像说话时,我一开始就被骗了。也许是因为我刚刚认识了正在跟我说话的人。所以我不熟悉他的举止或表情,但看起来就像我期望他出现在典型的视频通话中一样。直到仔细观察背景,我才发现视频不太正常。 Meta 还为所有带有头像的视频通话添加透明水印。第一次看时,我误以为这是他的球衣标志,但如果你知道要寻找什么,它是一个清晰的标识符。
Meta 在新型 VR 眼镜中打造全息化身的计划更加雄心勃勃。由于该设备上的摄像头和传感器更加先进,因此您可以创建全身头像,而无需“训练”您的表情。它依靠向内的摄像头和传感器来理解你的面部表情。
戴着 VR 护目镜时,我能够与 Meta 产品经理的全身全息图交谈。这并没有我想象的那么令人惊奇。它绝对比苹果的“个人”头像更自然,在我看来,苹果的“个人”头像总是显得奇怪的扁平和外星人。 (它们也没有显示下半身或手臂,这没有帮助。)
但与我交谈的 VR 头像看起来和我刚刚认识的人非常接近,并没有让人感到毛骨悚然。她的双腿有些扭曲,特别是当我在房间里走动时,我可以看到她的头角有点模糊。化身并非完全 3D。它们仅显示该人以前的外貌,因此存在一些局限性。但令我惊讶的是,它的感觉比我与 VR 化身进行的任何其他交互都要真实得多(公平地说,门槛很低)。
全息头像仍处于“早期预览”阶段,显然还有一些错误需要解决。访问权限也仅限于您所使用的设备,因此佩戴 Meta Ray-Ban Display 眼镜的人可以将其他人称为自己的化身,但仅限于佩戴眼镜时。而且戴显示眼镜的人无法呼叫戴 VR 眼镜的人。 VR虚拟形象目前仅限于眼镜与眼镜交互。
Meta 表示,这些化身可以帮助人们在视频通话中感觉更真实,我在演示中确实感受到了这一点。邀请亲密的朋友或家人作为我的化身仍然让人感觉奇怪和无缘无故,但我可以理解有些人可能会有不同的感受。我采访过的 Meta 代表告诉我,他们经常邀请人们作为他们的化身参加商务会议,当你还没有准备好拍照时,这可能是一个不错的选择。
Meta Ray-Ban 显示器的全息图将于初秋上市。