NVIDIA 开源 Lyra 2.0,单图生成可漫游 3D 世界

来源:爱集微 #NVIDIA# #Lyra 2.0# #3D 世界#
732

4 月 26 日,NVIDIA 正式发布并 100%开源了 Lyra 2.0。用户只需上传一张普通的 2D 图片,它就能瞬间将其“吹胀”成一个深邃的、可以四处走动、可以回头张望的 3D 交互世界。

Lyra 2.0 的核心逻辑是将输入的一张图片转化为一个持久的、可探索的 3D 世界。它的工作流程包括图片变视频、视频变 3D、3D 可交互三个步骤。首先,Lyra 2.0 以 Wan 2.1-14B 作为视频生成的底座,给它一张图片和一条摄像机轨迹,它就能生成一段“漫游视频”。然后,生成的视频帧被送入前馈 3D 重建模型,直接输出 3D 高斯泼溅和表面网格。最后,NVIDIA 提供了一个交互式 GUI,用户可以在累积的点云中规划摄像机路径,重访已经探索过的区域,或者勇闯未知之地。

Lyra 2.0 解决了“空间遗忘”和“时间漂移”的问题。它通过几何只做“路由”,不做“渲染”的方法来对付空间遗忘,通过让模型“吃自己的苦果”学会纠错的方法来对付时间漂移。

和 Lyra 1.0 相比,2.0 实现了从“短视频 3D 重建”到“大规模持久世界生成”的飞跃,抗遗忘、抗漂移两大机制让它能处理包含大幅视角变化和位置重访的长摄像机轨迹。

责编: 张轶群
来源:爱集微 #NVIDIA# #Lyra 2.0# #3D 世界#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...