NutWorld是什么

NutWorld是新加坡国立大学、南洋理工大学和Skywork AI推出的视频处理框架，能将日常单目视频高效地转换为动态3D高斯表示（Gaussian Splatting）。NutWorld基于时空对齐高斯（STAG）表示法，在单次前馈传递中实现视频的时空连贯建模，解决传统方法在复杂运动和遮挡下的局限性。NutWorld结合深度和光流正则化技术，有效解决单目视频中的空间模糊和运动不确定性问题。NutWorld支持用高保真度重建视频，实时支持多种下游任务，如新视图合成、视频编辑、帧插值和一致深度预测等。