详情

西湖大学AGI实验室和南洋理工大学的筹谋东谈主员联手，建议了一个名为WorldForge的全新框架。不需要进修模子，即插即用将现存视频扩散模子秒变3D天下模子。

视频扩散模子，近几年圈子里高出火。而且这些模子“看过”海量的视频数据，能学会好多对于空间、时间、通顺的规矩，后劲雄壮。

何如引发这个后劲呢？往常的筹谋者们主要走了两条路。

一是“回炉重造”。也即是从头进修或者微调模子的主干采集，用带有通顺轨迹信息的数据来喂它，甚而给它加装一些有益编码轨迹信息的模块。这法子表面上能提高戒指精度，但代价雄壮。而且模子可能只对特定场景管用，泛化才调变差了。

二是“歪曲-重绘”。先把输入的图像通过深度估打算法“升维”成一个浮浅的3D暗示，然后凭证你想要的相机旅途，把这个3D暗示从头投影到一个新的视角，让生成模子再补全。

这个想路鲁棒性是硬伤。因为预进修好的模子，“脑补”出一些不存在的通顺，闭塞了多视角的一致性。

拆解WorldForge

WorldForge是一个在“推理时”使命的框架，也即是说，它在你需要生成视频的那一刻才脱手，通过一系列精妙的指导政策，去“指导”一个仍是进修好的视频扩散模子。它既能讹诈大模子丰富的先验常识，又能罢了精确的轨迹戒指，还不会闭塞原始模子的生成质料。

它主要由三个玄虚耦合的模块构成。

“步内递归深重”（Intra-Step Recursive Refinement, IRR）。

AI生成视频的历程，不是一蹴而就的，而是像画家画画一样，从一个全是噪声的画布脱手，一步一局面去噪，渐渐变得明晰。IRR在AI的每一步“落笔”之间，都植入了一个小型的“展望-纠正”轮回。

通过在每一步都进行这种增量式的纠正，轨迹戒指的信号就被细粒度地、抓续地注入到了通盘这个词生成历程中，确保最终的视频能丝滑地沿着预定轨谈前进。

“流控潜在和会”（Flow-Gated Latent Fusion, FLF）。

这一招是为了科罚一个更深眉目的问题。IRR天然能保证轨迹正确，但有点“暴力”。AI模子在里面理会图像时，会把它压缩成一串代码，这串代码即是它的“潜在暗示”，不同的代码位（通谈）编码着不同的信息。有些通谈主要管物体的外不雅、情态、纹理，而另一些通谈则有益管通顺和结构。

FLF的作用，即是引入了一种基于光流（Optical Flow）的评分决策。光流实质上是跟踪视频中每个像素点的通顺轨迹，是形貌时间动态的经典用具。

FLF通过比拟AI展望画面的光流和参考轨迹的光流，来判断每一个潜在通谈到底和“通顺”有多大关系。

FLF给每个通谈打一个“通顺联系性”分数。分数高的，阐明这个通谈主要精雅编码通顺信息；分数低的，则阐明它更可能精雅编码外不雅等非通顺信息。

然后，它设定一个动态的门槛，只选定那些分数高于门槛的“通顺通谈”进行轨迹信息的注入和替换，而对“外不雅通谈”则依样葫芦地保留。

通过这种样式，FLF既保证了通顺轨迹的精确戒指，又最大截至地保护了模子原有的生成质料和画面细节。

“双路自我纠正指导”（Dual-Path Self-Corrective Guidance, DSG）。

前边提到，“歪曲-重绘”取得的参考图自身就可能因为深度预计不准、物体讳饰等原因，自带一些歪曲和噪声。要是胜利注入到生成历程中，如故会产生伪影。

DSG的灵感泉源于一个叫“分类器解放指导”（Classifier-Free Guidance, CFG）的本领。DSG在推理的每一步，都让AI同期走两条并行的去噪旅途。

第一条，是“非指导旅途”。这条路上，AI完全解放施展，不受任何轨迹敛迹。它产出的驱散画质很高，很恰当模子学到的数据分散，但污点是不听指导。

第二条，是“指导旅途”。这条路上，AI被IRR和FLF强制注入了轨迹信息。它产出的驱散严格谨守指定的通顺，但可能会因为参考图的噪声而产生一些伪影。

DSG在每一步都去比拟这两条旅途的去噪的场地。打算出一个动态的纠正项，用两条旅途之间的相反，来祥和地把“指导旅途”往“非指导旅途”的感知质料上拉。

这个机制就像一个贤人的导航系统。它既有你的目的地（指导旅途），又参考了及时路况和最好道路（非指导旅途）。当两条路偏差很大时，它会加大纠正力度，确保你走在正确的方朝上；当两条路基本一致时，它就减少打扰，让模子天然地生成。

通过这种自我纠正，DSG有用地削弱了由轨迹注入引起的图像退化，同期保抓了与意见相机旅途的高度对都，最终让生成视频的结构圆善性和视觉质料都上了个新台阶。

执行后果到底何如样？

筹谋团队主要在一个名为Wan2.1的图像到视频大模子上进行了测试，生因素辨率高达1280×720的视频。同期，为了阐明框架的普适性，他们也在另一个更轻量级的SVD（Stable Video Diffusion）模子上进行了考证。

在单张图片生成3D场景这个任务上，WorldForge与现时最顶尖的一众法子进行了正面交锋。

岂论是在LLFF、MipNeRF-360如故Tanks-and-Temples这些经典的公开数据集上，WorldForge都阐扬出了全面的上风。从下方的定量数据表也能看出，它的收货至极好。

在谈判生成图像质料和各样性的FID（弗雷歇运转距离）方针上，数值越低越好，WorldForge的96.08远低于敌手。在谈判图像与文本形貌一致性的CLIPsim（图像文本相似度）方针上，数值越高越好，WorldForge的0.948通常是全场最好。

WorldForge不错仅凭一张输入图片，就合成出高质料、高确凿感、何况结构一致的360度全景视图，而且还不需要先生周密景图行动中介。

在更复杂的动态视频轨迹戒指任务上，WorldForge的敌手是ReCamMaster、TrajectoryCrafter等顶尖的视频到视频模子。

实验驱散裸露，这些需要大量进修的复杂模子，在处理一些有挑战性的运镜（如弧形、推拉变焦）时，经常会产目生歧理的伪影，比如把东谈主脸弄平、弄出悬浮的头部。这响应出它们在微调历程中可能丢失了部分对确凿天下的先验常识。

而WorldForge这种免进修的法子，因为它充分讹诈了原始大模子中澌灭的3D先验，反而大要生成视觉保真度更高、轨迹对都更准、场景补全更连贯的内容。

除了生成质料，轨迹戒指的精确度是另一个中枢战场。

在这张表中，ATE（十足轨迹弊端）、RPE-T（相对位姿弊端-平移）和RPE-R（相对位姿弊端-旋转）都是谈判轨迹准确性的方针，数值越低代表戒指越精确。不错看到，岂论是在静态场景如故动态场景，WorldForge的轨迹弊端都是最低或接近最低的。

不仅刚劲，还很高效

最要津的少量，WorldForge罢了了这一切，靠的是“零进修本钱”。

从效能对比表不错看出，那些需要进修的法子，其进修本钱莫得被打算在内。而WorldForge胜利免却了这一步。它的推理时间天然比基础模子增多了40-50%，换来的是前所未有的戒指精度和质料。即便如斯，在SVD模子上，它的推理时间（1.3分钟）甚而比许多同类法子都要快。

除了生成3D场景和戒指4D轨迹，WorldForge还能玩出好多步地。

它不错结实抖动的视频，不错戒指相机旅途罢了局部超诀别率，甚而不错进行创意性的视频内容剪辑，比如添加或移除物体、替换视频主体、罢了假造试穿后果等等。

WorldForge为可控视频合成提供了一种全新的、即插即用的范式。

参考贵寓：

https://arxiv.org/abs/2509.15130

https://worldforge-agi.github.io

END开云(中国)Kaiyun·体育官方网站-登录入口