解决Sora物理bug！四所美国顶尖高校联合发布PhysDreamer模型

5月6日 消息:Sora视频生成器发布后不久，就被网友发现存在物理交互的bug，例如模型对物理世界的理解不足，导致小狗走路时前腿出现不自然的交错问题。为了解决这一问题，提升视频生成的真实感，来自MIT、斯坦福大学、哥伦比亚大学和康奈尔大学的研究人员联合提出了一种基于物理的方法模型——PhysDreamer。

项目地址：https://top.aibase.com/tool/physdreamer

论文链接:https://arxiv.org/pdf/2404.13026.pdf

PhysDreamer利用视频生成模型学习到的对象动力学先验，为静态3D对象赋予交互式动力学。通过提炼这些先验知识，PhysDreamer能够合成现实物体对全新交互的响应，如外力或智能体操作，并在弹性物体的不同示例上展现了该方法的效果。

问题形式化

PhysDreamer的目标是估计对象的物理材料属性场，以实现真实的交互式运动合成。具体来说，就是估计3D物体的空间变化杨氏模量场E（x），以进行粒子模拟。杨氏模量用来测量材料的刚度，决定物体响应外力作用的运动轨迹。

模型架构

PhysDreamer通过生成运动中物体的可信视频，然后优化材料场E（x）以匹配合成运动。给定一个表示为3D高斯的对象，首先从某个视点进行渲染，然后使用图像到视频生成模型来生成运动中物体的参考视频。接着，使用可微分材质点方法(MPM)和可微分渲染，对空间变化的材质场和初始速度场进行优化，旨在最小化渲染视频和参考视频之间的差异。

实验结果

研究人员收集了八个真实世界的静态场景，并捕捉了四个交互视频来说明其在交互后的自然运动。在用户研究中，超过80%的参与者在两项选择实验中更倾向于PhysDreamer模型，认为其在运动的真实性上更胜一筹;在视觉质量方面，也有65%的参与者更偏好PhysDreamer。

PhysDreamer模型的发布，为解决视频生成中的物理交互问题提供了一种有效的解决方案。通过估计物体的物理材料属性，PhysDreamer能够合成更加逼真的物体动态行为，显著提升了视频生成的真实感。这一研究成果有望推动视频生成技术的发展，为未来的应用带来更多可能性。