用微信扫码二维码
分享至好友和朋友圈
新智元报道
编辑：LRS
【新智元导读】 PhysDreamer利用材质点法（MPM）对物体的各个物理属性进行估计，实现了逼真的交互式响应结果，在视频生成领域向更真实的物理模拟迈出了重要一步。
Sora刚发布后没多久，火眼金睛的网友们就发现了不少bug，比如模型对物理世界知之甚少，小狗在走路的时候，两条前腿就出现了交错问题，让人非常出戏。
对于生成视频的真实感来说，物体的交互非常重要，但目前来说，合成真实3D物体在交互中的动态行为仍然非常困难。
与无条件或文本条件的动力学不同的是，以动作为条件的动力学（action-conditioned dynamics）需要感知对象的物理材料属性，并将3D运动预测建立在这些属性（例如物体刚度）的基础上。
但由于缺乏材料的真实数据，估计物理材料属性仍然是一个悬而未决的问题，因为测量真实物体的物理材料属性非常困难。
最近，来自MIT、斯坦福大学、哥伦比亚大学和康奈尔大学联合提出了一种基于物理的方法模型PhysDreamer，利用视频生成模型学习到的对象动力学先验，为静态3D对象赋予交互式动力学。
论文链接：https://arxiv.org/pdf/2404.13026.pdf
项目主页：https://physdreamer.github.io/
通过提炼上述先验知识，PhysDreamer 能够合成现实物体对全新交互的响应，例如外力或智能体操作，并且通过在弹性物体的不同示例上展现了该方法的效果，利用用户研究评估了合成交互的真实性。
问题形式化
给定一个由3D高斯表示的静态物体（其中xp表示位置，αp表示不透明度，Σp表示协方差矩阵，cp表示粒子的颜色），最终目标是估计对象的物理材料属性场，以实现真实的交互式运动合成。
具体性质包括质量m、杨氏模量E和泊松比ν，其中杨氏模量用来测量材料的刚度，决定物体响应外力作用的运动轨迹：较高的杨氏模量会带来更小的形变，以及更刚性和更高频率的运动。
花在相同的作用力下但具有不同杨氏模量的模拟运动
所以研究人员将问题形式化为，估计3D物体的空间变化杨氏模量场E(x)，可以用查询粒子的杨氏模量，以进行粒子模拟。
至于其他物理性质，粒子的质量m_p可以预先计算为恒定密度（ρ）和粒子体积Vp的乘积；粒子体积可以通过将「背景单元的体积」除以「该单元包含的粒子数」来估计得到；泊松比νp对物体运动的影响可以忽略不计，可以假设为常数。
模型架构
PhysDreamer可以估计静态3D对象的材质场，其关键想法在于生成运动中物体的可信视频，然后优化材料场E(x)以匹配合成运动。
给定一个表示为3D高斯的对象，首先从某个视点进行渲染（带背景），然后使用图像到视频生成模型来生成运动中物体的参考视频，再使用可微分材质点方法（MPM，Material Point Methods）和可微分渲染，对空间变化的材质场和初始速度场进行优化，旨在最小化渲染视频和参考视频之间的差异。
虚线箭头代表梯度流
1. 基础知识
3D高斯采用一组各向异性的3D高斯核来表示3D场景的辐射场，虽然其主要是作为3D新视图合成方法引入的，但由于3D高斯具有拉格朗日性质，所以能够直接适用于粒子的物理模拟器。
与PhysGaussian方法类似，研究人员使用材质点方法（MPM，Material Point Methods）直接在高斯粒子上模拟物体动力学。
由于3D高斯分布主要位于物体表面，因此可以应用可选的内部填充过程来提高模拟真实感。
连续介质力学（Continuum mechanics）和弹性材料
在连续介质力学中，材料的变形是通过一个映射函数ϕ来进行模拟的，可以将材料在未变形状态下的空间点X转换为变形后的世界空间中的点x，这个过程可以用公式
为了衡量材料变形中的局部旋转和应变（strain），引入了形变梯度（deformation gradient）的概念，为映射函数ϕ的雅可比矩阵F，即
形变梯度是理解和描述材料应力-应变关系的关键，涉及到材料的局部变形状态。
在高弹性材料中，Cauchy应力（stress）的计算依赖于应变能密度函数ψ(F)，可以对材料非刚性变形的程度进行量化；通常来说，该函数由材料科学家根据材料的对称性和旋转不变性原则设计，并与实验数据相匹配。
此外，固定旋转超弹性模型中的能量密度函数可以通过变形梯度的一个奇异值σi来表示，并且模型参数μ和λ与材料的杨氏模量E和泊松比ν有直接关系，这些参数对于理解材料在受力时的表现至关重要。
材质点方法 Material Point Method (MPM)
研究人员使用移动最小二乘材料点法（MLS-MPM）来求解「弹性材料动态」的控制方程，其中ρ代表密度，v(x, t)代表世界空间的速度场，f代表外部力。
MPM是一种用于模拟各种材料动力学的计算方法，结合了欧拉和拉格朗日方法的优点，特别适合于模拟固体、流体、沙子、布料等材料的动态行为，能够有效处理材料的拓扑变化，并且在图形处理单元（GPU）上容易实现并行化。
通过将物体视为一系列高斯粒子来进行空间离散化，每个粒子p代表物体的一小部分体积，并携带体积、质量、位置、速度、变形梯度和局部速度场梯度等属性。
MPM的计算过程包括粒子到网格（P2G）和网格到粒子（G2P）的转换循环（transfer loop）：
在P2G阶段，动量从粒子传递到网格，更新网格上的速度，然后这些更新后的速度信息被传回粒子，用于更新粒子的位置和速度，同时，粒子的局部速度梯度和变形梯度也会相应更新，以反映材料的当前状态。
MPM方法可以对材料的复杂动态行为进行精确模拟，包括材料的变形、断裂和交互作用。
2. 估计物理属性
研究人员使用移动最小二乘材质点法（MLS-MPM）作为物理仿真器，并采用固定旋转超弹性材料模型来模拟三维物体的过程。
MLS-MPM仿真过程
仿真器使用MLS-MPM来模拟物体的物理行为，仿真函数接收当前时间步t的粒子位置x、速度v、形变梯度F和局部速度场梯度C，以及粒子的物理属性集合θ（包含所有粒子的质量、杨氏模量、泊松比和体积）和时间步长Δt（1×10^-4）作为输入，并输出下一个时间步t+1的相应值。
为了模拟相邻视频帧之间的动态，通常需要迭代几百个子步。
仿真与渲染
在仿真后，使用可微分渲染函数Frender来渲染每个帧的高斯粒子，其中Rt表示从仿真步骤中获得的所有粒子的旋转矩阵。
然后使用生成的视频作为参考，通过每帧的损失函数来优化空间变化的杨氏模量E和初始速度v0，其中损失函数结合了L1损失和D-SSIM损失，权重参数λ设置为0.1
参数化和正则化
材质场和速度场通过两个三平面（triplanes）和三层多层感知器（MLP）来进行参数化，为了提升空间平滑性，对这两个场的所有空间平面应用了总变分正则化（total variation regularization）。
优化过程
优化过程被分为两个阶段以提高稳定性和加快收敛速度：
1. 在第一阶段，对每个高斯粒子的杨氏模量进行随机初始化并固定，然后仅使用参考视频的前三个帧来优化每个粒子的初始速度。
2. 在第二阶段，固定初始速度并优化空间变化的杨氏模量。为了防止梯度爆炸或消失，梯度信号只流向前一帧。
通过这种方式，仿真器能够模拟物体的物理行为，并根据参考视频优化材料属性和初始条件，以生成逼真的动态效果。
3. 用子采样（subsampling）加速模拟
使用三维高斯粒子进行高保真渲染通常需要数百万个粒子才能表示出一个场景，给运行模拟带来了巨大的计算负担。
为了提高效率，模型引入了一个子采样过程，在大大减少计算量的同时，还能保持渲染结果的高保真度：只用少量的驱动粒子（driving particle）进行模拟，然后通过插值驱动粒子来获得高斯粒子的位置和旋转，有效地平衡了计算效率和渲染质量。
具体来说，模型使用K-Means聚类算法在t=0时刻创建一组驱动粒子，其中每个驱动粒子由一组物理属性表示，包括位置、速度、形变梯度、局部速度场梯度、杨氏模量、质量、泊松比和体积。
驱动粒子的初始位置是其所有聚类成员位置的平均值，其中驱动粒子的数量远小于三维高斯粒子的数量。
在渲染过程中，通过插值驱动粒子的位置和旋转来计算每个三维高斯粒子的位置和旋转：对于每个三维高斯粒子，首先找到它在t=0时刻的八个最近邻驱动粒子，然后拟合这些八个驱动粒子在t=0时刻和当前时间戳之间的刚体变换T，以确定粒子的当前位置和旋转。
实验结果
数据集
通过捕捉多视角图像，研究人员收集了八个真实世界的静态场景，其中每个场景包括一个物体和一个背景，物品包括五朵花（一朵红玫瑰、一朵康乃馨、一朵橙玫瑰、一朵郁金香和一朵白玫瑰）、一株海芋、一根电话线和一顶无檐帽；然后捕捉四个交互视频来说明其在交互后的自然运动，例如戳或拖，再使用真实视频作为额外的对比参考。
实验结果
关于空间变化的杨氏模量（一种衡量材料弹性的物理量）的定性分析结果
在用户研究中，与基线方法和真实世界捕捉的视频对比后可以看到，有超过80%的参与者在两项选择实验（2AFC）中更倾向于PhysDreamer模型，认为其在运动的真实性上更胜一筹；在视觉质量方面，也有65%的参与者更偏好PhysDreamer
需要注意的是，由于比较的静态场景本身是一致的，因此视觉质量的评估也在一定程度上也依赖于生成物体的运动效果。
从运动模式在不同时间点上的切片中可以观察到，PhysGaussian由于缺少对材料属性进行原理性估计，导致其生成的运动幅度过大且速度过慢，与现实不符。
而与DreamGaussian4D相比，有70%和63.5%的2AFC样本在视觉质量和运动真实性上更倾向于PhysDreamer模型，从上图中可以看到，DreamGaussian4D生成的运动是周期性的，且幅度保持在一个较小的恒定值，相比之下，PhysDreamer能够模拟出运动中的衰减效果。
参考资料：
https://twitter.com/_akhaliq/status/1782273198551097389
https://huggingface.co/papers/2404.13026
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
网易跟贴
注册
手机发跟贴
登录并发贴
网友评论仅供其表达个人看法，并不表明网易立场。
好人好事越多越好
孔子孔仲尼
好人好事越多越好
目前没有跟贴，欢迎你发表观点
特斯拉擎天柱进厂打工，精准分装电池惊呆网友！马斯克预告22自由度灵巧手
返回网易首页 下载网易新闻客户端初中物理题： 为什么从冰箱里拿出来的冻肉放在冷水里比放在热水里肉上的冰融化的更快？
因为若放在热水里解冻，冻肉从热水中吸收热量，其外层迅速解冻而使温度很快升到0℃以上，此的肉层之间便有了空隙，传递热的本领也就下降，使内部的冻肉不易再吸热解冻而形成硬核。 若将冻肉放在冷水中，则因冻肉、冻鸡吸热而使冷水温度很快降到0℃且部分水还会结冰。 因1克水结成冰可放出80卡热量（而1克水降低1℃只放出1卡热量），放出的如此之多的热量被冻肉吸收后，使肉外层的温度较快升高，而内层又容易吸收热量，这样，整块肉的温度也就较快升到0℃。 如此反复几次，冻肉就可解冻。 从营养角度分析，这种均匀缓慢升温的方法也是科学的。
求好听的重金属摇滚，硬核摇滚，带感的日本乐队的歌
pay money to my pain： from here to somewhere （爆好听，去优酷上找）supe乐队：Eclipse（最喜欢的两个日本乐队pay money to my pain和supe）The Used ：all that ive go（这个乐队是别人推荐给我的，最爱这首）seether：break down （一听就会喜欢的歌）Skillet：whispers in the dark skillet（绝对适合你的心情）rooftops-lostprophets（不好不会推荐给你）Ill Nino-What You Deserve（魔兽里用的歌，绝对的爆发力十足）simple plan：crazy（很震撼的一首，让人心情变好）Suede - Everything Will Flow（饱含哲理的一首摇滚） 狂野夏洛克：Victims Of Love（非常喜欢的一首）Zebrahead： Falling Apart（充满极速的感觉）还有热血高校，那个电音里的插曲都非常棒，很摇滚，很叛逆的调调嘎嘎小姐：You-and-I（这首真的很不错，以往我不听她的歌，因为不太喜欢电音舞曲，但这首不听实在太损失了）Bon jovi：you give love a bad name（这个名字说明一切啦）Sunrise Avenue-The Whole Story（体育频道用过这首歌，包含希望，哈哈）Senses Fail - Bite To Break Skin（依旧是超具爆发力的歌，不过曲子很赞啊，即使去掉歌声也很好听）Within Temptation：Our Solemn Hour （哥特式的就是特别哦）Open Wounds（越听越爱）
葡萄的管理和病虫害防治
葡萄是一种色艳味美且富有营养的水果，深受人们喜爱。 葡萄适应性强，喜光照，在我国大部地区均能种植。 我市葡萄在生产过程中，有许多病虫害严重影响葡萄的产量和品质。 高温、多雨、潮湿的气候和种植感病品种是葡萄病害多发和重发的主要原因。 我市葡萄病虫害包括黑痘病、炭疽病、白腐病、灰霉病、房枯病、霜霉病、白粉病、透翅蛾、吸果夜蛾等。 根据葡萄病虫发生特点，在防治上要优先采用农业防治、物理防治，科学合理使用化学药剂防治。 一、农业防治 1、选用抗病品种。 我市目前种植的葡萄品种主要以巨峰系列为主，由于葡萄生长期间高温多雨的特殊气候，极易发生黑痘病、白腐病、霜霉病等。 近年我国在葡萄引、育种方面取得了较大成绩，培育了大批优质、丰产、抗病品种，从品种抗病性而言，一般早熟葡萄较晚熟品种抗病、无核葡萄较有核葡萄抗病，我市可选用成熟期较早的雨水红、 极抗无核葡萄、夏黑、红珍珠、巨玫瑰、醉金香、黑峰、紫珍香葡萄等抗病性强的葡萄品种。 2．高架栽培。 根据我市气候特点，葡萄架高度不能低于2米，为便于管理最好使用篱架栽培，可增强果园通风透光能力，改善果园小气候条件，增强葡萄的抗病力，棚架栽培不便于管理，通透性差，病害发生较重。 3、清洁果园。 在休眠期结合冬季修剪，剪除并烧毁各种病虫枝、叶、干枯果穗，清除地面落叶、残枝、残果、剥老皮，消灭越冬虫卵和病菌，是解决老果园病（虫）源较多的有效方法，有利于降低越冬病（虫）源基数。 4、适时适度了疏删枝条和摘心控生长。 春蔓生长期间，疏删过多营养枝、病虫枝和卷须能达到增强通风透光能力，减少营养消耗和降低病虫基数；对果枝根据品种不同在5叶期左右进行摘心，控制其过度生长，促进果穗发育，增强抗病力。 在葡萄透翅蛾发生初期，做到勤检查，发现萎焉的枝条要及时从虫蛀孔以下剪除，并集中烧毁，如果主茎受害可用细铁丝插入虫孔内剌死幼虫，是防治透翅蛾有效的方法。 5、科学肥水管理。 葡萄生长前期雨水较多，以清沟排渍为主，特别是幼果快速生长期，过多渍水可引起裂果和病菌滋生；葡萄在生长期间要多施钾肥，每666m2施含硫酸钾高浓度复合肥40Kg以上，在葡萄收获后要追施有机肥料和速效氮肥，加强养分积累，有机肥以人粪尿、土渣肥为主。 6、果穗套袋。 病害发生前对果穗套袋能有效阻止病菌与果穗的接触，是防治白腐病、房枯病、黑痘病、炭疽病等病害的有效方法，也是发展无公害葡萄生产的重要途径。 二、物理器械防治 在害虫的成虫盛发期，利用频振式杀虫灯诱杀透翅蛾、吸果夜蛾等害虫的成虫，减少果园卵量，这样既能消灭害虫，又能减少使用化学农药对葡萄果实的污染。 小面积果园还可设置糖醋液诱盆诱杀吸果夜蛾等害虫。 三、药剂防治 目前葡萄病虫害的防治，仍然需要进行药剂防治，为了达到经济、安全、有效、无污染的防治目的，要在农药品种选择、防治时间、防治策略和防治方法上做文章。 农药品种要土洋结合，在不同时期确定不同的防治重点，针对不同病虫，采用不同防治方法。 1、休眠期至萌芽露绿期，以防治越冬病菌、虫卵为主，在冬季修剪后对树木喷一次1:1:200石硫合剂；在葡萄芽萌动露绿时，用好破口药，喷一次1:0、5:200石硫合剂。 减少白腐病、黑痘病、炭疽病、房枯病等多种病害的菌源。 2、不同时期防治重点。 展叶期至花期，以防治黑痘病、灰霉病为主；幼果速生期至硬核期，是多种病害和透翅蛾的重发期，也是病虫的防治关键期，防治重点包括黑痘病、灰霉病、白粉病、霜霉病、炭疽病、透翅蛾；浆果着色到完熟期主要防治炭疽病、白粉病、白腐病和房枯病。 3、防治药剂。 防治黑痘病、炭疽病用43%好力克悬浮剂1500倍液或40%杜邦福星乳油8000倍液或68、75%杜邦易保水分散颗粒剂1200倍液喷雾；防治霜霉病用72%杜邦克露可湿性粉剂700倍液或58%甲霜灵锰锌可湿性粉剂1500倍液喷雾；防治灰霉病用50%农利灵可湿性粉剂1500倍液或50%速克灵可湿性粉剂1000倍液喷雾。 防治白粉病用15%粉锈宁可湿性粉剂1000倍液喷雾；防治白腐病用50％白腐灵可湿性粉剂500倍液喷雾；防治房枯病用70%甲基托布津可湿性1000倍液喷雾。 葡萄病害的防治可根据果园病害发生情况，突出重点，选择对口药剂防治，在多种病害混合发生时，可用上述药剂混合使用。 另外，在花期不要使用波尔多液和铜制剂防治病害，以免造成药害。 4、农药使用方法。 葡萄病害的防治要以预防为主，防治黑痘病、炭疽病、白腐病等在发病前就要喷施农药预防，以后每隔7-10天补喷一次，连续喷2-3次；其他病害在发病初期开始喷药防治，以后每隔7-10天补喷一次，连续喷2-3次。 在多次施药时，要交替使用农药品种，避免病菌产生抗药性。 5、药剂防治透翅蛾方法。 在透翅蛾卵孵盛期用25%灭幼脲悬浮剂2000倍液喷雾防治；如幼虫已蛀入蔓内可用25%毒死蜱乳油加水20-30倍用注射器注入虫孔内，用胶布封虫孔杀灭。
