1分钟生成高质量3D素材!Meta甩出文生3D模型 效果展示惊艳

智东西 编译 陈骏达 编辑 程茜

智东西7月3日消息,今日凌晨,Meta发布了他们的文生3D模型 Meta 3D Gen(简称3DGen) ,给文生3D赛道抛下一颗重磅炸弹。

3DGen能在1分钟时间里根据文本提示词快速生成3D资产(指制作3D动画的数字化资源,如3D模型、纹理贴图、材质等), 速度是现有其它系统的3-10倍 。它还能在同一3D形状的基础上快速调整纹理贴图,帮助创作者实现快速迭代。

基于物理的渲染技术(PBR)是3DGen最重要的特点。之前大部分3D生成模型都不具备这一功能, 这给AI生成的3D资产的实际应用带来不便。

PBR能将3D模型的物理属性融入到3D资产中,让3D模型与模拟的物理世界的互动更为自然,是创建逼真的影像和自然真实的环境的重要技术。支持PBR的3DGen能 更好地融入游戏开发者、电影后期制作者的工作流中。

Meta还在技术文档中详细介绍了3DGen背后的技术方法。他们 采取了两步走的方式实现3D资产生成。 一个名为AssetGen的模型被用于生成基础的3D形状和纹理,另一个名为TextureGen的模型专门用于生成质量更高的纹理,优化AssetGen的生成结果。

▲3DGen的展示视频(图源:Meta)

采取这一技术路径的3DGen在Meta进行的测试中 获得了专业创作者和普通人的高度评价 ,在提示词忠实度、纹理质量、几何性质和图像质量上都获得了比大多数3D生成模型更高的得分。

一、1分钟生成高质量3D资产,速度比现有其它系统快3-10倍

制作3D资产一直是设计和开发电子游戏、VR/AR应用以及电影特效行业耗时最久且最具挑战性的问题之一。Meta本次推出3DGen便是为了给这一问题提供一个可能的解决方案。

Meta在技术报告中称,3D资产生成远比图像和视频生成困难。在实际应用中的3D资产要求极高,目前并没有大量现成的3D资产可供训练。供图像和视频模型训练的数据是数以十亿计的,而 可用于训练的3D资产的数量要小3-4个数量级。 因此,3D生成必须从非3D图像和视频中学习,并学会从2D的观察中推断出3D信息。

3DGen支持复杂的文本提示,与其它文生3D方法相比, 对文本提示的忠实度较高。 Meta称3DGen生成一个3D资产 仅需不到1分钟,速度比现有其它系统快3-10倍。

在初始生成完成后,3DGen还可根据新提示词给出的需求, 在20秒内重新调整原3D资产的纹理。

Meta目前并未公开测试这一系统,但他们在社交媒体X上公布了一段3分钟的视频,具体展示了这一模型的生成效果和功能。

下方生成结果的提示词是“a pug made out of metal(一只金属的哈巴狗)”。生成结果完全符合提示词内容,画面中这只金属的哈巴狗的3D网格(3D模型的框架)结构符合真实世界中哈巴狗的外貌,纹理清晰度和分辨率也比较理想。

▲3DGen能生成纹理质量较高的3D资产(图源:Meta)

Meta在X上分享的视频中还展示了3DGen的纹理调整功能。这一功能让3DGen按照指定风格改变整个场景中的纹理。在下方的展示视频中,测试人员输入了恐怖片、像素风等提示词,3DGen快速地生成了指定风格的3D纹理。这些纹理被统一地运用到了场景内的所有3D形象上,生成质量较好。

▲3DGen能根据提示词给同一3D网格赋予不同的纹理(图源:Meta)

二、支持基于物理的渲染和人工3D网格输入,更易融入创作者工作流

过去,AI生成的3D资产通常不具备真实的光照和材质属性,从而限制了它们在专业工作流程中的实用性。3DGen系统支持基于物理的渲染(PBR)和人类艺术家3D网格输入,这能让创作者更便捷地将3DGen生成的3D资产融入到自己的工作流中。

PBR技术将一些基于物理规律的属性信息融入到了3D贴图中,如某一特定材质的反照率、粗糙度、金属度、不透明度、折射效果、自发光等。

这项技术的运用让计算机 不仅能理解3D资产的形状,还能理解3D资产会如何与光线等物理世界的因素产生交互作用 ,这对创建逼真的影像和自然真实的环境是不可或缺的,还能确保创作过程中的一致性。

这项技术目前已经广泛运用于建筑可视化、游戏、VR/AR、电影特效制作等行业,是创作高质量3D资产的重要方式。 支持PBR技术的3DGen生成的3D形象不仅在处于静态时拥有较高的质量,也能在3D形象移动时保持极高的真实性。

在Meta的宣传视频中,他们输入了“a futuristic robot(未来风的机器人)”这一提示词,并让3D计算机图形技术公司Mixamo完成了这一3D资产的人物动作自动绑定和动画。画面中,机器人在舞动时表面金属的光泽变化十分真实,这便是PBR技术的功劳。

▲动起来的3DGen生成结果(图源:Meta)

3DGen支持人类艺术家创作的3D网格输入,这一功能颇具实用性。 在长期的创作过程中,艺术家或者企业已经积累了大量人工制作的3D网格,这些网格的质量一般都会高于AI生成的网格。3DGen可以在人类艺术家制作的3D网格基础上,用AI给网格赋予多样的纹理,在快速生成的同时保持生成结果质量的相对稳定。

下方图像中是一个人类艺术家制作的无纹理3D网格。

▲无纹理3D网格(图源:Meta)

在输入“a majestic monarch butterfy(一只威严的帝王蝶)”和“a magical butterfly, arcane sigils on its wings, sparkling(一只神秘的蝴蝶,翅膀上有神秘的符文,闪闪发光)”这两个提示词后,3DGen就能让这只无纹理的蝴蝶变得栩栩如生。

▲基于无纹理3D网格生成的3D资产(图源:Meta)

三、两大关键组件实现高质量3D生成,忠实度和纹理质量远超其他模型

Meta介绍了3DGen的技术原理。他们 将3D生成分为两个步骤,并分别使用了两个组件 ,一个用于文本到3D生成,另一个用于文本到纹理生成, 这一方法显著提高了3D生成的效果。

用于文本到3D生成的模型名为Meta 3D AssetGen(简称AssetGen),它主要用于创建初始的3D资产,也就是带有较为粗糙的纹理和PBR材质贴图的3D网格(类似上文展示的无纹理蝴蝶)。这一过程耗时仅为30秒。

用于文本到纹理生成的模型名为Meta 3D TextureGen(简称TextureGen),它能为这一3D资产生成质量更高的纹理和PBR贴图,或是创建不同风格的纹理。这一过程仅需20秒便可完成。

▲3DGen的技术原理(图源:Meta)

AssetGen和TextureGen使3DGen可以融合图像、3D形状和外观以及UV纹理贴图这3个表现形式。AssetGen为TextureGen完成了较为复杂的3D形状生成工作,TextureGen是针对UV纹理贴图进行优化的模型。

TextureGen的训练数据是人类艺术家的UV纹理贴图,这些高质量的训练数据显著提升了模型表现,因此能生成比AssetGen更为真实的纹理。可以说,AssetGen和TextureGen是两个优势互补的模型。此外,Meta称这一3D资产生成的全过程都建立在Meta文生图模型Emu之上。

为评估3DGen的效果,Meta邀请了专业创作者和普通人参与了他们的研究,对提示词忠实度和视觉质量进行打分。

Meta选取了多个目前可以访问的3D生成模型作为比较对象。3DGen在3D形状生成和纹理生成这两个阶段的提示词忠实度评分都高于其它模型。在按照生成对象类型分类的打分结果中, 3DGen在物体和组合场景中的忠实度排名第一,而在人物的忠实度上表现略逊于其它模型。

▲3DGen提示词忠实度得分(图源:Meta)

生成质量方面,Meta选取了表现较好的3款第三方模型,让专业创作者和普通人一同评价模型生成效果。结果显示, 在忠实度、图像质量、纹理质量和几何性质上,3DGen都具有压倒性的优势。

▲3DGen与其它模型比较生成质量(图源:Meta)

Meta官宣3DGen之后,网友立刻想到了许多可能的应用场景。有不少网友认为将生成的3D资产3D打印出来会是不错的尝试,也有网友认为这将彻底改变游戏开发行业的规则。

▲网友评价(图源:X)

结语:3D生成技术再进化,常规3D建模人员首当其冲

AI 3D生成技术的快速发展对实现3D建模行业的技术进阶有重大意义。人工3D建模费时费力,在游戏和影视作品中运用3D形象在过去是属于少数大型公司的特权,AI 3D生成技术能简化3D建模流程,缩短3D建模时间。

目前,已有不少行业使用了3D生成技术。美国3D生成创企Meshy AI发布的免费3D模型Meshy目前已被大量独立游戏开发者使用,让几个人的小团队也能开发出真实度极高的游戏。

然而,这项技术的出现也引发了人们对3D建模这一职业未来的疑问。虽然3DGen可能会提高3D艺术家的生产力,但它也可能减少对某些类型的常规3D资产创建的需求。或许在未来,创作者需要更关注那些AI难以复制的创意方向,或是从事更为复杂的定制工作。


土巴兔APP上有云设计吗

土巴兔APP上没有云设计。 土巴兔的简介:土巴兔由深圳市彬讯科技有限公司创办,总部位于深圳市南山区科技园。 自2008年创办以来,土巴兔始终秉承“用户价值第一”的经营理念,并处于高速而稳健的发展态势。 截止目前,土巴兔已开通250个城市分站,汇聚全国近8万家正规装修公司、85万名室内设计师,已成立北京、上海、广州、武汉、长沙、南京、杭州、厦门、福州等27家分公司,当前拥有员工超过3000人。 土巴兔的产品服务:1、装修保“装修保”相当于装修界的支付宝,是土巴兔装修网为保障业主和装修公司双方共同利益而推出的一项保障性产品,装修保可为业主提供装修资金托管与质量验收服务,对业主的装修资金与装修质量进行双重保障,同时解决装修公司尾款难收的问题。 2、设计本设计本是土巴兔旗下专注高端室内设计服务的平台,主要为用户提供高端个性化室内设计服务。 设计本致力于打造业主、设计师、设计公司和商家真实互动、共享多赢的平台,目前已经覆盖全国322个城市和地区,拥有100万室内设计师资源。 3、图满意“图满意”是土巴兔推出的3D云设计系统,该系统主要依托3D云设计、VR、AR等技术,能够在线完成户型绘制、改造,拖拽模型进行室内设计,1分钟完成户型改造,10秒生成高清效果图,10分钟生成高品质全屋设计方案。 “土巴兔”名称的含义:1、土:正直,脚踏实地做人德为先,正直是根本;保持公正、正义、诚实、坦诚、守信;尊重自己,尊重别人,尊重客观规律,尊重公司制度,从而自爱自强。 2、巴:创新,锐意进取创新不仅是一种卓越的工作方法,也是一种卓越的人生信念;在方式、方法、内容上,时时寻求更好的解决方案,精益求精,谋求更好的成果水平;不断激发个人创意,完善创新机制,以全面的技术创新、管理创新、经营模式创新,推动公司的不断成长。 3、兔:主动,敏捷迅速积极主动,高度的责任心,勇于承担压力和责任;动如脱兔,对用户需求,对市场变化,反应要敏捷迅速;善于合作,重视整体利益,从而创造优秀的团队绩效。

AE是什么软件,跟我介绍一下。拜托各位大神

AE是Adobe After Effects的简称,是Adobe公司推出的一款图形视频处理软件,属于层类型后期软件。 Adobe After Effects适用于从事设计和视频特技的机构,包括电视台、动画制作公司、个人后期制作工作室以及多媒体工作室。 Adobe After Effects软件可以帮助用户高效且精确地创建无数种引人注目的动态图形和震撼人心的视觉效果。 Adobe After Effects利用与其他Adobe软件无与伦比的紧密集成和高度灵活的2D和3D合成,以及数百种预设的效果和动画,为用户的电影、视频、DVD和Macromedia Flash作品增添令人耳目一新的效果。 扩展资料:AE的主要功能:1、图形视频处理:Adobe After Effects软件可以帮助您高效且精确地创建无数种引人注目的动态图形和震撼人心的视觉效果。 利用与其他Adobe软件无与伦比的紧密集成和高度灵活的2D和3D合成, 以及数百种预设的效果和动画。 2、强大的路径功能:就像在纸上画草图一样,使用Motion Sketch可以轻松绘制动画路径,或者加入动画模糊。 3、强大的特技控制:After Effects使用多达几百种的插件修饰增强图象效果和动画控制。 可以同其他Adobe软件和三维软件结合。 After Effects在导入Photoshop和iIIustrator文件时,保留层信息。 高质量的视频After Effects支持从4*4到*像素分辨率,包括高清晰度电视(HDTV) 。 参考资料来源:网络百科-Adobe After Effects

如何用MMD做模型

最贴近MMD的软件是水杉(metasequoia),可以直接导出PMD或者PMX,兼容MMD的骨骼。 随着插件和转换的丰富,现在越来越多的有比如使用C4D,MAYA,3DMAX,Blenderd这些专业级3DCG软件建模,虽然有骨骼移植的方法,但是大多数人会选择导出OBJ进入PE(PMXEditor)来做骨骼绑定,物理绑定等。 从PE(PMXEditor)出一般都是一个模型的最后一道工序

  • 声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
  • 本文地址:https://srwj168.com.cn/caijing/40306.html
圣图尔登要1100万 斯基拉 帕尔马总价800万欧求购铃木彩
暂无