该论文作者均来自于新加坡南洋理工大学 S-Lab 团队，包括博士后胡涛，博士生洪方舟，以及计算与数据学院刘子纬教授（《麻省理工科技评论》亚太地区 35 岁以下创新者）。S-Lab 近年来在顶级会议如 CVPR, ICCV, ECCV, NeurIPS, ICLR 上发表多篇 CV/CG/AIGC 相关的研究工作，和国内外知名高校、科研机构广泛开展合作。
三维数字人生成和编辑在数字孪生、元宇宙、游戏、全息通讯等领域有广泛应用。传统三维数字人制作往往费时耗力，近年来研究者提出基于三维生成对抗网络（3D GAN）从 2D 图像中学习三维数字人，极大提高了数字人制作效率。
这些方法往往在一维隐向量空间建模数字人，而一维隐向量无法表征人体的几何结构和语义信息，因此限制了其生成质量和编辑能力。
为了解决这一问题， 来自新加坡南洋理工大学 S-Lab 团队提出结构化隐空间扩散模型（Structured Latent Diffusion Model）的三维数字人生成新范式 StructLDM 。该范式包括三个关键设计：结构化的高维人体表征、结构化的自动解码器以及结构化的隐空间扩散模型。
StructLDM 是一个从图像、视频中学习的前馈三维生成模型（Feedforward 3D Generative Model），相比于已有 3D GAN 方法可生成高质量、多样化且视角一致的三维数字人，并支持不同层级的可控生成与编辑功能，如局部服装编辑、三维虚拟试衣等部位感知的编辑任务，且不依赖于特定的服装类型或遮罩条件，具有较高的适用性。
论文标题：StructLDM: Structured Latent Diffusion for 3D Human Generation
论文地址：https://arxiv.org/pdf/2404.01241
项目主页：https://taohuumd.github.io/projects/StructLDM
实验室主页：https://www.ntu.edu.sg/s-lab
方法概览
StructLDM 训练过程的包含两个阶段：
结构化自动解码 ：给定人体姿态信息 SMPL 和相机参数，自动解码器对训练集中每个人物个体拟合出一个结构化 UV latent。该过程的难点在于如何把不同姿态、不同相机视角、不同着装的人物图像拟合到统一的 UV latent 中，为此 StructLDM 提出了结构化局部 NeRF 对身体每个部位分别建模，并通过全局风格混合器把身体各部分合并在一起，学习整体的人物外观。此外，为解决姿态估计误差问题，自动解码器训练过程中引入了对抗式学习。在这一阶段，自动解码器把训练集中每个人物个体转化为一系列 UV latent。
结构扩散模型 ：该扩散模型学习第一阶段得到的 UV latent 空间，以此学习人体三维先验。
在推理阶段，StructLDM 可随机生成三维数字人：随机采样噪声并去噪得到 UV latent，该 latent 可被自动解码器渲染为人体图像。
实验结果
该研究在 4 个数据集上进行了实验评估：单视角图像数据集 DeepFashion [Liu et al. 2016]，视频数据集 UBCFashion [Zablotskaia et al. 2019]，真实三维人体数据集 THUman 2.0 [Yu et al. 2021], 及虚拟三维人体数据集 RenderPeople。
3.1 定性结果比较
StructLDM 在 UBCFashion 数据集上与已有 3D GAN 方法做了对比，如 EVA3D、 AG3D 及 StyleSDF。相比于已有方法，StructLDM 可生成高质量、多样化、视角一致的三维数字人，如不同肤色、不同发型，以及服饰细节（如高跟鞋）。
StructLDM 在 RenderPeople 数据集上与已有 3D GAN 方法（如 EG3D, StyleSDF, 及 EVA3D）及扩散模型 PrimDiff 对比。相比于已有方法，StructLDM 可生成不同姿态、不同外观的高质量三维数字人，并生成高质量面部细节。
3.2 定量结果比较
研究者在 UBCFashion, RenderPeople，及 THUman 2.0 上与已知方法做了定量结果比较，在每个数据集上随机选取 5 万张图像计算 FID ，StructLDM 可大幅降低 FID。此外，User Study 显示大约 73% 的用户认为 StructLDM 生成的结果在面部细节和全身图像质量上比 AG3D 更有优势。
3.3 应用
3.3.1 可控性生成
StructLDM 支持可控性生成，如相机视角、姿态、体型控制，以及三维虚拟试衣，并可在二维隐空间插值。
3.3.2 组合式生成
StructLDM 支持组合式生成，如把①②③④⑤部分组合起来可生成新的数字人，并支持不同的编辑任务，如身份编辑、衣袖（4）、裙子（5）、三维虚拟试衣（6）以及全身风格化（7）。
3.3.3 编辑互联网图片
StructLDM 可对互联网图片进行编辑，首先通过 Inversion 技术得到对应的 UV latent，然后通过 UV latent 编辑可对生成的数字人进行编辑，如编辑鞋、上衣、裤子等。
3.4 消融实验
3.4.1 隐空间扩散
StructLDM 提出的隐空间扩散模型可用于不同编辑任务，如组合式生成。下图探究了扩散模型参数（如扩散步数和噪声尺度）对生成结果的影响。StructLDM 可通过控制扩散模型参数来提高生成效果。
3.4.2 一维与二维人体表征
研究者对比了一维与二维 latent 人体表征效果，发现二维 latent 可生成高频细节（如衣服纹理及面部表情），加入对抗式学习可同时提高图片质量和保真度。
3.4.3 结构感知的归一化
为提高扩散模型学习效率，StructLDM 提出了结构感知的 latent 归一化技术 （structure-aligned normalization），即对每个 latent 做逐像素归一化。研究发现，归一化后的 latent 分布更接近于高斯分布，以此更利于扩散模型的学习。
ljcal是什么学术会？
IJCAI作为AI领域的首个国际性的学术会议，一直以来都被该领域的研究者们视为发表论文和参加会议的重要殿堂。 本届大会共收到4752篇有效提交论文，最终收录论文850篇，接收率为17.9%。 虽然，今年的论文提交量和录取量都创历史新高，但录取比率却是近10年最低。 今年IJCAI的投稿总数相较于去年增加了约37%（去年论文投稿量3470篇、收录量710篇），而录取数仅比去年多了141篇。 可以看出，一方面AI正受到越来越多研究者的关注，另一方面论文被接受的难度也在不断加大，但论文的含金量也得到了大大提高。 大会历年来接收论文数量从通讯作者来看，来自中国的研究人员为本届IJCAI贡献了主要力量。 据大会官方统计，今年的接收论文中，38%的论文来自中国，48%的论文来自亚洲。 根据通讯作者所在地区划分：中国327篇（38%）中国香港15篇美国169篇（20%）欧盟152篇（其中包括英国32，法国29，意大利19，德国28）澳大利亚37篇加拿大14篇其他亚洲国家：日本18篇，新加坡18篇，印度20篇，以色列8根据论文主题划分，机器学习投稿2516篇，接收438篇，依旧是最热门的子领域。 其次是计算机视觉，提交833篇，接受117篇；机器学习应用提交785篇论文，收录144篇论文。 多智能体系统、自然语言处理、人类和AL、Al中的不确定性等都成为此次热门投稿论文。 IJCAI 2019奖项全部出炉在13日上午的开幕致辞中，IJCAI2019理事会主席、香港科技大学计算机科学与工程学系主任杨强教授为各位获奖者颁发了奖项。
比较容易的CCFC类会议求推荐？
2023年至2024年CCF推荐会议指南：轻松探索AI与多媒体领域的焦点如果你正在寻找2023年6月至2024年4月期间CCF（中国计算机学会）会议中，对AI和多媒体领域最具影响力的活动，以下是一份精心挑选的会议列表，涵盖了CCF-A和CCF-B类别:1. AAAI (2023年8月) - 人工智能领域的重量级会议，截止日期为8月15日，是研究者展示最新成果的绝佳平台。 2. ICLR (2023年9月) - 学习表示的国际会议，截止日期9月28日，对深度学习和机器学习技术的探讨不容错过。 3. CVPR (2023年11月) - 计算机视觉和模式识别大会，CCF-A类别，截止日期11月11日，聚焦视觉科学的前沿。 4. ICME (2023年12月) - 多媒体与展览大会，CCF-B类别，截止日期12月22日，多媒体研究的盛会。 5. IJCAI (2024年1月) - 人工智能国际大会，CCF-A，截止日期1月18日，汇聚全球人工智能顶尖思想。 6. SIGGRAPH (2024年1月) - 计算机图形学专业组大会，CCF-A，截止日期1月25日，图形与交互设计的巅峰之作。 7. ICMR (2024年2月) - 多媒体检索国际会议，CCF-B，截止日期2月12日，多媒体内容的探索与应用。 8. ECCV (2024年3月) - 欧洲计算机视觉大会，CCF-B，每两年一次，截止日期2022年3月7日，欧洲视觉研究的风向标。 9. ACM MM (2024年4月) - 计算机核知拍多媒体大会，CCF-A，截止日期4月30日，多媒体领域的年度盛事。 这些会议不仅展示了行业最新趋势，也为研究人员提供了交流思想、建立网络的宝贵机会。 无论你是AI的探索者还是多媒体创新者，这里总有一场会议能激发你的灵感与创新。 赶紧开始规划你的行程，抓住这些学术盛宴的入场券吧！
2024 CSRankings全球计算机科学排名发布！清华AI第一，哈工大NLP第一
全球科技爱好者们，大家好！随着CSRankings 2024年度榜单的揭开，我们一起来探索这场学术盛宴的最新排名吧！</
在人工智能的较量中，清华大学、北京大学和上海交通大学强势霸占了AI领域的前三位</，顶尖学府CMU仅屈居第四，浙江大学紧跟其后，中国人大、南京大学、复旦大学以及哈尔滨工业大学和中国科学院等国内高校也闪耀其中。
浙江大学在计算机视觉领域（CVPR、ECCV、ICCV）独占鳌头，成为世界冠军</，北京大学紧随其后，清华大学则以第十八名的成绩展现了其深厚实力。 而在自然语言处理（ACL、EMNLP、NAACL）的比拼中，哈工大荣膺榜首，复旦大学和CMU并列第二，清华大学则位列第六</。
全面审视全球计算机科学领域，清华大学凭借强大的科研实力，位列全球第二</。 CSRankings的排名涵盖了人工智能、计算机系统、计算机理论和跨学科四大板块，综合评估学术机构在顶级会议上的论文发表影响力。
全球排名前十的学府依次是：CMU、清华大学、上海交大、北大、伊利诺伊大学厄巴纳-香槟分校等，浙江大学、ETH、苏黎世联邦理工学院、佐治亚理工学院、韩国科学技术院和斯坦福大学也榜上有名</，共同构筑了这场学术领域的顶尖较量。
值得注意的是，CSRankings由Emery Berger教授领军的马萨诸塞大学阿默斯特分校信息与计算机科学学院开发，其排名完全依赖于论文发表指标，反映出学术机构在顶级会议上的影响力。 </这些数据只为提供参考，展现出全球计算机科学领域的最新动态和竞争格局。
