本论文作者王语霖是清华大学自动化系 2019 级直博生，师从吴澄院士和黄高副教授，主要研究方向为高效深度学习、计算机视觉等。他曾以第一作者在 TPAMI、NeurIPS、ICLR、ICCV、CVPR、ECCV 等期刊、会议上发表论文，曾获百度奖学金、微软学者、CCF-CV 学术新锐奖、字节跳动奖学金等荣誉。个人主页：wyl.cool
本文主要介绍刚刚被 IEEE Transactions on Pattern Analysis and Machine Intelligence （TPAMI）录用的一篇文章：EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training。
近年来，「scaling」是计算机视觉研究的主角之一。随着模型尺寸和训练数据规模的增大、学习算法的进步以及正则化和数据增强等技术的广泛应用，通过大规模训练得到的视觉基础网络（如 ImageNet1K/22K 上训得的 Vision Transformer、MAE、DINOv2 等）已在视觉识别、目标检测、语义分割等诸多重要视觉任务上取得了令人惊艳的性能。
然而，「scaling」往往会带来令人望而却步的 高昂模型训练开销 ，显著阻碍了视觉基础模型的进一步发展和工业应用。
面向解决这一问题，清华大学的研究团队提出了一种广义课程学习（generalized curriculum learning）算法： EfficientTrain++ 。其核心思想在于，将「筛选和使用由易到难的数据、逐步训练模型」的传统课程学习范式推广至「不进行数据维度的筛选，一直使用全部训练数据，但在训练过程中逐步揭示每个数据样本的由易到难的特征或模式（pattern）」。
EfficientTrain++ 具有几个重要的亮点：
接下来，我们一起来看看该研究的细节。
一．研究动机
近年来，大型基础模型（foundation models）的蓬勃发展极大促进了人工智能和深度学习的进步。在计算机视觉领域，Vision Transformer（ViT）、CLIP、SAM、DINOv2 等代表性工作已经证明，同步增大（scaling up）神经网络尺寸和训练数据规模能够显著拓展识别、检测、分割等大量重要视觉任务的性能边界。
然而，大型基础模型往往具有高昂的训练开销，图 1 给出了两个典型例子。以使用 8 块 NVIDIA V100 或性能更强的 GPU 为例，GPT-3、ViT-G 仅完成一次训练即需要等效为数年甚至数十年的时间。如此高昂的训练成本，无论是对学术界还是工业界而言，都是较难负担的巨大开销，往往只有少数顶尖机构消耗大量资源才能推进深度学习的进展。因此，一个亟待解决的问题是：如何有效提升大型深度学习模型的训练效率？
图 1 示例：大型深度学习基础模型的高昂训练开销
对于计算机视觉模型而言，一个经典的思路是课程学习（curriculum learning），如图 2 所示，即模仿人类渐进式、高度结构化的学习过程，在模型训练过程中，从最「简单」的训练数据开始，逐步引入由易到难的数据。
然而，尽管动机比较自然，课程学习并没有被大规模应用为训练视觉基础模型的通用方法，其主要原因在于存在两个关键的瓶颈，如图 3 所示。其一，设计有效的训练课程（curriculum）并非易事。区别「简单」、「困难」样本往往需要借助于额外的预训练模型、设计较复杂的 AutoML 算法、引入强化学习等，且通用性较差。其二，课程学习本身的建模存在一定不合理性。自然分布中的视觉数据往往具有高度的多样性，图 3 下方给出了一个例子（从 ImageNet 中随机抽取的鹦鹉图片），模型训练数据中包含大量不同动作的鹦鹉、离镜头不同距离的鹦鹉、不同视角、不同背景的鹦鹉、以及鹦鹉与人或物的多样化的交互等，将如此多样化的数据数据仅仅以「简单」、「困难」的单一维度指标进行区分，事实上是一个比较粗糙和牵强的建模方式。
图 3 阻碍课程学习大规模应用于训练视觉基础模型的两个关键瓶颈
二．方法简介
受到上述挑战的启发，本文提出了一种广义课程学习（generalized curriculum learning）范式，其核心思想在于，将「 筛选和使用由易到难的数据、逐步训练模型 」的传统课程学习范式推广至「 不进行数据维度的筛选，一直使用全部训练数据，但在训练过程中逐步揭示每个数据样本的由易到难的特征或模式 」，这样就有效避开了因数据筛选范式引发的局限和次优设计，如图 4 所示。
图 4 传统课程学习（样本维度） v.s. 广义课程学习（特征维度）
这一范式的提出主要基于一个有趣的现象： 在一个自然的视觉模型训练过程中，虽然模型总是可以随时获取数据中包含的全部信息，但模型总会自然地先学习识别数据中包含的某些比较简单的判别特征（pattern），而后在此基础上再逐步学习识别更难的判别特征 。并且，这一规律是比较普遍的， 「比较简单」的判别特征在频域和空域都可以较方便地找到 。本文设计了一系列有趣的实验来证明上述发现，如下所述。
从频域的角度来说，「低频特征」对于模型而言「比较简单」 。在图 5 中，本文作者使用标准 ImageNet-1K 训练数据训练了一个 DeiT-S 模型，并使用带宽不同的低通滤波器对验证集进行滤波，只保留验证图像的低频分量，在此基础上报告 DeiT-S 在训练过程中、在低通滤波的验证数据上的准确率，所得准确率相对训练过程的曲线显示于图 5 右侧。
我们可以看到一个有趣的现象：在训练早期阶段，仅使用低通滤波的验证数据不会显著降低准确性，且曲线与正常验证集准确率间的分离点随滤波器带宽的增大而逐渐右移。这一现象表明，尽管模型始终可以访问训练数据的低频和高频部分，但其学习过程自然地从仅关注低频信息开始，识别较高频特征的能力则在训练后期逐步习得（这一现象的更多证据可参考原文）。
图 5 频域角度上，模型自然倾向于先学习识别低频特征
这一发现引出了一个有趣的问题：我们是否可以设计一个训练课程（curriculum），从只为模型提供视觉输入的低频信息开始，而后逐渐引入高频信息？
图 6 研究了这个想法，即仅在特定长度的早期训练阶段对训练数据执行低通滤波，训练过程的其余部分保持不变。从结果中可以观察到，尽管最终性能提升有限，但有趣的是，即使在相当长的一段早期训练阶段中仅向模型提供低频分量，模型的最终精度也可以在很大程度上得到保留，这也与图 5 中「模型在训练初期主要关注学习识别低频特征」的观察不谋而合。
这一发现启发了本文作者关于训练效率的思考：既然模型在训练初期只需要数据中的低频分量，且低频分量包含的信息小于原始数据，那么能否使模型以比处理原始输入更少的计算成本高效地仅从低频分量中学习？
图 6 在相当长的一段早期训练阶段中仅向模型提供低频分量并不会显著影响最终性能
事实上，这一思路是完全可行的。如图 7 左侧所示，本文作者在图像的傅里叶频谱中引入了裁切操作，裁切出低频部分，并将其映射回像素空间。这一低频裁切操作准确地保留了所有低频信息，同时减小了图像输入的尺寸，因此模型从输入中学习的计算成本可以呈指数级降低。
如果使用这一低频裁切操作在训练早期阶段处理模型输入，可以显著节省总体训练成本，但由于最大限度地保留了模型学习所必要的信息，仍然可以获得性能几乎不受损失的最终模型，实验结果如图 7 右下方所示。
图 7 低频裁切（low-frequency cropping）：使模型高效地仅从低频信息中学习
在频域操作之外，从空域变换的角度，同样可以找到对于模型而言「比较简单」的特征 。例如，没有经过较强数据增强或者扭曲处理的原始视觉输入中所包含的自然图像信息往往对于模型而言「比较简单」、更容易让模型学习，因为它们是从现实世界的分布中得出的，而数据增强等预处理技术所引入的额外信息、不变性等往往对于模型而言较难学习（图 8 左侧给出了一个典型示例）。
事实上，现有研究也已观察到，数据增强主要在训练较晚期阶段发挥作用（如《Improving Auto-Augment via Augmentation-Wise Weight Sharing》, NeurIPS’20）。
在这一维度上，为实现广义课程学习的范式，可以简单地通过改变数据增强的强度方便地实现在训练早期阶段仅向模型提供训练数据中较容易学习的自然图像信息。图 8 右侧使用 RandAugment 作为代表性示例来验证了这个思路，RandAugment 包含了一系列常见的空域数据增强变换（例如随机旋转、更改锐度、仿射变换、更改曝光度等）。
可以观察到，从较弱的数据增强开始训练模型可以有效提高模型最终表现，同时这一技术与低频裁切兼容。
图 8 从空域的角度寻找模型 “较容易学习” 的特征：一个数据增强的视角
到此处为止，本文提出了广义课程学习的核心框架与假设，并通过揭示频域、空域的两个关键现象证明了广义课程学习的合理性和有效性。在此基础上，本文进一步完成了一系列系统性工作，在下面列出。由于篇幅所限，关于更多研究细节，可参考原论文。
本文最终得到的 EfficientTrain++ 广义课程学习方案如图 9 所示。EfficientTrain++ 以模型训练总计算开销的消耗百分比为依据，动态调整频域低频裁切的带宽和空域数据增强的强度。
值得注意的是，作为一种即插即用的方法，EfficientTrain++ 无需进一步的超参数调整或搜索即可直接应用于多种视觉基础网络和多样化的模型训练场景，效果比较稳定、显著。
图 9 统一、整合的广义课程学习方案：EfficientTrain++
三．实验结果
作为一种即插即用的方法，EfficientTrain++ 在 ImageNet-1K 上，在基本不损失或提升性能的条件下，将多种视觉基础网络的实际训练开销降低了 1.5 倍左右。
图 10 ImageNet-1K 实验结果：EfficientTrain++ 在多种视觉基础网络上的表现
EfficientTrain++ 的增益通用于不同的训练开销预算，严格相同表现的情况下，DeiT/Swin 在 ImageNet-1K 上的训加速比在 2-3 倍左右。
图 11 ImageNet-1K 实验结果：EfficientTrain++ 在不同训练开销预算下的表现
EfficientTrain++ 在 ImageNet-22k 上可以取得 2-3 倍的性能无损预训练加速。
图 12 ImageNet-22K 实验结果：EfficientTrain++ 在更大规模训练数据上的表现
对于较小的模型，EfficientTrain++ 可以实现显著的性能上界提升。
图 13 ImageNet-1K 实验结果：EfficientTrain++ 可以显著提升较小模型的性能上界
EfficientTrain++ 对于自监督学习算法（如 MAE）同样有效。
图 14 EfficientTrain++ 可以应用于自监督学习（如 MAE）
EfficientTrain++ 训得的模型在目标检测、实例分割、语义分割等下游任务上同样不损失性能。
图 15 COCO 目标检测、COCO 实例分割、ADE20K 语义分割实验结果
技嘉X58A-UD7的技术是哪7项
50,000小时全日系固态电容 固态电容的用料上技嘉科技更坚持使只使用日本制造的全日系固态电容(Japanese Lower ESR Solid Capacitor)，不但在组件的来源获得更高的质量保障，更把实际的平均运行周期提升至50,000小时，确保主板运行质量更稳定、寿命更耐久。 一指超频- Quick Boost Technology 新一代的EasyTune 6，新增通过简单步骤就能完成超频设定的辅助技术「Quick Boost」，提供三个等级以增进系统超频的性能表现。 透过软件的调教，系统自动根据不同硬件的组合进行极致化的超频设定，使用者透过「Quick Boost」简单易懂的操作接口，仅需一个点击鼠标键的动作就可达到预设的超频性能，同时也能确保系统在超频运行下的稳定度。 技嘉独特软件调校软件 『Easy Tune 6』 新一代的EasyTune 6，技嘉此次大幅修改EasyTune 操作接口，以更为简洁、直觉、详细的接口呈现。 比起以往版本，任何使用者都将更能够轻易上手，快速调整各项超频设定。 EasyTune 6还具备更为详细的硬件信息显示项目，就算不超频使用，也是很好的硬件监控管理软件。 DualBIOS™ - 独步双硬件 BIOS保护专利技术 技嘉专利技术DualBIOS™提供主板多一层防护，将主BIOS的数据损毁或失效时自动修复。 DualBIOS™ 技术提供了在主板上两颗实体的 BIOS芯片，当主BIOS因病毒或人为损坏，导致无法开机、功能失效，即会自动由备份BIOS接手，并将数据回存，避免计算机因此停摆。 打造新世代的高速网络体验 2个网络连接端口的设计，内建线路汇整功能 (Teaming)，整合成单独网络，可提供2倍的网络传输宽带。 硬件超压控制芯片Precision OV 除了提供超频玩家无可挑剔的硬件设计外，技嘉X58 系列主板配置了硬件超压控制芯片Precision OV，提供CPU，北桥芯片和内存比以往更丰富的超电压选项。 Precision OV也提供了更精细的电压值，最小的电压单位可达 20毫伏 (mV)，让超频玩家们达到更佳，更稳定的超频性能。 除此之外，技嘉更贴心地在主板上提供Power, Clear CMOS 以及 Reset 开关设计，让玩家们不需组装机箱，便可享有快速以及便利的超频环境。 LED创新视觉系设计-『80 PORT』、『超频、超压、温度』系统信息判读灯号 为了让超频玩家更方便地直接从主板上，取得实时的系统超压、超频、温度信息，技嘉X58系列主板配置了LED显示灯号，能够实时显示中央处理器、内存、南北桥芯片组超压、超频以及温度状况，为使用者节省下来回检视计算机屏幕数据的时间，达到迅速洞悉实时反应的超频达人级的专业表现。 Dolby Home Theater® Dolby Home Theater将两声道立体声、5.1环绕声道规格来源音频，处理转换成为6.1甚至是7.1环绕声道输出，以提供更加精湛的环绕包围效果。 Dolby Headphone让使用者透过标准两声道耳机，也能享受到5.1声道仿真音效，且Sound Space Expander技术更可提供真实的音效空间感体验。 Natural Bass低音处理技术，可让音响系统喇叭，发出更为充沛的低频震撼感。 Dolby Digital Live可将任何计算机音频，实时编码成为DolbyDigital音频规格，便利使用者将音频输出连接到家庭剧院音响系统。
离子液体是怎么制备的 什么叫离子液体
【离子液体的制备】1、常规合成法：离子液体常规合成法主要包括一步法和两步法。 （1）一步法：采用叔胺与卤代烃或酯类物质发生加成反应，或利用叔胺的碱性与酸性发生中和反应而一步生成目标离子液体的方法。 可合成胍类离子液体和多种醇胺羧酸盐功能化离子液体。 （2）两步法：两步法的第一步是通过叔胺与卤代烃反应制备出季铵的卤化物；第二步再将卤素离子置换为目标离子液体的阴离子。 可用于制备数十种咪唑类离了液体、氮基酸类离子液体、膦类离子液体等。 一步法和两步法是比较普遍的方法，因此具有普适性，但离子液体合成通常需要在加热的条件下完成，而常规的加热搅拌需要较长的时间（几个或几十个小时），因而导致合成离子液体的效率和产率均偏低。 2、外场强化法：外场强化法主要为微波法和超声波法。 （1）微波法：是通过极性分子在快速变化的电磁场中不断改变方向而引起分子的摩擦发热，属于体相加热。 微波法加热升温速度较快，可极大地提高反应速率（有些反应只需几分钟），甚至提高产率和纯度。 在微波作用下采用“一锅法”可合成了一系列咪唑类离子液体。 该方法反应时间短、产率高。 （2）超声波法：超声波借助于超声空化作用能够在液体内部形成局部的高温高压微环境，并且超声波的振动搅拌作用可以极大地提高反应速率，尤其是非均相化学反应。 采用超声波作为能量源，可在在密闭体系非溶剂条件下合成了溴化1，3-二烷基咪唑离子液体，合成吡啶类离子液体。 该法具有产物收率高、反应速率快、节约能耗的特点，同时，又能减少有机溶剂的使用．降低成本，减少污染。 但超声波法工业化应用将面临大功率密度的超声波设备的工业化难题。 3、微反应器法：微反应器法一般是指在一个内部尺寸为几微米到几百微米的小型微反应器内进行的反应。 微反应器不但具有所需空间小、质量和能量消耗少以及反应时间短的优点，而且能够显著提高产物的产率与选择性以及传质传热效率。 微反应器法所达到的效果比传统的间歇反应器法高20倍。 【离子液体】或称离子性液体，是指全部由离子组成的液体，如高温下的KCI，KOH呈液体状态，此时它们就是离子液体。 在室温或室温附近温度下呈液态的由离子构成的物质，称为室温离子液体、室温熔融盐（室温离子液体常伴有氢键的存在，定义为室温熔融盐有点勉强）、有机离子液体等，目前尚无统一的名称，但倾向于简称离子液体。 在离子化合物中，阴阳离子之间的作用力为库仑力，其大小与阴阳离子的电荷数量及半径有关，离子半径越大，它们之间的作用力越小，这种离子化合物的熔点就越低。 某些离子化合物的阴阳离子体积很大，结构松散，导致它们之间的作用力较低，以至于熔点接近室温。
国家对建筑保温施工有哪些规范？立面墙做聚笨颗粒需做隔气防水层吗？
中华人民共和国国家标准建筑节能工程施工验收规范Code for acceptance of energy efficient building constructionGB-2007主编部门：中华人民共和国建设部批准单位：中华人民共和国建设部施行日期:2007年10月1日中华人民共和国行业标准 外墙外保温工程技术规程 Technical specification for external insulation on walls JGJ 144-2004 J 408-2005批准部门：中华人民共和国建设部 施行日期： 2005 年 3 月 1 日 隔汽层一般按设计，设计要求有的话需要做，设计没要求就不用。
