机器之心报道
机器之心编辑部
为期六天的 ACL 2024 正在泰国曼谷举办。
ACL 是计算语言学和自然语言处理领域的顶级国际会议，由国际计算语言学协会组织，每年举办一次。一直以来，ACL 在 NLP 领域的学术影响力都位列第一，它也是 CCF-A 类推荐会议。
今年的 ACL 大会已是第 62 届，接收了 400 余篇 NLP 领域的前沿工作。昨天下午，大会公布了最佳论文等奖项。此次，最佳论文奖 7 篇（两篇未公开）、最佳主题论文奖 1 篇、杰出论文奖 35 篇。
大会还评出了资源论文奖（Resource Award）3 篇、社会影响力奖（Social Impact Award）3 篇、时间检验奖 2 篇。
此外，本届大会终身成就奖颁给了纽约大学计算机科学系教授 Ralph Grishman。
以下是具体的获奖信息。
最佳论文
论文 1：Mission: Impossible Language Models
论文简介：乔姆斯基等人认为：对于人类可能或不可能学会的语言，大型语言模型（LLM）的学习能力是一样的。然而，几乎没有公开的实验证据来支持这种说法。
该研究开发了一组具有不同复杂性的合成语言，每一种都是通过使用不自然的词序和语法规则系统地改变英语数据而设计的，旨在合成人类不可能学会的语言。
该研究进行了广泛的评估实验，以评估 GPT-2 小模型学习这些「不可能语言」的能力，并且在整个训练的不同阶段进行这些评估，以比较每种语言的学习过程。该研究的核心发现是：与英语相比，GPT-2 很难学习「不可能语言」，这挑战了乔姆斯基等人的主张。
更重要的是，该研究希望其方法能够开辟一条富有成效的探究路线，让不同的 LLM 架构在各种「不可能语言」上进行测试，以了解如何将 LLM 用作认知和类型学调查工具。
论文 2：Why are Sensitive Functions Hard for Transformers?
论文简介：实验研究已经确定了 transformer 的一系列可学习性偏置和局限性，例如学习计算 PARITY 等简单形式语言的持续困难，以及对低度（low-degree）函数的偏置。然而，理论理解仍然有限，现有的表达理论要么高估要么低估现实的学习能力。
该研究证明，在 transformer 架构下，损失函数景观（loss landscape）受到输入空间灵敏度的限制：输出对输入串的许多部分敏感的 transformer 位于参数空间中的孤立点，导致泛化中的低灵敏度偏置。
该研究从理论上和实验上表明，该理论统一了关于 transformer 学习能力和偏置的广泛实验观察，例如它们对低灵敏度和低度的泛化偏置，以及奇偶校验长度泛化的困难。这表明，了解 transformer 的归纳偏置（inductive biases）不仅需要研究其原则上的表达能力，还需要研究其损失函数景观。
论文 3：Deciphering Oracle Bone Language with Diffusion Models
论文简介：甲骨文（Oracle Bone Script，OBS）起源于约 3000 年前的中国商朝，是语言史上的基石，早于许多既定的书写系统。尽管发现了数千份铭文，但仍有大量的甲骨文未被破译，从而为这一古老的语言蒙上了一层神秘的面纱。现代 AI 技术的出现为甲骨文破译开辟了新的领域，对严重依赖大型文本语料库的传统 NLP 方法提出了挑战。
本文介绍了一种采用图像生成技术的新方法，开发出了针对甲骨文破译优化的扩散模型 Oracle Bone Script Decipher (OBSD)。利用条件扩散策略，OBSD 为甲骨文破译生成了重要的线索，并为 古代语言的 AI 辅助分析开辟了新方向。为了验证有效性，研究者在甲骨文数据集上进行了广泛的实验，定量结果证明了 OBSD 的有效性。
论文 4：Causal Estimation of Memorisation Profiles
论文简介：理解语言模型中的记忆具有实际和社会意义，例如研究模型的训练动态或防止版权侵权。以往的研究将记忆定义为「使用实例进行的训练」对「模型预测该实例的能力」的因果关系。这个定义依赖于一个反事实：观察如果模型没有看到该实例会发生什么的能力。现有的方法难以提供对这种反事实的计算效率和准确性估计。此外，这些方法通常估计模型架构的记忆，而不是特定模型实例的记忆。
本文填补了一个重要空白，提出了一种基于计量经济学的差异 - 差异设计来估计记忆的全新、原则性和高效方法。通过这种方法，研究者在整个训练过程中仅观察模型在一小部分实例上的行为来描述模型的记忆概况，即其在训练过程中的记忆趋势。在使用 Pythia 模型套件进行实验时，他们发现记忆 (i) 在较大模型中更强大、更持久，(ii) 由数据顺序和学习率决定，以及 (iii) 在不同模型大小之间具有稳定的趋势，因此较大模型中的记忆可以从较小模型中预测出来。
论文 5：Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model
论文简介：大型语言模型 (LLM) 的最新突破集中在少数数据丰富的语言上。如何才能将突破的途径扩展到其他语言之外？该研究引入了 Aya，这是一种大规模多语言生成语言模型，它遵循 101 种语言指令，其中超过 50% 的语言被视为资源较少。Aya 在大多数任务上的表现都优于 mT0 和 BLOOMZ，同时覆盖的语言数量是 mT0 和 BLOOMZ 的两倍。
此外，该研究还引入了广泛的新评估套件，将多语言评估的最新水平扩展到 99 种语言。最后，该研究对最佳微调混合组成、数据剪枝以及模型的毒性、偏差和安全性进行了详细调查。
论文 6：Semisupervised Neural Proto-Language Reconstruction
获奖理由：这项开创性的研究旨在半自动化历史语言学中的原型语言重构任务，提出了一种新的半监督架构。通过在「母语 - 原型」重构中引入「原型 - 母语」反射过程，这种方法优于之前的监督方法。这篇论文很好地展示了现代计算模型（如神经编码 - 解码器）如何为语言学作出的贡献。
论文 7：Natural Language Satisfiability: Exploring the Problem Distribution and Evaluating Transformer-based Language Models（未公开）
获奖理由：该论文清晰地描述了一个用于逻辑推理的合成评估数据集。这是对大量推理数据集的一种良好补充，因为这些数据集中并不明确测量哪些能力。从理论上讲，确实有理由预期某些子集比其他子集更难，而这些预期在论文中得到了验证。在每个类别中，作者都特别注意抽取那些真正具有挑战性的案例。
时间检验奖
ACL 时间检验奖奖励的是对自然语言处理和计算语言学领域产生长期影响的荣誉论文，分为 10 年前（2014 年）和 25 年前（1999 年）两个奖项，每年最多颁发两篇论文。
论文 1：GloVe: Global Vectors for Word Representation
论文简介：学习词的向量空间表征的方法已经在使用向量算术捕获细粒度的语义和句法规则方面取得了成功，但是句法规则仍不透明。该研究分析并明确了为了让句法规则出现在词向量中，模型需要具备哪些属性。
该研究提出了一个新的全局对数线性回归模型 ——GloVe，旨在学习词的向量表征。该模型结合了全局矩阵分解和局部上下文窗口两种方法的优点。
GloVe 在词类比任务上取得了 75% 的最佳性能，并在词相似性任务和命名实体识别方面优于相关模型。
获奖理由：词嵌入是 2013 年至 2018 年间自然语言处理（NLP）深度学习方法的基石，并且持续发挥着显著影响。它们不仅增强了 NLP 任务的性能，而且在计算语义学方面也产生了显著影响，例如在词语相似性和类比上。两种最有影响力的词嵌入方法可能是 skip-gram/CBOW 和 GloVe。与 skip-gram 相比，GloVe 提出得较晚。它的相对优势在于概念上的简单性，直接根据词之间的分布特性优化向量空间相似性，而不是从简化的语言建模角度间接作为一组参数。
论文 2：Measures of Distributional Similarity
论文简介：作者研究了分布相似性度量，目的是提高对未见共现事件的概率估计。他们的贡献有三个方面：对一系列广泛的度量方法进行实证比较；基于它们所包含的信息对相似性函数进行分类；引入了一种新的函数，该函数在评估潜在代理分布方面更为优越。
终身成就奖
ACL 的终身成就奖颁给了 Ralph Grishman。Ralph Grishman 是纽约大学计算机科学系的教授，专注于自然语言处理（NLP）领域的研究。他是 Proteus Project 的创始人，该项目在信息抽取（IE）方面做出了重大贡献，推动了该领域的发展。
他还开发了 Java Extraction Toolkit (JET)，这是一个广泛使用的信息抽取工具，提供了多种语言分析组件，如句子分割、命名实体标注、时间表达标注与规范化、词性标注、部分解析和共指分析。这些组件可以根据不同应用组合成管道，既可用于单个句子的交互分析，也可用于整篇文档的批量分析。此外，JET 还提供了简单工具用于文档的标注和显示，并包括完整的流程以按照 ACE（自动内容抽取）规范进行实体、关系和事件的抽取。
Grishman 教授的工作涵盖了多个 NLP 的核心问题，并对现代语言处理技术产生了深远的影响。
35 篇杰出论文
最佳主题论文奖
论文：OLMo：Accelerating the Science of Language Models
获奖理由：这项工作是朝着大型语言模型训练的透明性和可重复性迈出的重要一步，这是社区在取得进展（或至少为了让非行业巨头的其他研究者也能贡献进展）方面急需的。
资源论文奖
3 篇论文获得 Resource Paper Award。
论文 1：Latxa: An Open Language Model and Evaluation Suite for Basque
机构：西班牙巴斯克大学
获奖理由：该论文细致描述了语料收集、数据集评估的细节。尽管是巴斯克语言相关研究，这一方法论可扩展到其他低资源语言大模型的构建上。
论文 2：Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research
获奖理由：该论文展示了训练大语言模型准备数据集时数据管理的重要性。这为社区内广大人群提供了非常有价值的洞见。
论文 3：AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents
获奖理由：该研究是构建交互环境模拟与评估方面非常重要、惊艳的工作。它将鼓励大家为社区多多产出硬核动态基准。
社会影响力奖
3 篇论文获得 Social Impact Award。
论文 1：How Johnny Can Persuade LLMs to Jailbreak Them: Rethinking Persuasion to Challenge AI Safety by Humanizing LLMs
获奖理由：本文探讨了 AI 安全主题 —— 越狱，研究了社会科学研究领域内开发的一种方法。该研究非常有趣，并有可能对社区产生重大影响。
论文 2：DIALECTBENCH: A NLP Benchmark for Dialects, Varieties, and Closely-Related Languages
获奖理由：方言变异是 NLP 和人工智能领域未能得到充分研究的现象。然而，从语言和社会的角度来看，它的研究具有极高的价值，对应用也有重要的影响。本文提出了一个非常新颖的基准来研究 LLM 时代的这个问题。
论文 3：Having Beer after Prayer? Measuring Cultural Bias in Large LanguageModels
获奖理由：本文展示了 LLM 时代的一个重要问题：文化偏见。本文研究了阿拉伯文化和语言环境，结果表明，在设计 LLM 时，我们需要考虑文化差异。因此，同样的研究可以复制到其他文化中，以概括和评估其他文化是否也受到这个问题的影响。
