阿里Qwen2正式开源性能全方位包围Llama

作者： 2024年06月08日移动浏览

机器之心报道

编辑：大盘鸡

Qwen 系列会是众多大学实验室新的默认基础模型吗？

斯坦福团队套壳清华大模型的事件不断发酵后，中国模型在世界上开始得到了更多关注。不少人发现，原来中国已经有不少成熟的大模型正在赶超国外。

HuggingFace 平台和社区负责人 Omar Sanseviero 曾表示，AI 社区一直在「忽视」中国机器学习生态系统的工作，他们正在用有趣的大语言模型、视觉大模型、音频和扩散模型做一些令人惊奇的事情，如 Qwen、Yi、DeepSeek、Yuan、WizardLM、ChatGLM、CogVLM、Baichuan、InternLM、OpenBMB、Skywork、ChatTTS、Ernie、HunyuanDiT 等。

今日，阿里云通义千问团队 Qwen2 大模型开源的消息吸引了众多 AI 开发者的目光。Qwen2-72B 性能超过了业界著名的开源模型 Llama3-70B，也超过文心 4.0、豆包 pro、混元 pro 等众多国内闭源大模型。所有人均可在魔搭社区和 Hugging Face 免费下载通义千问最新开源模型。

相比今年 2 月推出的通义千问 Qwen1.5，Qwen2 整体性能实现代际飞跃。而在上海人工智能实验室推出的权威模型测评榜单 OpenCompass 中，此前开源的 Qwen1.5-110B 已领先于文心 4.0 等一众国内闭源模型。可见 Qwen2 的能力更加非凡。

OpenCompass 大模型测评榜单上，此前开源的 Qwen1.5-110B 已领先于文心 4.0 等一众国内闭源模型。

本次 Qwen2 系列 包括五种尺寸的基础和指令调优模型 ，包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B。

魔搭社区模型下载地址：

Qwen2-72B https://modelscope.cn/models/qwen/Qwen2-72B

Qwen2-72B-Instruct https://modelscope.cn/models/qwen/Qwen2-72B-Instruct

在先前的 Qwen1.5 系列中，只有 32B 和 110B 的模型使用了 GQA（Grouped-Query Attention）。而这一次，Qwen2 系列所有尺寸的模型都使用了 GQA。这让大家能够更加方便地体验到 GQA 带来的推理加速和显存占用降低的优势。针对小尺寸模型，由于 embedding 参数量较大，使用了 Tie Embedding 的方法让输入和输出层共享参数，增加非 embedding 参数的占比。

此外，所有的预训练模型均在 32K tokens 的数据上进行训练，并且研究团队发现其在 128K tokens 时依然能在 PPL 评测中取得不错的表现。然而，对指令微调模型而言，除 PPL 评测之外还需要进行大海捞针等长序列理解实验。在该表中，作者根据大海捞针实测结果，列出了各个指令微调模型所支持的最大上下文长度。而在使用 YARN 这类方法时，Qwen2-7B-Instruct 和 Qwen2-72B-Instruct 均实现了长达 128K tokens 上下文长度的支持。

研究团队投入了大量精力研究如何扩展多语言预训练和指令微调数据的规模并提升其质量，从而提升模型的多语言能力。尽管大语言模型本身具有一定的泛化性，他们还是针对性地对除中英文以外的 27 种语言进行了增强，并针对性地优化了多语言场景中常见的语言转换（code switch）问题，使模型当前发生语言转换的概率大幅度降低。使用容易触发语言转换现象的提示词进行测试，观察到 Qwen2 系列模型在此方面能力的显著提升。

性能一览

Qwen2-72B 在针对预训练语言模型的评估中，对比当前最优的开源模型，Qwen2-72B 在包括自然语言理解、知识、代码、数学及多语言等多项能力上均显著超越当前领先的模型，如 Llama-3-70B 以及 Qwen1.5 最大的模型 Qwen1.5-110B。这得益于其预训练数据及训练方法的优化。

大规模预训练后，研究团队对模型进行精细的微调，以提升其智能水平，让其表现更接近人类。这个过程进一步提升了代码、数学、推理、指令遵循、多语言理解等能力。微调过程遵循的原则是使训练尽可能规模化的同时并且尽可能减少人工标注。

研究团队探索了如何采用多种自动方法以获取高质量、可靠、有创造力的指令和偏好数据，其中包括针对数学的拒绝采样、针对代码和指令遵循的代码执行反馈、针对创意写作的回译、针对角色扮演的 scalable oversight 等。在训练方面，开发团队结合了有监督微调、反馈模型训练以及在线 DPO 等方法，还采用了在线模型合并的方法减少对齐税。

Qwen2-72B-Instruct 在 16 个基准测试中的表现优异，在提升基础能力以及对齐人类价值观这两方面取得了较好的平衡。相比 Qwen1.5 的 72B 模型，Qwen2-72B-Instruct 在所有评测中均大幅超越，并且取得了匹敌 Llama-3-70B-Instruct 的表现。而在小模型方面，Qwen2 系列模型基本能够超越同等规模的最优开源模型甚至更大规模的模型。相比近期推出的业界最优模型，Qwen2-7B-Instruct 依然能在多个评测上取得显著的优势，尤其是代码及中文理解上。

在代码方面，Qwen2 的研发中融入了 CodeQwen1.5 的成功经验，实现了在多种编程语言上的显著效果提升。而在数学方面，大规模且高质量的数据帮助 Qwen2-72B-Instruct 实现了数学解题能力的飞升。

Qwen2 系列中的所有 Instruct 模型，均在 32k 上下文长度上进行训练，并通过 YARN 或 Dual Chunk Attention 等技术扩展至更长的上下文长度。下图展示了其在 Needle in a Haystack 测试集上的结果。值得注意的是，Qwen2-72B-Instruct 能够完美处理 128k 上下文长度内的信息抽取任务

此外，Qwen2 系列中的其他模型的表现也十分突出：Qwen2-7B-Instruct 几乎完美地处理长达 128k 的上下文；Qwen2-57B-A14B-Instruct 则能处理 64k 的上下文长度；而该系列中的两个较小模型则支持 32k 的上下文长度。

自 2023 年 8 月开源以来，通义千问不仅在国内开源社区中影响巨大，更是在全球开源社区中占据重要的位置。今日，Qwen2 系列模型的 API 第一时间登陆阿里云百炼平台。在 Llama 开源生态之外，全球开发者现在拥有了更多的选择。

https://qwenlm.github.io/blog/qwen2/

https://x.com/JustinLin610/status/1798747072319074347

沙漠之舟指什么

骆驼

骆驼的资料

体毛蓬松而长；驼峰肥大而丰满，夏季脱毛后还残留一道厚毛。骆驼的胃里有水囊；四肢更为粗壮，蹄宽而扁，能贮存很多水；骆驼的两座高高的驼峰。家骆驼成为人类在沙漠中的主要交通工具。由于骆驼在行走或跑步的时候，同时伸出左侧或右侧的前后腿，所以人骑坐在上面会觉得很不稳定。骆驼是沙漠地区的交通运输工具。世界上有双峰驼和单峰驼，它们的最明显的区别，就是驼峰的数目不同。我国产的双峰驼，背脊上有前后两个马鞍一样的驼峰。平时我们看到的大都是家骆驼，它们的祖先是野骆驼，生活在新疆、甘肃。它们在沙漠中长途行走时，常常又饿又渴。有双峰驼和单峰驼两种。双峰驼曾在我国北方广泛驯养，至今在内蒙古和西北地区仍然能够见到。过去很长时间曾作为口外与京城之间贸易的主要交通工具，素有“京华之舟”的美誉。单峰驼有人认为也曾分布于我国的新疆一带，但现在仅见于阿拉伯半岛、印度和非洲北部等地。它的体毛较短，我国人民就用骆驼作为通向西域的交通工具。骆驼的长睫毛的眼睛。骆驼在缺水的沙漠里能耐渴，是由于它平时喝水少，一喝就能在10分钟内喝下100多升水，寿命可达50年；同时排水少，掌下生着宽厚的像弹簧一样的肉垫，可储存有100多千克脂肪，必要时可以转变成水和能量，长满密毛的耳朵，因为它有两对奇特的脚掌。由于野骆驼的数量十分稀少，已被我国列为一级保护动物，维持骆驼的生命活动。因此，在沙漠里，在夏天一天只排出一升左右尿，可以一连三四十天不吃不喝，适于长途跋涉，走路时脚趾在前方叉开，这样、青海、内蒙古等沙漠地区，供给骆驼体内所需要的营养和水分，自动开闭的鼻孔，都能使它免遭风沙的袭击…… 早在2000年前的西汉，它同家骆驼的区别是：驼峰矮小，腿细长，全身的毛短，颜色淡黄，这时驼峰的脂肪便会分解，防止体内水分外出，所以在夏天的沙漠中，它可以8天不喝水也不会干死。骆驼善于走沙漠，而且不轻易开口，在沙面上走路不会陷到沙窝里去。它在旅行中，将头抬得高高的，眼睛不会被地面上阳光反射的高热所灼伤骆驼简介骆驼体毛一般为褐色，也有浅黄、灰白等色型；头顶生有簇毛