GLM

机器之心报道

作者:泽南、蛋酱

今天上午,在 AI 开放日上,备受关注的大模型公司智谱 AI 公布了一系列行业落地数字:

根据最新的统计数据, 智谱 AI 大模型开放平台目前已经获得 30 万注册用户,日均调用量达到 400 亿 Tokens ,其中,过去 6 个月 API 每日消费量增长达 50 倍以上,性能最强的 GLM-4 模型在过去 4 个月中有超过 90 倍的增长。

在近清言 App 中,已有超过 30 万个智能体活跃在智能体中心,包括许多出色的生产力工具,如思维导图、文档助手、日程安排等等。

而在新技术一侧,GLM-4 的最新版本 GLM-4-9B 全方位超越 Llama 3 8B,多模态模型 GLM-4V-9B 也已上线,所有大模型全部保持开源。

一系列商业化成果、技术突破让人眼前一亮。

MaaS 平台升级 2.0 版

打下大模型应用门槛

最近,国产大模型正在掀起新一轮的竞争。

5 月初,智谱 AI 率先将大模型 GLM-3-Turbo 服务的价格降低到了原来的 1/5,也激起了众多大模型领域玩家「参战」。从争相成立创业公司、「百模大战」再到价格战,大模型赛道的竞争螺旋攀升。

而降低大模型服务的成本,能够让更多的企业和开发者获得新技术,进而催生足够大的使用量,这不仅能加速技术的突破,也能让大模型在各行各业快速渗透,铺开商业化的布局。

值得一提的是, 到了目前的节点,大模型的价格已被压的很低,但智谱表示自己不怕打价格战

「相信大家对于最近的大模型价格战有所了解,也很关心智谱的商业化策略。我们可以很自豪地说,我们是通过模型核心技术迭代和效率提升,通过技术创新,实现应用成本的持续降低,同时保证了客户价值的持续升级,」智谱 AI CEO 张鹏说道。

根据企业的不同应用规模,智谱宣布了一系列最新的调整价格。API 最高折扣达到 6 折,使用 GLM-4-9B 版本可以只需要 6 分钱 / 100 万 token。回想去年年初,GLM 系列大模型的价格已经降低了 1 万倍。

作为率先投入生成式 AI 的创业公司,智谱 AI 的商业化速度快过一众竞争对手。基于千亿级多模态预训练模型构建产品矩阵。其面向 C 端推出了 GLMs 个性化智能体定制工具,让用户用简单提示词指令即能创建属于自己的 GLM 智能体,无需编程基础。面向 B 端客户,最新一代的 GLM-4 大模型已登陆了 MaaS(Model as a Service)平台,提供 API 形式的访问。

智谱 AI 开放平台。

在今天的 Open Day 上,智谱推出了 MaaS 开放平台 2.0,在新模型、成本、安全等方面都实现了提升。

在活动中,智谱 AI 介绍了其开放平台的最新进展。升级的模型微调平台可以帮助企业大幅简化构建私有模型的过程。现在,全系列的 GLM-4 大模型都支持仅需三步即可部署。

对于技术落地来说,模型工具只是一小步。智谱 CEO 张鹏一直认为,大模型存在三个模型层,分别是 L0(基础模型)、L1(行业模型)和 L2(面向细分场景的推理模型)。这是一个层层递进的关系,智谱要做的就是尽全力做好 L0,再去帮助合作伙伴做好 L1 和 L2。

智谱 AI 以 MaaS 平台为主的商业化落地路径,针对不同客群类型和需求提供云端 API、云端私有化、本地私有化、软硬件结合一体机等不同的解决方案,在满足企业需求的同时也实现了「模型及服务」的规模化。

GLM-4 9B 全面超越 Llama3

多模态比肩 GPT-4V,开源免费

对于将构建 AGI 视为目标的智谱 AI 而言,不断迭代大模型技术能力,同样是重中之重。

自 2020 年 all In 大模型开始,智谱就一直走在人工智能浪潮的前沿。其研究涉及大模型技术的方方面面,从原创的预训练框架 GLM、国产算力适配、通用基座大模型,到语义推理、多模态生成,再到长上下文、视觉理解、Agent 智能体能力等各个方面,智谱都投入了相当多的资源来推动技术的原始创新。

在过去一年里,智谱相继推出了四代通用大模型:2023 年 3 月发布 ChatGLM,6 月推出 ChatGLM2,去年 10 月推出 ChatGLM3;今年 1 月,最新一代基座大模型 GLM-4 正式发布。在 Open Day 上,智谱 AI 向外界介绍了基座大模型 GLM-4 的最新开源成果 ——GLM-4-9B。

它是最新一代预训练模型 GLM-4 系列中的开源版本。GLM-4-9B 拥有更强的基础能力,更长的上下文,实现了更加精准的函数调用和 All Tools 能力,并首次拥有多模态能力。

基于强大的预训练基座,GLM-4-9B 的中英文综合性能相比 ChatGLM3-6B 提升了 40%,在中文对齐能力 AlignBench、指令遵从 IFeval、工程代码 Natural Code Bench 等基准数据上都取得了非常显著的提升。对比训练量更大的 Llama 3 8B 也并不逊色,英文方面实现小幅领先,中文学科方面更是有着高达 50% 的提升。

新模型的上下文长度从 128K 扩展到了 1M,意味着模型能同时处理 200 万字输入,相当于两本红楼梦或者 125 篇论文。在长度为 128K 的 LongBench-Chat 上,GLM-4-9B-Chat 模型相比上一代提升了 20%。在长度为 1M 的大海捞针测试中,GLM-4-9B-Chat-1M 也获得了全绿的好成绩。

新一代的大模型还提升了对多语言的支持。模型词表从 6 万升级到了 15 万,在中英文之外的语言编码效率平均提升了 30%,意味着模型可以更快处理小语种的任务。评测显示,ChatGLM-4-9B 模型的多语言能力全面超过了 Llama-3 8B。

在支持消费级显卡本地运行的情况下,GLM-4-9B 不仅展示出了强大的对话能力,支持 100 万长文本,覆盖多语言, 更重要的是:智谱发布的大模型完全免费且开源 。现在,每个开发者都能在本地跑通这个版本的 GLM-4 模型。

GitHub 链接:https://github.com/THUDM/GLM-4

模型:huggingface:https://huggingface.co/collections/THUDM/glm-4-665fcf188c414b03c2f7e3b7

魔搭社区:https://modelscope.cn/organization/ZhipuAI

在强大的文本模型之外,智谱 AI 同时开源了基于 GLM-4-9B 的多模态模型 GLM-4V-9B。通过加入 Vision Transformer,该模型仅以 13B 的参数量实现了比肩 GPT-4V 的能力。

在技术演进的同时,大模型的价格也在不断降低。智谱推出了 GLM-4-AIR 模型,它在基本保留 1 月 GLM-4 大模型性能的基础上价格大幅下调,达到 1 元 / 百万 tokens。

GLM-4-Air 的性能可以媲美 GLM-4-0116 大模型,价格仅为后者的 1/100。值得一提的是,GLM-4-Air 的 API 大幅提升了推理速度,相比 GLM-4-0116,GLM-4-Air 的推理速度提升了 200%,每秒可以输出 71 个 token,远远超过人眼的阅读速度。

智谱表示,大模型价格调整是基于技术突破、算力效率提升和成本控制的综合结果,未来每隔一段时间就会对价格做出调整,以更好的满足开发者、客户的需求,极具竞争力的价格不仅是合理的,而且也符合自身的商业策略。

生态建设步入下一个 Level

作为国内最早入局大模型赛道的创业公司之一,智谱 AI 现在已成为国内 AI 技术公司的代表。

它不仅是国产大模型技术的领军者,也是大模型学术界、开源生态中不可忽视的中国力量。智谱在 AI 领域已拥有广泛影响力,开源模型累计下载量高达 1600 万次,支持开源社区是智谱坚定不移的承诺。

更进一步,智谱 AI 也在共同制定大模型的 AI 安全标准。5 月 22 日,OpenAI、谷歌、微软和智谱 AI 等来自不同国家和地区的公司共同签署了前沿人工智能安全承诺(Frontier AI Safety Commitments)。其中指出,要确保前沿人工智能安全的负责任治理结构和透明度,负责任地说明如何衡量前沿人工智能模型的风险,并建立前沿人工智能安全模型风险缓解机制的明确流程。

而在 AI 领域之外,对于众多从大模型突破中受益的行业来说,智谱 AI 正在改通过 MaaS 的方式驱动企业生产力变革,其大模型的生态圈已经初具规模。

「我们为什么判断 2024 年是 AGI 的元年?如果说用一句话来解答这个问题:Scaling Law 并未失效,AI 技术增长进入了一个全新的阶段。大模型技术创新依旧是突飞猛进的进行时,甚至还有速度越来越快的迹象,」张鹏说道。「坦白地讲,历史上我们从未见过一种技术以如此陡峭的创新曲线迭代升级,持续时间还如此之长。」

智谱 AI 技术创新和商用落地的速度正在践行着这条陡峭的曲线。


清华大学通用预训练模型:GLM

清华大学的GLM:通用语言模型预训练的创新之作

随着OpenAI的ChatGPT引领大语言模型热潮,清华大学的GLM模型以其卓越的性能脱颖而出,特别是ChatGLM-6B和GLM-130B,它们的开源引起了业界的广泛关注。截至5月26日,ChatGLM-6B在全球范围内已收获200万次下载,备受联想、民航信息网络、360和美团等企业的青睐。在科技部的报告中,ChatGLM-6B凭借其开源影响力位居榜首,而GLM-130B等模型也跻身前十。

GLM的创新与技术细节

GLM与GPT的差异在于其处理NLP任务的全面性,包括自然语言理解(NLU)、有条件和无条件生成。GLM采用自回归模型架构,这种设计使其适用于各种任务,无论是理解还是生成。其核心技术在于自回归空白填充,这种创新方法使得GLM在处理长文本和双向依赖时更具优势。

实际应用与实例

ChatGLM-6B的开源不仅引发了下载热潮,还促成了与多家企业的合作。GLM凭借其强大的长文本生成能力,已经在诸如智能对话、文本补全等任务中展示了其实际价值。

GLM的独特特点与架构

GLM的独特之处在于其自编码与自回归的结合,以及二维编码的使用,这使得它在NLU和生成任务上表现出色。GLM通过自回归填充,同时考虑上下文的依赖,使用二维位置编码来表示位置关系,确保信息的有效交互。这种设计使得GLM在处理长度不确定的任务时表现出色,比如NLU中的填空生成。

与其他模型的比较

与RoBERTa、XLNet、BERT、XLNet、T5和UniLM等模型相比,GLM在适应空白填充任务和处理长度不确定的NLU任务上显示出优势。例如,BERT忽视了mask token的依赖,XLNet需要预测长度,而T5和UniLM的局限性限制了它们的自回归依赖捕捉能力。

多任务预训练与性能提升

GLM通过多任务预训练,如GLMSent和GLMDoc,适应不同跨度的文本,性能随着参数的增加而提升,尤其是在文档级任务上。在序列到序列任务中,GLM在BookCorpus和Wikipedia预训练后与BART相当,而在大型语料库上,GLMRoBERTa与BART和T5/UniLMv2竞争。

总结与未来研究

总体而言,GLM是一个通用且强大的模型,它在理解和生成任务上的表现超越了BERT、T5和GPT。通过消融实验,我们了解到模型的空白填充目标、顺序设计和表示方式对其性能具有显著影响。GLM的开放源代码不仅提供了研究者一个宝贵的资源,也为推动语言模型的进一步发展奠定了坚实的基础。

深入探索与未来趋势

进一步的研究将继续探讨GLM的组件如何影响模型在SuperGLUE等基准上的表现,以及如何通过优化设计来提升其在特定任务中的性能。GLM的潜力和创新预示着一个更加开放和高效的预训练语言模型新时代的来临。

体检数据怎么用广义线性模型

体检数据可以使用广义线性模型(Generalized Linear Model,简称GLM)进行分析和建模。 广义线性模型是一种统计模型,用于描述因变量和自变量之间的关系。 在使用GLM分析体检数据时,需要考虑以下几个步骤:1. 数据准备:首先,需要收集和整理体检数据。 确保数据的完整性和准确性,处理缺失值和异常值。 2. 变量选择:根据研究目的和数据特征,选择适当的自变量和因变量。 自变量可以包括性别、年龄、身高、体重等指标,而因变量可以是某种疾病的发生与否、生理指标的异常程度等。 3. 模型假设:GLM有一些基本假设,包括线性关系、独立性、同方差性等。 在使用GLM之前,需要检验这些假设是否满足。 4. 模型构建:根据变量类型和分布特征,选择合适的链接函数和分布族。 常见的链接函数有恒等函数、对数函数和逆正态函数;常见的分布族有正态分布、二项分布和泊松分布等。 5. 参数估计和模型拟合:使用最大似然估计等方法,估计模型的参数。 通过拟合优度指标(如似然比统计量、AIC、BIC等),评估模型的拟合程度。 6. 模型诊断:对模型进行诊断,检验模型的合理性和适用性。 可以通过残差分析、模型检验、变量选择等方法进行。 7. 结果解释:根据参数估计和模型结果,解释变量的影响和效应。 可以通过系数的符号和显著性检验,评估各个自变量对因变量的影响程度。 通过以上步骤,可以使用广义线性模型对体检数据进行建模和分析,得出相关的结论和推断。 需要注意的是,GLM假设线性关系,因此在数据存在非线性关系时,可能需要进行变量转换或使用其他非线性模型进行建模。

glm什么品牌

GLM是Genio LaMode的缩写,专注于一个目标,即制造精致的男装,把意大利引领风尚标的男装时尚带给全世界。 2009年7月20日,森马集团与意大利博洛尼亚的Enistein公司实现跨国合作,成立意大利森马公司(简称意森公司),创立Genio LaMode(GLM)品牌。 GLM定位高端时尚品牌,携手国际首席设计师Fabio,在延续欧式优雅风格的同时,突破传统创新,将时尚设计与顶级制造工艺完美融合,以独特的风格和卓越的品质成为当下引领时装时尚的风向标;GLM品牌涵盖男装、女装、鞋帽、配饰等时尚产品和服务,为广大青年群体带来全新的着装理念。

  • 声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
  • 本文地址:https://srwj168.com.cn/keji312/22698.html
詹姆斯才是总决赛主角 放弃欧文错过双探花 湖人高层搞砸五星阵
如何面对绿军主场嘘声 欧文 并意识到他们没那么有敌意 深呼吸