千卡集群每年降本2000万!腾讯云推出AI Infra品牌 副总裁解读智算产业趋势

智东西(公众号: 作者 香草 编辑 李水青

智东西9月5日报道,今日,腾讯云在腾讯全球数字生态大会上发布AI Infra(AI基础设施)品牌“腾讯云智算”,将旗下高性能计算HCC、星脉网络、AIGC云存储等单项产品能力整合,提供集算存网一体的高性能智算底座。

腾讯云智算目前已服务了90%的国内大模型头部用户,包括百川智能、智谱AI等。据腾讯公司副总裁、云与智慧产业事业群COO兼腾讯云总裁邱跃鹏介绍,腾讯云的集群千卡单日故障数是行业水平的1/3,数据读写效率是业界10倍,千卡集群通信时间是业界一半。

在大会之前,智东西与少数媒体对话了腾讯云副总裁、云计算资深技术专家沙开波,深入交流了智算产业的市场趋势、技术难点等。

谈及AI对云计算的影响,沙开波认为长期来看,生成式AI的发展是具有确定性的,大模型对智算产业来说是一块很大的增量,未来一定会有一个比较大的爆发节点。

之所以选择在这时成立腾讯云智算的品牌,也与客户需求有很大的关系。另一方面,大模型计算、推理等场景对云基础设施提出高要求,腾讯云作为解决方案提供方需要不断打磨产品能力,从而更好地支持这一类客户的业务需求。

一、集算存网一体,从设备上架到启动训练仅

整体来看,腾讯云智算是一个集算、存、网于一体的高性能智算底座,整合了腾讯云高性能计算HCC、高性能网络IHN星脉、高性能云存储、加速框架、容器、向量数据库、智算套件等产品,提供性能领先、多芯兼容、灵活部署的智算产品能力。

互联网企业、大模型厂商、本地智算IDC、金融企业等是腾讯云智算现阶段的主要客户,具体到场景中除了公有云,还有私有云、专有云的一些应用,其中大模型厂商是最主要的客户之一。

腾讯云智算在训练启动时效上大幅提升,从设备到位到开始训练,相较业界平均的30天时间缩小到仅1天。

在集群稳定性方面,腾讯云智算千卡单日故障卡数0.08,只有业界的1/6;数据读写效率上,Checkpoint聚合写入的峰值性达到业界10倍以上,1分钟就能完成万卡Checkpoint读写;网络交换效率方面,通过服务器、网络端、交换机和通讯库的整体自研优化,千卡集群的通信时间占比为6%,是业界平均时间占比12%的一半。

▲腾讯云智算训练效率

随着市面上的大模型参数不断增长,从百亿、千亿,逐渐扩展到万亿,模型训练对底层算力集群的要求也不断提升。腾讯云是如何破解集群升级难点的?

沙开波谈道,大规模计算集群的打造也是腾讯云智算产品矩阵最想解决的问题。其中,HCC高性能计算产品是专门用于高性能、稳定、大规模计算集群的构建,而如何将GPU等算力高效利用起来,则用到星脉网络来提供卡之间的高效互联,模型训练过程中的Checkpoints高效读写对应的是高性能存储产品。

基于这些产品整体构建的计算存储网络全栈解决方案,才能帮助客户实现大规模集群的高效利用。

二、 天训完万亿参数模型,网络故障 分钟解决

具体来看腾讯云智算的产品矩阵,包括高性能计算、网络、存储产品,加速框架、向量数据库以及智算套件等。

▲腾讯云智算解决方案

腾讯云HCC高性能计算集群发布于去年4月,是行业最早发布的面向大模型训练、推理的算力集群。

HCC底层采用腾讯云自研星星海服务器,可以提供3.2T的超高互联带宽,算力性能比上一代提升3倍。万亿参数的混元NLP大模型训练,最快4天就能训练完成。在稳定性方面,HCC千卡单日故障卡数为0.08,无中断训练时长达到300小时,是业界平均市场50小时的6倍。

腾讯云星脉网络是其自研的高性能计算网络IHN,支持超10万卡大规模组网、多型号异构GPU接入,网络通信效率比上一代提升60%,大模型训练效率提升20%。

星脉网络具备高效的故障处理能力,在万卡集群下,网络故障可实现1分钟发现,3分钟定位,5分钟解决。

据沙开波介绍,这是因为星脉网络通过一些流量和拓扑的自动感知,进行流量替换中心的调度,从而提升整个网络的吞吐,并在发现故障的时候迅速定位到是哪个链路出的问题,对链路进行调度、异常处理,让整个训练可以不中断或者少中断。

腾讯云的AIGC云存储解决方案包括CFS Turbo、对象存储COS、数据加速器GooseFS以及数据处理CI等,针对AI大模型数据采集清洗、训练、推理、数据智理全流程,提供全面高效的云存储支持,可将大模型的数据清洗和训练效率提升一倍。

三、千卡集群每年降本 万,助力传统企业 转型

目前,腾讯云智算可以灵活地支持公有云、私有云以及分布式云的输出,成为了国内90%头部大模型厂商的选择,也帮助一大批IDC厂商实现了AIDC转型。

沙开波解读了腾讯云智算具体的落地案例,公有云的一些大模型的客户在使用其完整的智算解决方案后,一个千卡集群每年的成本相比过去传统的方式可以降低2000万。

例如某社区电商的企业,在评论分析、图像分类等OCR、CV业务上应用腾讯云智算解决方案,在去年下半年从海外的芯片更换成了腾讯云公有云上的国产芯片。在主要业务指标不变的前提下,只用了21天就完成了替换,其中两周左右用来适配模型,一周左右改造推理框架,对不同芯片的适配非常高效灵活。

▲腾讯云智算客户价值

在私有云的落地上,腾讯云智算主要的客户是传统的IDC公司,它们原本具有机房、硬件、网络优势,但是缺少云、软件解决方案。

具体案例是,某传统IDC企业通过与腾讯云智算合作,组建新一代具备AI Infra基础能力的智算平台,并通过租户、计费管理等能力,为终端用户提供一站式自主用云服务,实现到AIDC的转型。该客户还获得了今年的可信云大会用户最佳实践奖。

四、谈智算产业五大趋势,保持兼容、开放、公私一体

首先是大模型的规模仍在持续增加,这对AI Infra要求也越来越高,需要更大的算力集群,如何在更大集群下确保稳定性、应用性可以满足要求是主要命题。

第三是现在整体AI应用,处于一个快速发展的阶段,在应用落地层面仍处于前期,未来可能会越来越快。从这个角度看,未来的推理比重可能也会逐步增加。

第四是AI场景变得越来越广泛,很多行业还在探索的阶段。从腾讯云智算和很多客户的交流中,可以看出他们在这方面都有很强的诉求,未来肯定会有一些创新的业务应用落地。

最后是对数据安全的需求强烈。对很多国内企业来说,用于训练推理的业务数据,只能在自己的机房里面完成,这对产品能力的部署提出比较多诉求。

谈及腾讯云智算的整体战略目标,沙开波称腾讯云从ChatGPT出现后就一直在打磨产品,在原来的通用计算、云上去演进,让原有的云基础设施能更加满足大模型时代对训练、推理场景的诉求。

此次发布腾讯云智算品牌,主要还是出于把过去一系列的工作组合起来,变成一个整体解决方案对外提供,向行业传递更准确、更完整的信息。

相较其他友商,腾讯云智算品牌的主要战略是整体的兼容性、开放性,以及公私一体。

结语:生成式AI推动智算产业飞速发展

凭借集算存网一体的高性能智算底座,腾讯云智算整合了多项优势产品,展现了在智算领域的技术能力和潜力。

随着生成式AI的持续发展,智算产业也许会乘着这股大模型的风“起飞”。腾讯云智算以其兼容性、开放性以及公私一体的战略,不仅灵活地支持公有云、私有云以及分布式云的输出,同时也成为了国内大量大模型厂商的选择,帮助一大批IDC厂商实现向AIDC的转型。

  • 声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
  • 本文地址:https://srwj168.com.cn/keji312/20224.html
荣耀环球旅行应用上线 无需SIM卡
生完四胎复出美得大杀四方 37岁的她比18岁更好看