出品 | 搜狐科技
作者 | 王一鸣
“现在真的是生成人工智能的一个特殊节点，我们一直在等待这个时刻。我想你还记得，当ChatGPT在2022年突然出现时，企业真的都在争先恐后地学习生成式人工智能。” 英伟达人工智能软件副总裁Karrie Briski说。
7月25日消息，英伟达宣布推出全新AI Foundry和英伟达NIM（推理微服务），与此同时Meta也正式发布了Llama 3.1开源模型，两者一起进行部署，企业可以定制专属模型。
英伟达AI Foundry和Meta Llama 3.1让企业能够创建自定义的模型。企业将自有数据与Llama 3.1 405B和英伟达Nemotron Reward模型生成的合成数据结合，训练这些模型。
Meta Llama 3.1 NIM与英伟达NeMo Retriever NIM组合，可以实现AI copilot、助手和数字人虚拟形象形成检索信息为基础的工作流。
英伟达官方认为，企业和国家政府机构通过定制的大语言模型，可使生成式AI应用更好地服务于他们的业务需求或文化。
自定义模型不再遥不可及
企业在人工智能领域投入大量资金，他们主要致力于节省时间和提高经济效益，通过高效的产品和服务实现业务增长，并扩大商业版图以增加业务收入。
Karrie Briski表示，AI大幅度提高了企业员工的效率，能够代替人类完成一些重复性高的任务，比如总结文字。以英伟达芯片设计团队为例，工程师为了达到项目标准，解决一个bug需要花费几分钟到几小时。生成式AI可以每天帮助他们节约1000个工程小时，平均每个错误的解决速度快4分钟。
具体来说，定制AI模型是复杂的，这要从基础模型（Model）开始，当企业需要添加数据（Data）时，就需要计算资源（Compute）。企业可能并不清楚具体需要多少计算资源，这时就需要工具（Tooling）来辅助。与此同时，只有“原料”是不够的，如何制作、交付以及最终用途（Expertise）同样是关键。
英伟达AI Foundry就是以上问题的解决方案。
通俗来讲，“Foundry”就是芯片代工厂，例如台积电（TSMC），它们生产其他公司设计的芯片。英伟达Foundry为这些公司提供用于开发和自定义模型的基础设施和工具，台积电使用自己的库、工具、机器和设计方法论为英伟达提供芯片。
Nemotron可帮助高级模型自定义
如果企业需要更多训练数据来创建特定领域的模型，可以在创建自定义 Llama 超级模型同时使用 Llama 3.1 405B和Nemotron-4 340B生成合成数据，以提高模型的准确性。
拥有自己的训练数据的客户可以使用英伟达NeMo对Llama 3.1 模型进行自定义，通过领域自适应预训练（DAPT）进一步提高模型的准确性。
英伟达和Meta一起为Llama 3.1提供了一种提炼方法，供开发者为生成式AI应用创建更小的自定义 Llama 3.1 模型。这使企业能够在更多加速基础设施（如AI工作站和笔记本电脑）上运行由Llama驱动的AI应用。
Llama 3.1是一个拥有 4050亿parameter（参数）的综合生成数据模型。英伟达拥有一个3400亿parameter奖励函数模型（reward model，应用于提示工程），可用于奖励合成生成的数据，并提供反馈以微调（fine tuning）数据集。
也就是说企业在自定义模型时，不需要提供大量数据，因为合成生成数据（synthetically generate>
Meta的Llama 3.1系列模型有三种不同的尺寸，分别为80亿parameters（8B），700亿parameters（70B），4050亿parameters（405B），这些模型根据不同的需求进行选择，通过FP8安装在单个H100节点上。
“我们有好多适用于不同场景的模型任你挑选”
Karrie Briski为我们展示了应用场景所对应的模型，目前英伟达有75+模型可供体验，还可以使用API，他们希望这些模型能够满足企业的需求。这里面有供应链、自动驾驶、数字人、医疗和数字化视觉等。
在检索信息方面，Nemo Retriever可以让客户使用自然语言跟数据“交流”，完全可以当成私人助理。
“为什么我6月话费花了这么钱？”“你账户中「推荐给朋友」的优惠券已经过期了，所以涨了20美元，而且你还有个10美元的国际长途费”
Karrie Briski谈到去年许多企业对定制化存在很大的不确定性，认为完成了RAG（检索增强生成）系统就算大功告成。然而，这些RAG系统真正投入使用后，他们发现还需要更高的精确度、准确度、更好的数据利用效果，以及提升公司品牌形象的能力。这些需求正是NeMo Retriever NIM存在的意义所在。
“我的最新处方药与我正在服用的其他药物有可能发生药物相互作用吗？”
Karrie Briski在这里举的例子是一个用于医疗领域的数字人模型， NIM在这里的数量成倍增加，因为不仅仅只有系统本身，还有自定义模型、嵌入模型、检索模型和数字人。
Karrie Briski还展示了之前很火的天气预测的工作流，其中有两个应用通过模数建立在NIM上面，分别代表两个不同的扩散模型。不同种类的AI模型涉及到的可不仅仅是文本和高分辨率雷达数据，它们解决极端问题的时候比那些传统的气象预测模型的效率要高很多。
可以说，如果灾难发生，延迟的减少可以迅速做出决策，有效地进行风险预估。
黄仁勋表示，“Meta的Llama 3.1开源模型标志着全球企业采用生成式 AI 的关键时刻已经到来。Llama 3.1 将掀起各个企业与行业创建先进生成式 AI 应用的浪潮。NVIDIA AI Foundry 已经在整个过程中集成了Llama 3.1，并能够帮助企业构建和部署自定义 Llama 超级模型。”
Meta CEO马克·扎克伯格说道，“全新的 Llama 3.1 模型是开源 AI 迈出极其重要的一步。借助英伟达 AI Foundry，企业可以轻松创建和定制大家想要的最先进的 AI 服务，并通过英伟达 NIM 进行部署。我很高兴能将它交付到大家手中。”
目前自定义模型已经覆盖到医疗、能源、金融服务、零售、交通、电信等行业。
