e-works数字化企业网  »  新闻  »  资讯  »  正文

从云到端 NVIDIA与戴尔、微软合作加速企业就绪的生成式AI

2023年5月24日     来源:至顶网        作者:李祥敬       
关键字:NVIDIA  戴尔  微软  
       生成式AI的浪潮席卷各行各业,企业纷纷拥抱生成式AI,但是要支撑生成式AI,企业在基础设施层面需要进行大量投入。

  为了加速企业就绪的生成式AI,在近日举行的戴尔科技集团全球大会和微软Build大会上,NVIDIA与戴尔、微软合作提供了针对性的解决方案,这些方案覆盖云到端,让企业能够快速部署生成式AI。

  01用于安全、本地化部署生成式AI的Project Helix

  处于安全性的考虑,企业对于生成式AI模型的部署需要实现本地化构建。基于这样的客户诉求,戴尔与NVIDIA推出Project Helix合作项目,其基于戴尔和NVIDIA的基础设施与软件打造。

  Project Helix支持从基础设施配置、建模、训练、微调、应用开发和部署一直到部署推理和精简结果等整个生成式AI的生命周期。

  其中Dell PowerEdge服务器如PowerEdge XE9680和PowerEdge R760xa,与NVIDIA H100 Tensor Core GPU和NVIDIA Networking一起,并与Dell PowerScale和Dell ECS Enterprise Object Storage等具有弹性、可扩展的非结构化数据存储搭配使用。

  Project Helix包含NVIDIA AI Enterprise软件,为客户提供用于整个AI生命周期的工具。NVIDIA AI Enterprise包含100多个框架、预训练模型和开发工具,例如用于构建生成式AI聊天机器人的NVIDIA NeMo大型语言模型框架与NeMo Guardrails软件。

  Project Helix还将安全和隐私功能内置在基础组件中,如Secured Component Verification。在本地保护数据可以降低固有风险,帮助企业满足监管要求。

  自2023年7月起,基于Project Helix项目的Dell Validated Designs将通过传统渠道和APEX灵活的消费选项提供。

  02 NVIDIA AI Enterprise与Azure机器学习集成,提供端到端云平台

  除了本地化部署,云端部署也是生成式AI的重要方式,OpenAI的ChatGPT就是运行在微软的Azure云中。

  现在,企业也可以享受到这样的服务了。因为NVIDIA AI Enterprise软件套件和Azure机器学习相结合,为企业加快其AI计划从开发到生产提供了一个直接、高效的路径。

  通过Azure机器学习上集成的NVIDIA AI Enterprise,用户还能够访问最高性能的NVIDIA加速计算资源,以加快AI模型的训练和推理。

  借助Azure机器学习,开发人员可以轻松地扩展应用——从测试到大规模部署,同时使用Azure机器学习的数据加密、访问控制和合规认证可满足安全要求并符合其组织策略要求。借助安全、生产就绪的AI功能,NVIDIA AI Enterprise与Azure机器学习形成互补,同时还包括NVIDIA专家的帮助和支持。

  NVIDIA AI Enterprise包含100多个框架、预训练模型和开发工具,例如用于加速数据科学负载的NVIDIA RAPIDS,NVIDIA Metropolis可加速视觉AI模型开发,而NVIDIA Triton Inference Server则支持企业实现标准化的模型部署和执行。

  NVIDIA AI Enterprise与Azure机器学习的集成目前为有限技术预览版,能通过在NVIDIA社区中注册获得。

  NVIDIA AI Enterprise还可在Azure Marketplace上使用,为全球企业提供了一个强大的全面安全和完全支持的AI开发和部署的新选项。

  03在PC设备上部署先进的AI模型

  我们知道AI模型对于算力的要求非常高,普通的移动设备是无法承载的。但是微软与NVIDIA合作,发布在Windows PC上开发AI的工具、优化和部署AI的框架,使开发人员能够以生成式AI为核心来构建下一代Windows应用。

  AI开发通常是在Linux上运行,NVIDIA与微软密切合作,为适用于Linux的Windows子系统(WSL)内部的整个NVIDIA AI软件堆栈提供GPU加速和支持。开发人员现在可以使用Windows PC来满足所有本地AI开发需求,并支持GPU加速的WSL深度学习框架。

  NVIDIA RTX GPU在台式机工作站中提供高达48GB的显存,开发人员现在可以在Windows上处理以前只能在服务器上处理的模型。大显存还提高了AI模型本地微调的性能和质量,使设计师能够根据自己的风格或内容进行定制。

  更为重要的是本地运行的NVIDIA AI软件堆栈与云端是同构的,开发人员因此可以轻松将模型推送到微软Azure云上进行大规模训练。

  微软还发布了Microsoft Olive工具链,用于优化PyTorch模型并将其转换到ONNX,使开发人员能够自动利用RTX Tensor Core等GPU硬件加速。

  开发人员可以通过Olive和ONNX优化模型,并将Tensor Core加速的模型部署到PC或云端。微软将继续投资,使PyTorch及相关工具和框架与WSL无缝协作,从而提供最佳的AI模型开发体验。

  RTX Tensor Core为AI推理提供高达1400的Tensor TFLOPS(万亿次浮点运算)。过去一年,NVIDIA一直致力于提升DirectML的性能,以便充分利用RTX硬件的优势。

  NVIDIA将在532.03版驱动中发布最新的优化,与Olive优化的模型相结合,大幅提升AI性能。使用Olive优化版Stable Diffusion文本-图像转换器以及受欢迎的Automatic1111发行版,新驱动程序的性能提高了2倍以上。

  随着AI即将进入几乎所有Windows应用,提供节能的推理性能变得至关重要——尤其对于笔记本电脑来说。NVIDIA即将推出新的Max-Q低功耗推理,用于RTX GPU上的纯AI工作负载。它在优化Tensor Core性能的同时尽可能地降低GPU的功耗,延长电池续航时间,并使系统保持出色的散热和降噪表现。根据负载需要,GPU可以动态地扩展,以提供最高的AI性能。

  NVIDIA和微软正在为开发人员提供一些资源,以便在Windows PC上测试主要的生成式AI模型。Hugging Face上提供了一个Olive优化版的Dolly 2.0大语言模型。此外,用于对话式AI的NVIDIA NeMo大型语言模型的PC优化版也即将在Hugging Face上线。

  总之,通过微软Windows平台和NVIDIA动态AI硬件和软件堆栈背后的互补技术,开发人员将能够在Windows 11上快速、轻松地开发并部署生成式AI。
责任编辑:王力
e-works
官方微信
掌上
信息化
编辑推荐
文章推荐
博客推荐
视频推荐