HPE押注智能体AI：企业AI推理正在从云端回归本地数据中心

   随着AI智能体快速发展，企业正在重新思考AI基础设施架构。HPE认为，未来大量AI推理任务不会长期运行在公有云中，而会回到企业自己的数据中心，形成“本地+边缘+云”的混合AI架构。

   HPE表示，推动这一变化的核心原因之一，是AI智能体带来的“Token经济”压力，说白了就是Token太贵了。

       AI智能体让Token消耗暴增，企业开始关注成本

       过去，企业使用生成式AI，通常是用户输入问题，模型生成一次回答。但AI智能体不同，它需要持续读取数据、分析环境、调用工具、验证结果，并与其他系统交互。

       这意味着一次简单任务背后，可能包含数千甚至数百万次模型调用，每一次调用都会消耗Token，并产生计算成本。

       HPE首席技术官兼混合云业务负责人Fidelma Russo表示，随着AI系统越来越自主化，企业每天处理的大量运营信号正在转化为越来越高的Token消耗成本。

       为了降低成本，HPE内部建设了一套基于自身基础设施运行的AI支持平台，包括GreenLake Intelligence AI智能体框架，以及与英伟达合作打造的Private Cloud AI私有AI基础设施。

       HPE表示，将AI工作负载迁移到自有基础设施后，不仅增强了数据控制能力，也显著降低了Token成本。

       据HPE介绍，这套方案帮助公司将相关成本降低超过30倍，每月节省近10万美元。

       AI推理正在回归本地，云端并非唯一答案

       HPE认为，AI时代正在出现一个重要趋势：企业不再单纯依赖大型公有云运行所有AI任务，而是开始建设自己的AI数据中心。原因包括数据安全、合规要求、响应延迟，以及越来越高的AI推理成本。

       尤其是在智能体AI时代，推理已经不再是一次性的请求，而变成持续运行的生产任务。

       Russo表示，AI智能体会不断进行推理、验证、执行操作，每一个环节都会消耗Token，因此AI成本最终会越来越接近传统基础设施成本，需要考虑资源利用率、效率和规模化运营。

       研究机构Signal65数据显示，AI智能体消耗的Token数量可能是普通聊天式AI的4到15倍，而未来高度自主化的智能体系统，可能推动推理需求增长1000倍。

       这也推动企业重新布局AI基础设施。目前，包括HPE、戴尔、思科等传统IT厂商，都正在推出面向企业的AI工厂（AI Factory）方案，与英伟达合作提供本地AI计算、网络和软件管理能力。

       存储成为AI系统“长期记忆”，KV Cache改变了数据的角色

       除了计算资源，HPE认为存储将在AI时代扮演更加重要的角色。

       传统AI系统每次运行任务时，都需要重新构建上下文信息，这会消耗大量Token并降低效率。而KV Cache（Key-Value Cache）技术可以保存模型已经处理过的上下文信息，让AI无需重复计算。

       HPE认为，这意味着存储正在从过去的数据保存设备，转变为AI系统的“主动记忆”。

       为此，HPE正在推动Alletra Storage X10000存储系统与Private Cloud AI结合，用于保存AI上下文数据。

       HPE表示，在测试中，该系统可以实现20倍更快的首次Token生成时间（Time-to-First-Token），并提升17倍吞吐能力。

       这背后反映出一个趋势：未来AI基础设施竞争，不只是GPU数量竞争，也包括如何更高效地管理数据、上下文和AI记忆。

       HPE完善AI基础设施布局

       除了存储，HPE还在服务器、软件和AI管理平台方面扩展布局。

       HPE Private Cloud AI未来将集成英伟达Agent Toolkit，包括OpenShell安全运行环境、NemoClaw蓝图以及Nemotron模型，帮助企业构建和管理大规模多智能体环境。

       此外，HPE计划推出的新一代ProLiant DL394 Gen12服务器，也将采用英伟达Vera CPU，用于支持AI智能体中的快速工具调用、任务编排和实时数据处理。

       在软件方面，HPE推出GreenLake Intelligence，用于管理企业内部的AI智能体，包括智能体注册、权限管理、运行状态监控以及Token消耗分析。

       同时，Morpheus 9平台进一步增强多站点基础设施自动化管理能力。

       AI基础设施进入“云+本地”新阶段

       HPE认为，未来公有云仍然适合AI模型训练和早期实验，但企业生产环境中的AI推理任务，将越来越多部署在自己的数据中心。

       HPE私有云和灵活解决方案业务负责人Cheri Williams表示，企业仍会使用公有云进行实验和模型训练，但生产环境中的AI应用正在转向本地部署，因为公有云模式在大规模运行AI时经济性越来越难以满足需求。

       这意味着，AI基础设施正在进入一个新的阶段：训练走向云端，推理回归企业；GPU决定算力上限，存储决定AI效率。

       随着AI智能体从实验阶段进入企业生产环境，未来的数据中心竞争将不再只是计算能力竞争，而是计算、存储、网络和软件协同优化的综合竞争。