浪潮信息：推出CPU推理服务器支持DeepSeek和QwQ，元脑加速AI普及

2025年03月20日 来源：浪潮信息

关键字：浪潮信息

浪潮信息宣布推出元脑CPU推理服务器，可高效运行DeepSeek和千问QwQ等新一代大推理模型。元脑CPU推理服务器NF8260G7和NF8480G7设计采用4颗高性能通用CPU和多通道内存系统，通过先进的张量并行策略和AMX加速技术，单机即可高效运行DeepSeek-R1 32B和QwQ-32B推理模型，单用户性能超20 tokens/s，可同时处理20个并发用户请求，是企业快速、易获得、低投入部署上线大模型平台的理想算力选择，将加速DeepSeek带动下AI落地普及速度。

大模型行业应用落地加速，DeepSeek-R1 32B、QwQ-32B等模型中文能力见长，并在理解能力和知识储备上有显著优势，是企业平衡性能和部署成本的最佳模型选择。元脑CPU推理服务器仅基于通用处理器进行软硬协同优化，可为企业32B模型推理与云计算、数据库等通用关键业务场景融合提供更高效、更灵活、更稳定的AI通用算力支撑。

随着DeepSeek等大模型在企业场景中的应用日趋广泛，以及与企业业务系统的融合更加紧密，CPU服务器凭借其独特优势成为中小规模并发场景部署DeepSeek的最佳选择。CPU服务器具备卓越的通用性和灵活性，可同时支持AI推理、云计算、数据库等多种工作负载，避免了专用AI硬件的使用局限，为大模型应用与现有IT基础设施的融合提供了更加灵活、经济的方案选择，使企业能够以较低的硬件投入快速实现大模型应用落地。

在企业部署大模型的过程中，参数规模与其应用场景息息相关。浪潮信息与IDC联合发布的《2025年中国人工智能计算力发展评估报告》显示，目前92%企业使用的生成式人工智能模型平均参数量小于50B。一般而言，671B等超大规模参数的模型性能更强，但对硬件资源要求高，部署成本昂贵；而32B级模型在理解能力和知识储备上有显著优势，能够平衡性能和部署成本。以业界32B模型为例，DeepSeek-R1 32B在知识问答、智能写作、内容生成等方面表现优秀，QwQ-32B则在数学推理、编程任务和长文本处理等方面的性能优异。DeepSeek-R1 32B和QwQ-32B的训练数据中包含海量的高质量中文语料库，会更加适合于国内企业应用，而Llama 70B主要基于英文语料进行训练，对中文用户而言不够友好。因此，大多数企业应用场景中，如企业知识库问答、文档写作、会议纪要整理等场景，32B参数级别的模型往往是最佳选择，既能提供强大的能力支持，又能保持合理的硬件投入。

目前元脑CPU推理服务器NF8260G7和NF8480G7基于通用处理器架构进行软硬协同优化，已经完成与DeepSeek-R1 32B和QwQ-32B等大模型的深度适配和优化。元脑CPU推理服务器通过采用先进的张量并行策略和AMX加速技术，业界主流企业级大模型推理服务框架，实现多处理器并行计算，并使用AWQ（激活感知权重量化）技术，进一步提升推理解码性能，成功实现单用户最高20tokens/s的最佳性能，为企业的AI大模型部署应用带来流畅体验。

面对CPU服务器部署大模型面临算力和带宽方面的挑战，元脑CPU推理服务器采用了多项创新技术。

在算力方面，元脑CPU推理服务器NF8260G7和NF8480G7，设计上采用4颗32核心的英特尔至强处理器6448H，具有AMX（高级矩阵扩展）AI加速功能，支持张量并行计算，并通过多通道内存系统设计可支持32组DDR5内存，从而在单机具备超强的BF16精度AI推理能力、最大16T内存容量和1.2TB/s内存带宽，可以更好满足模型权重、KVCache等计算和存储需求，快速读取和存储数据，大幅提升大模型推理性能。同时，元脑四路服务器具备高可靠性，平均无故障时间可达200,000小时，保障关键应用和AI推理应用持续稳定运行。
在算法方面，元脑CPU推理服务器对业界主流的企业级大模型推理服务框架vLLM进行深度定制优化，通过张量并行和内存绑定技术，充分释放服务器CPU算力和内存带宽潜能，实现多处理器并行计算，效率最高提升4倍，并使用AWQ（激活感知权重量化）技术进一步加速解码性能，实现了2倍解码性能提升。测试数据显示，基于单台NF8260G7，在使用DeepSeek-R1 32B进行带思维链深度思考的短输入长输出的问答场景下，解码性能超过20tokens/s，20个并发用户下，总token数达到255.2tokens/s；在使用QwQ-32B进行模型推理时，支持20个并发用户数，总token数达到224.3tokens/s，可以提供流畅稳定的用户体验。