信通院李论：关于人工智能软硬件产品创新及生态构建的几点思考

人工智能快速迭代，大模型时期仅依靠算力堆叠已无法实现模型性能的同步线性提升，模型算法与底层硬件、软件栈、开发框架间的协同效果最终影响其训推效率与性能表现，人工智能软硬件生态重要性凸显。中国信息通信研究院人工智能研究所软硬件与创新生态部主任李论分享了人工智能软硬件产品创新及生态构建的几点思考，助力我国尽快构建起技术领先、良性发展的软硬件生态体系。

一、大模型的创新迭代与软硬件系统深度耦合

大模型的升级迭代需要在庞大的软硬件系统上进行实验。模型的原始创新和应用迭代落地已非常依赖先进的软硬件协同技术生态体系，框架、芯片、集群、网络等与算法间的协同愈发紧密。当前以DeepSeek为代表的模型凭借工程化创新，实现性能的大幅度提升。特别是通过模型架构、硬件算力和互联通信等方面的极致优化和协同来提升训练和推理的效能。从全球范围看，Meta、字节等国内外头部企业也均在加快更大规模集群的软硬件协同优化，如创新集群网络架构、构建先进的运维工具、优化分布式并行策略等。我们预计，在下个阶段，软硬件协同和生态体系的构建会是全球大模型创新和算力设施建设的竞争焦点。

二、我国在软硬件协同和适配方面发展现状

模型和底层硬件的适配是硬件能力能否充分释放的关键。以业界典型的开源大模型DeepSeek为例，目前在国内主流厂商的软硬件产品上运行DeepSeek模型，仍然需要结合实际应用场景进行深度优化，从而满足精度、性能以及产品服务等延伸需求。

我们把软硬件适配分为三个阶段，第一阶段是完成软硬件产品的基础适配，保障模型在软硬件系统上运行无报错，达到“基本可用”状态。第二阶段是完成系统性能调优，如精度对齐，提升吞吐、延迟等指标表现，初步达到“好用”状态。第三阶段是和实际的场景结合，通过用户、业务提供商、供应商等多方协作，进一步提升落地应用效果。

在此背景下，中国信通院通过构建人工智能软硬件基准体系AISHPerf，推动国产化适配测试工作。我们发现大量国产软硬件系统已能支持DeepSeek运行，通过一系列的优化，能够在数天内实现“可用”，且部分厂商模型适配效果已与官方技术报告实现精度对齐，同时，短期内出现多种工具包及一体机、公有云服务等产品形态，模型易用性不断提升。

三、人工智能算力设施及软硬件产品发展路径

从整体发展来看，我们认为规模定律在未来几年仍将延续。业界主要有两种发展思路：一是扩大训练算力规模，增加模型尺寸，提升模型精度。二是聚焦参数一定范围内的模型改造与高效训练，特别在计算受限下，通过模型参数与训练数据有效配比和算法架构改造提升训练效能，是厂商技术比拼的关键。

在这样的发展路径下，有三个创新重点：一是聚焦系统性能、提升算力利用率。算力需求虽仍在大幅度增长，但当前大量集群的算力利用率仍不足50%，需要进行计算、存储、通信的软硬件深度协同，来实现系统性能提升。二是聚焦推理优化方面的创新。大模型推理成为落地应用的关键环节，通过硬件、软件一体化集成，及分布式并行推理等技术能有效提升推理效率，出现一体机、推理集群等新的产品服务形式。三是面向多样场景的适配是落地关键。DeepSeek等开源模型生态有望进一步促进行业应用需求增长，但各个场景性能指标存在差异，存在大量点对点适配问题，需深度适配优化。

四、我国需面向应用需求持续推动软硬件产品创新和生态建设

应用模型的高效部署和生态协同范式的建立是下阶段AI产品的创新关键。为了进一步凝聚产业共识，降低软硬件选型技术难度和开发门槛，依托工信部人工智能标准化技术委员会，中国信通院基于人工智能软硬件基准AISHPerf工作组已推进十余项标准制定工作，覆盖算子、计算设备、训推集群、框架工具、边端系统、智算的互联、网络等领域。此外，我们在北京亦庄建设了首个人工智能软硬件协同创新与适配验证中心，面向包括芯片、服务器、不同类型的计算设备、集群、开发框架及平台、一体机等在内的人工智能软硬件产品，去提供相应的实验验证、测试和产业培育等工作。下一步，我们将持续开展大模型软硬一体设备、框架软件与工具、大规模智算集群等系列测试验证工作，举办“兴智杯”全国人工智能创新应用大赛、大模型创新发展与软硬件协同生态论坛等大型赛会活动，希望能够有序引导人工智能模型和软硬件厂商间的协同创新，集聚各方力量尽快构建起技术领先、良性发展的产业生态体系。