积算科技上线赤兔推理引擎服务，创新解锁FP8大模型算力

近日，北京积算科技有限公司（以下简称"积算科技"）宣布其算力服务平台上线赤兔推理引擎。积算科技PowerFul-AI应用开发平台与赤兔合作，打造高性价比的模型轻量化部署方案。用户通过远程算力平台预置的模型镜像与AI工具，仅需50%的GPU算力即可解锁大模型推理、企业知识库搭建、智能体开发，加速大模型在智能问答、报告生成、客服助手、智能体等典型行业场景的落地。

赤兔推理引擎由北京清程极智科技有限公司（以下简称"清程极智"）开发，并联合清华大学团队发布开源版本。其核心价值在于，打破了FP8模型原生部署时GPU必须支持FP8精度的要求。通过底层算子优化（如GeMM、MoE的指令级重构）和编译技术创新，赤兔早在今年三月即首次实现在非FP8精度卡上原生运行FP8高精度模型，并确保推理过程几乎零精度损失。

积算科技联合清程极智，完成了赤兔推理引擎在积算科技PowerFul-AI应用开发平台上的验证测试。测试结果表明，赤兔推理引擎在积算科技PowerFul-AI平台上运行稳定、性能表现优异，满足双方兼容性认证的各项标准，能够快速完成DeepSeek、Qwen等大模型推理部署，并支持基于非FP8精度GPU卡实现FP8模型部署，相比于使用BF16精度部署，GPU算力需求减半。以部署DeepSeek-R1-671B为例，原需4台8卡机2560GB显存，现仅需2台8卡机1280GB显存即可满足要求。

积算科技PowerFul-AI平台携手赤兔推理引擎，将为AI大模型应用开发打造"成本减半、零性能损耗"的解决方案，提供构建企业知识库开发、智能体搭建等功能，助力企业用户灵活快速构建大模型通用应用及个性化端到端解决方案。

PowerFul-AI是积算科技的大模型应用落地解决方案，能够为AI大模型落地应用提供高效、易用、安全的端到端开发平台，帮助企业及科研机构高效开发部署AI大模型应用。目前，PowerFul-AI已经全面适配DeepSeek R1、DeepSeek V3等模型。用户只需选择镜像和模型文件，并配置模型所需的算力资源，即可快速完成模型部署，实现DeepSeek的"分钟级"上线。

积算科技诞生于全球生成式AI浪潮，专注于智能算力服务市场，致力于成为中国最具价值的智能算力服务商，聚焦互联网、运营商、高校、新能源汽车等领域的多家头部客户提供算力服务。公司拥有万卡级先进智能算力资源池，提供裸金属、智能算力系统、专属智能算力系统等算力服务产品，适用于大模型训练与推理、算法研究、大数据分析、自动驾驶、智能科学计算等多元场景。其运维和服务团队具备大规模智能算力系统设计建设、大模型开发应用及性能优化能力，可提供全栈大模型应用开发服务支持，并根据客户需求提供灵活服务模式。