英特尔闪耀2024稀土开发者大会：共绘科技未来蓝图！

2024年07月04日

关键字：英特尔 2024稀土开发者大会

6月28日至29日，「稀土开发者大会」在北京圆满落幕，这场为期两天的盛会以“代码不止掘金不停”为主题，汇聚了业界精英的璀璨光芒。活动特邀5位重量级主论坛嘉宾、12位卓越出品人以及超过70位技术先锋，精心策划了10大前沿主题分论坛，跨越地域界限，携手引领技术潮流，深入剖析行业最新趋势与未来发展方向。

作为本次大会的战略合作伙伴，英特尔不仅在主论坛与分论坛上贡献了精彩纷呈的内容，更在外部展区大放异彩，聚焦于大模型与genAI的赋能展示。不仅展现了其在推动AI技术革新方面的深厚实力，更为参会者搭建了一个近距离感受未来科技魅力的平台。

开放生态赋能创新

英特尔公司副总裁、英特尔中国软件与先进技术事业部总经理李映在稀土开发者大会主论坛上带来了主题 《开放生态，赋能创新：英特尔如何通过开源开放推动GenAI 产业生态繁荣》 。会上，他强调英特尔公司通过技术趋势引领和开源社区建设，推动社区繁荣，同时在硬件支持和创新项目培育方面发挥着重要作用。英特尔的技术合作释放了硬件算力，OS优化快速部署，显著提升了性能，尤其是在veLinux操作系统上的应用性能。通过社区治理和创新项目，展示了硬件级安全方案和资源管理的重要性。英特尔还推动了AI创新应用在多媒体内容生成、教育等领域的发展。

展望2024年，英特尔计划通过开放生态系统解锁企业人工智能，推动异构计算AI加速框架，与Linux Foundation等合作伙伴共同构建开放、标准的多架构加速计算生态系统。英特尔中国将继续加强全球开源社区合作，加速技术应用创新，推动产业落地，释放底层算力，实现AI的无处不在。

图：英特尔公司副总裁、英特尔中国软件与先进技术事业部总经理李映

在「大模型部署与推理」的分论坛上，英特尔高级软件工程师缪金成、英特尔AI框架软件工程师王锡贵分别带来了《使用英特尔优化工具加速GenAI/LLM应用》以及《英特尔基于transformer的工具集加速LLM》的主题演讲。

缪金成首先介绍了至强平台凭借其强大的计算能力和可扩展性，在支撑复杂LLM运行方面的独特优势。具体而言，通过利用该平台提供的32个物理核心以及 xFT + vLLM技术，实现了多路并发的卓越效果，显著提升了模型处理速度与响应能力。他进一步分享了具体的部署经验，包括如何选择合适的硬件配置、优化软件栈以充分利用硬件资源，以及利用部署工具简化流程、加速部署周期。最终，通过实例展示，验证了至强平台在支持高并发、低延迟LLM服务方面的卓越表现。

图：英特尔高级软件工程师缪金成

王锡贵着重介绍了英特尔扩展工具包，这是一个为加速Transformer模型而设计的创新工具集。他详细说明了该工具包如何支持模型量化，以减少内存占用同时保持计算精度。并分享了全面的安装和配置指南，指导用户如何在不同的操作系统和软件版本上部署和优化模型。此外，他还列出了工具包支持的大型语言模型，并提供了详尽的性能数据，展示了这些模型在不同硬件上的表现。

图：英特尔AI框架软件工程师王锡贵

在「GenAI技术实践」分论坛上，英特尔软件工程师林立凡带来了主题为《火山引擎g3i实例：基于第五代至强处理器的文生图实践》

林立凡在演讲中总结了基于英特尔第五代至强处理器在文生图技术上的实践突破。他强调了火山g3i实例的架构优势，特别是Intel AMX技术如何通过硬件加速提升深度学习性能。同时，他介绍了英特尔软件栈的优化，包括针对PyTorch、TensorFlow等框架的调整及AMX性能优化。通过Huggingface pipeline的实战案例，展示了这些优化如何在实际应用中提升图像生成服务的效率。

图：英特尔软件工程师林立凡

在「大模型工具链的应用与实践」分论坛上，英特尔AI框架软件工程师王再励带来了主题为《助力PyTorch加速大语言模型》

在演讲中他深入剖析了Intel Extension for PyTorch，这一专为强化PyTorch在英特尔平台上性能的定制优化工具集。王再励简明扼要地介绍了三大核心优化策略：算子级优化、自动混合精度加速及数据布局智能调整，这些策略协同作用，显著加速了深度学习模型的训练与推理过程。针对大型语言模型（LLM）的内存瓶颈，王再励介绍了一系列创新优化方案，涵盖GEMM计算加速、图结构优化、权重量化技术、K-V缓存策略优化及高效的分布式推理方法。他特别强调了SmoothQuant与权重量化技术的应用，这些技术能够在保持模型精度的同时，大幅提升计算效率。