|
昇腾六大行业大规模专家并行优秀实践，使能千行万业极致推理
2025-09-22 14:48:55
来源:
浏览:2 0次
[中国，上海，2025年9月18日] 在华为全联接大会2025期间，以“与时代，共昇腾”为主题的昇腾AI人工智能产业峰会在上海成功举行。现场，昇腾联合行业伙伴发布大规模专家并行（大EP）技术在运营商、政务、教育、金融、大模型、电力六大行业的优秀实践，展现推理系统构建突破，助力企业智能化升级，带来极致 AI 推理体验。
六大行业大规模专家并行优秀实践正式发布
当前，MoE模型成大模型落地重要方向，但企业部署面临多重难题：传统方式需频繁切换硬件集群、适配底层硬件，导致推理系统搭建周期长、成本高；且现有方案难平衡性能与资源利用率，高并发场景下吞吐不足、时延高，“碎片化”部署无法满足规模化应用需求，阻碍AI技术产业渗透。
为有效解决以上问题，昇腾依托AI基础软硬件优势，联合伙伴打造“开箱即用”的大规模专家并行（大EP）解决方案。硬件上，以昇腾384超节点为核心，基于灵衢互联协议，通信带宽提升15倍、时延降至200ns内；架构上，首创“1卡1专家”模式，配合昇腾基础软件加速，系统推理吞吐提升4倍以上，实现“1份投入，4份产出”；软件上，方案内置全新MindIE Motor推理服务加速库，提供大EP部署、PD分离配置、DP负载均衡、分钟级故障恢复等能力，大幅降低大EP开发部署维护门槛。
目前，该方案已在六大行业规模化落地。运营商领域支撑高并发业务，部分企业相关调用成本降超50%；政务场景助力打造AI辅助审判系统；教育领域服务数万师生，2k输入输出场景吞吐性能提3倍以上；金融行业风控等业务响应能力提3倍以上；电力系统高效处理供电方案生成等需求；大模型企业完成多行业分布式推理系统部署。
此次实践发布，标志AI推理进入高效可靠新阶段，彰显昇腾技术引领地位。未来，昇腾将持续携手伙伴，深化全链路创新，推动大模型与行业深度融合，提供更多“开箱即用”方案，加速全场景、全行业AI应用落地，开启AI推理新时代。
|
|
|
