AI热点 7小时前 190 阅读 0 评论

消息称华为即将发布 AI 推理领域突破性成果:降低对 HBM 依赖,提升国内大模型性能

作者头像
AI中国

AI技术专栏作家 | 发布了 246 篇文章

IT之家 8 月 10 日消息,据《科创板日报》报道,华为将于 8 月 12 日在 2025 金融 AI 推理应用落地与发展论坛上,发布 AI 推理领域的突破性技术成果。据透露,这项成果或能降低中国 AI 推理对 HBM(高带宽内存)技术的依赖,提升国内 AI 大模型推理性能,完善中国 AI 推理生态的关键部分。

IT之家注意到,华为在 AI 推理领域的技术突破已有先例。2025 年 3 月,北京大学联合华为发布了 DeepSeek 全栈开源推理方案,该方案基于北大自研 SCOW 算力平台系统和鹤思调度系统,整合了 DeepSeek、openEuler、MindSpore 与 vLLM / RAY 等社区开源组件,实现了华为昇腾上的 DeepSeek 高效推理。

在性能方面,华为昇腾已实现多项突破。例如 CloudMatrix 384 超节点部署 DeepSeek V3 / R1 时,在 50ms 时延约束下单卡 Decode 吞吐突破 1920 Tokens / s;Atlas 800I A2 推理服务器在 100ms 时延约束下单卡吞吐达到 808 Tokens / s。

科大讯飞与华为的合作也取得了显著成果,双方率先实现了国产算力上 MoE 模型的大规模跨节点专家并行集群推理,使推理吞吐提升 3.2 倍,端到端时延降低 50%。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!