AI热点 2月前 116 阅读 0 评论

AMD、高通宣布旗下硬件支持 OpenAI gpt-oss 开放推理模型

作者头像
AI中国

AI技术专栏作家 | 发布了 246 篇文章

IT之家 8 月 6 日消息,OpenAI 当地时间昨日以 Apache 2.0 许可证的形式推出了两款 gpt-oss 系列开放推理模型,其中参数规模较小的 gpt-oss-20b 模型可在仅配备 16GB 内存的边缘设备上运行、参数更多的 gpt-oss-120b 则能在单个 80GB GPU 上高效运行。

AMD 与高通均宣布旗下硬件支持 gpt-oss 系列开放模型,具体是 AMD 锐龙 AI Max+ 395 处理器支持 gpt-oss-120b、AMD Radeon RX 9070 16GB 显卡支持 gpt-oss-20b、高通旗舰骁龙平台支持 gpt-oss-20b。

AMD 宣称锐龙 AI Max+ 395 是全球首款能运行 gpt-oss-120b 模型的消费级 AI PC 处理器:采用 GGML 框架转换的 MXFP4 格式 gpt-oss-120b 大约需要 61GB 显存,而 "Strix Halo" 平台在 128GB 统一内存下支持将 96GB 分配给 GPU,轻松满足这一需求。

锐龙 AI Max+ 395 在 gpt-oss-120b 上有 30 Token / s 的输出速率,同时支持该模型的 MCP 模型上下文协议实现。

而 Radeon RX 9070 16GB 显卡则能在 gpt-oss-20b 上实现出色的首 Token 输出时间 (TTFT) 和每秒 Token 输出数量表现。

高通表示根据早期测试 gpt-oss-20b 可在端侧实现出色思维链推理表现,开发者可通过 Hugging Face 和 Ollama 等热门平台在搭载骁龙芯片的设备上访问 gpt-oss-20b 模型并充分发挥其功能。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!