AI热点 6小时前 74 阅读 0 评论

手机能跑的3B推理模型开源,比Qwen 3-4B还快,超长上下文不降速

作者头像
AI中国

AI技术专栏作家 | 发布了 246 篇文章

以色列创企开源3B模型,性能碾压谷歌Gemma 3-4B。

智东西10月9日报道,昨日,以色列AI创企AI21 Labs开源轻量级推理模型Jamba Reasoning 3B。该模型有30亿个参数,可在包括手机、电脑在内的多种设备端运行,性能超过Qwen3-4B、Gemma 3-4B等业界顶尖模型。

Jamba Reasoning 3B开源截图

Hugging Face地址: http://huggingface.co/ai21labs/AI21-Jamba-Reasoning-3B

A21称,Jamba Reasoning 3B基于其新的SSM-Transformer架构构建,上下文窗口长度为256K个token,能够处理高达1M token,与DeepSeek、谷歌、Llama和微软等竞争对手相比效率提升了2-5倍,在基准测试中取得领先成绩。

Jamba Reasoning 3B在人类最后测试等测评中超Qwen 3-4B等模型

其将Jamba Reasoning 3B的优势总结为三点:

1、智能性能不下降:由于采用了混合SSM-Transformer架构,Jamba Reasoning 3B比纯Transformer模型更高效。

大多数基于Transformer的模型在上下文长度超过32K个token时性能会显著下降,而Jamba Reasoning 3B能够处理更长的上下文长度,包括高达100万个token。这使得它在高级智能体系统或多模态应用中非常有用,因为长上下文理解对输出质量至关重要。

Jamba Reasoning 3B的性能虽上下文增长损耗小

2、领先的智能:Jamba Reasoning 3B的表现优于DeepSeek、谷歌、Meta和微软的其他设备端模型。

它在指令跟踪任务(IFBench)和常识性知识(MMLU-Pro和Humanity"s Last Exam)方面尤为出色,这使得Jamba Reasoning 3B成为一款高效且智能的模型,可用于高级智能体工作流程或设备端RAG应用。

这些成果源于训练后流程,A21将RLVR、SFT、DPO和GRPO等对齐训练技术与自主研发的专有方法相结合,以确保模型质量。

Jamba Reasoning 3B测评超阿里、谷歌等模型

3、专为设备安全使用而构建:此模型获得Apache 2.0许可,可直接下载到用户的计算机或手机上,并使用用户自己的文件在设备上进行定制,以实现完全安全的应用程序,即使断网它们也可以继续运行

Jamba Reasoning 3B的混合SSM-Transformer架构成功利用了比原始Transformer架构小8倍的键值缓存(KV),即使在上下文增长的情况下也能保持较低的内存占用。

在M3 MacBook Pro上,它每秒可以生成40个token,上下文长度为32K,这一成绩优于Qwen3-4B、DeepSeek Distill Qwen 1.5B、Gemma 3-4B等模型,使其成为高级智能体应用程序中的精简组件。

在M3 MacBook Pro上每秒可以生成40个token

该模型目前支持的语言包括:英语、西班牙语、法语、葡萄牙语、意大利语、荷兰语、德语、阿拉伯语和希伯来语。

结语:轻量模型加速迭代,开辟智能体落地新路径

随着企业将AI融入运营,基于云端的大型语言模型暴露出经济效率低下的问题。A21援引研究报告称,40%-70%的AI任务可以通过小型语言模型处理,通过智能路由将成本降低10-30倍。

像Jamba Reasoning 3B这样的设备端轻量模型能够实现经济高效的异构计算分配,在本地处理简单任务,同时保留云端资源用于复杂推理。这为制造业和医疗保健领域的实时应用提供了低延迟,为远程操作提供了离线恢复能力,并增强了数据隐私保护,有望开启了一个去中心化的AI时代。

本文来自微信公众号“智东西”(ID:zhidxcom),作者:李水青,编辑:心缘 ,36氪经授权发布。

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!