近日,Meta公司开源了其创新性的代码世界模型(Code World Model,简称CWM),这一突破性技术正在AI编程领域引发广泛关注。

Yann LeCun 也亲自下场转发撑场子了。

与传统的代码生成模型不同,CWM采用了一种全新的世界建模方法,让AI能够像人类程序员一样进行代码推理和模拟执行。
CWM是一个拥有320亿参数的开放权重大语言模型,采用稠密的仅解码器结构,支持最长131k tokens的上下文长度。在性能方面,该模型展现出令人印象深刻的能力:
SWE-bench Verified:pass@1达到65.8%
LiveCodeBench:68.6%的准确率
Math-500:96.6%的高分表现
AIME 2024:76.0%的优秀成绩

主要功能
代码生成:模型能生成高质量的代码片段,适用多种编程任务,如解决编程竞赛问题、修复代码错误、实现新功能等。
代码理解:模型通过模拟代码执行过程,理解代码的逻辑和行为。
数学和逻辑推理:在生成代码的同时,进行数学和逻辑推理,适用复杂的编程任务和问题解决。

多语言支持:目前主要支持Python,架构和方法能扩展到其他编程语言。

强化学习支持:通过与环境的交互(如执行代码、观察结果),CWM能不断优化生成的代码,提高准确性和效率。
性能表现
CWM 在有无测试时扩展(tts)的情况下均达到了同类最佳性能,分别取得了65.8%和53.9%的成绩。

CWM在Aider Polyglot官方排行榜上的表现:

在 Aider Polyglot 基准上,采用整文件编辑格式(whole file edit format)时,CWM 在不同编程语言上的准确率表现。

在Terminal-Bench和BigOBench等复杂任务测试中,CWM同样表现出色:

CWM代码世界模型的出现标志着AI编程向真正理解和推理代码语义的方向迈出了重要一步,同时为构建更加智能、可靠的编程助手奠定了坚实基础。
开源地址
:https://github.com/facebookresearch/cwm
#github##AI开源项目推荐##AI技术##Meta#AI代码世界模型