AI热点 4月前 71 阅读 0 评论

外国高三学生创建 AI 评测网站:让模型在《我的世界》里“一决高下”

作者头像

AI技术专栏作家 | 发布了 246 篇文章

IT之家 3 月 22 日消息,由于传统 AI 基准测试方法难以全面评估模型能力,AI 开发者正尝试更具创意的测试方式,其中一种测试手段,则是微软沙盒建造游戏《我的世界》。

据外媒 TechCrunch 报道,名为阿迪・辛格(Adi Singh)的高三学生创建了专门为 AI 评测而开发的网站 Minecraft Benchmark(简称 MC-Bench),让 AI 模型在《我的世界》中同台竞技,基于相同的提示生成建筑作品。用户可以为自己认为更出色的作品投票,而投票结束后才会显示具体是哪款 AI 生成了哪些作品。

其认为选择《我的世界》的意义并不在于游戏本身,而在于它的知名度。即便没玩过这款游戏,人们依然能分辨哪个方块状的菠萝更逼真。“《我的世界》能让 AI 发展的进步更加直观,大家对《我的世界》的风格和视觉效果都很熟悉。”

目前,MC-Bench 的志愿贡献者共有 8 人。IT之家从 MC-Bench 网站的信息获悉,Anthropic、谷歌、OpenAI 和阿里巴巴为该项目提供了 AI 计算资源支持,但并未直接参与开发。

“目前,我们的测试仍然较为基础,主要用于观察 AI 从 GPT-3 时代至今的进步。但未来,我们或许会拓展到更复杂的目标导向任务和长期规划能力评估,游戏或许是测试 AI 智能体推理能力的一种理想方式 —— 相比现实世界,它更安全,也更可控。”

严格来说,MC-Bench 仍属于编程基准测试,因为 AI 需要编写代码来生成建筑,例如“霜雪人”或“热带风情的海滨小屋”。

相较于分析代码,大多数用户更容易通过作品本身来评判 AI 的表现。至于这些测试结果是否能真正衡量 AI 的实际应用价值,仍有待商榷。但辛格认为,这些数据仍然具备重要参考意义。“MC-Bench 当前的排行榜与我的实际使用体验高度吻合,而这在许多传统文本基准测试中并不常见。或许,它能帮助 AI 开发者判断自己是否走在正确的方向上。”

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!