Claude3.7Sonnet

​谷歌推出 LMEval:统一评估大语言与多模态模型的新工具

近日,谷歌宣布推出 LMEval,这是一个开源框架,旨在简化和标准化对大型语言和多模态模型的评估。该工具为研究人员和开发者提供了一个统一的评估流程,可以方便地对来自不同公司的 AI 模型进行比较,比如 GPT-4o、Claude3.7Sonnet、Gemini2.0Flash 和 Llama-3.1-405B 等。以往,对新 AI 模型的比较往往比较复杂,因为各个提供商使用自己的 API、数据格式