检测与评测
LMArena
通过众包盲测与实时对战，直观评估大语言模型的真实表现
访问官网
lmarena.ai
LMArena是什么
LMArena（Chatbot Arena）是一个由社区驱动的开源基准测试平台，旨在通过众包方式评估大型语言模型（LLM）的实际能力。该平台摒弃了传统的静态数据集测试，转而采用“盲测”机制，让用户在不知晓模型身份的情况下与两个匿名模型进行对话并投票选出更佳回答。
作为人工智能研究领域的重要参考工具，LMArena 提供了基于 Elo 评级系统的动态排行榜。这种基于人类偏好的评估方法能够更真实地反映模型在复杂指令遵循、逻辑推理及创造性写作等方面的实际用户体验，为开发者和研究人员提供了宝贵的反馈数据。
主要功能
- 匿名盲测用户在不知道模型名称的情况下进行比较，消除品牌偏见，确保评估的客观性。
- Elo 动态排行采用国际象棋中常用的 Elo 评级系统，根据胜负关系实时更新模型排名，反映相对实力变化。
- 多轮对话评估支持多轮交互测试，不仅考察单句回答质量，还评估模型在长上下文中的连贯性和记忆能力。
- 广泛模型覆盖平台接入了众多主流开源及闭源大语言模型，提供广泛的横向对比视角。
- 社区驱动数据依靠全球用户的真实使用数据进行聚合分析，形成具有代表性的公众偏好基准。
如何使用
- 访问 LMArena 官方网站并进入聊天界面。
- 在输入框中输入你的问题或指令，系统将同时向两个匿名模型发送请求。
- 查看两个模型生成的回复，仔细比较其准确性、逻辑性和有用性。
- 点击投票按钮，选择你认为表现更好的那个模型（或选择平局）。
- 投票后，系统通常会揭示模型的身份，并更新排行榜数据。
应用场景
- 模型选型参考开发者在选择基础模型时，通过查看排行榜了解不同模型在真实用户眼中的表现差异。
- 学术研究基准研究人员利用众包数据研究人类偏好与模型输出质量之间的关系，优化对齐算法。
- 日常体验对比普通用户通过盲测发现适合自己特定需求（如编程、创意写作）的最佳 AI 助手。
价格 / 免费额度
LMArena 作为一个开源研究项目，通常对用户免费开放以收集评测数据。具体使用条款和潜在的商业 API 服务请以官网为准。
适合人群
- AI 研究人员
- 大模型开发者
- 技术爱好者
- 产品经理
常见问题
LMArena 的排名是如何计算的？
排名基于 Elo 评级系统，这是一种用于计算玩家相对技能水平的方法。每次投票都被视为一场比赛，胜者从败者那里获得分数。
我可以知道我在和哪个模型对话吗？
在投票之前，模型身份是隐藏的以确保公平性。投票结束后，系统通常会显示你所交互的模型名称。
这个平台支持哪些语言？
LMArena 主要支持英语，但也逐渐增加对其他多语言模型的支持，具体取决于接入的模型能力。