多语言智能体评测基准·六条线路
6 条线路 · 17 篇详解 + 15 个参考 · 2022–2026

多语言智能体评测基准调研
六条线路,一张地图

这是六条线路上的 32 个基准条目:17 篇详解(★)带完整卡片与原文图表,15 个参考条目(○)用来把谱系补全。每条线都从一个英文基准出发,被“多语化”改写到不同深度。 沿着线路读,能看到同一个问题被反复逼近——先量差距,再怀疑差距,最后把差距拆开。下面每条线都配原文图/表。

6条线路(4 条基准家族 + 1 条 GUI + 1 条横向)
32个基准条目(17 详解 + 15 参考)
3代适配方法:翻译 → 审计 → 原生
34.5 pp最大单语降幅(Amharic,开源模型)

全景:六条线路

每条线 = 一个原始基准家族 → 若干多语化工作。★ 详解有完整卡片(做法/结果/原文图表),○ 参考只有一句话定位与 arXiv 出处(无外链)。★ 节点可跳到对应卡片。

L1

GAIA 家族:量差距 → 质疑差距 → 拆解差距

3 详解 + 1 参考

同一族任务、同一问题、三代方法递进。第三代换了基准(GAIA v1 → GAIA2),语言只与第二代重合 3 种,数字不能跨代相减。

L2

对话式工具使用:τ 家族与它的垂直域兄弟

2 详解 + 6 参考
τ-bench○ 参考 · retail / airline → τ²-bench○ 参考 · + telecom 双控制 → SEATauBench★ 详解 · S1–S4 消融 →
τ³-bench○ 参考 · + banking
→ τ-bench-LILT★ 详解 · 4 语原生本地化

政策 + 模拟用户 + 结构化数据库是共同骨架。第一行是 τ 家族的纵向继承;第二行是同结构的垂直域与语音支线,只做单域双语或单语扩展。

L3

GUI 交互(web + computer use):界面只能重建

1 详解 + 6 参考
WebArena○ 参考 · 英文网站环境 → Mind2Web○ 参考 · 跨站泛化 → OSWorld○ 参考 · 英文桌面

第一行是英文原版基座,第二行是多语化版本(4–14 语、环境单一),第三行是本库唯一做到“整站重建 + 噪声 + 后训练”的论文。低资源语言无人覆盖。

L4

编码:任务在英语里不存在

1 详解 + 3 参考
SWE-bench○ 参考 · 英文 issue → Multi-SWE-bench○ 参考 · 7 种编程语言 →
Terminal-Bench○ 参考 · 英文终端
→ Terminal-Bench-LILT★ 详解 · 10 语原创

真正的难点不是翻题干,而是只在特定语言/区域成立的工程约定;所以这条线放弃翻译,改由母语者原创。注意 Multi-SWE-bench 的“多语”指编程语言。

L5

工具调用:切到参数值这一微层

1 详解 + 4 参考
BFCL○ 参考 · 英文函数调用
→ MLCL★ 详解 · 参数值层
MASSIVE○ 参考 · 51 语数据集 →
MASSIVE-Agents○ 参考 · 52 语单轮
→ Ticket-Bench★ 详解 · 6 语客服

第一行是函数调用主线(BFCL → MLCL 的执行层诊断);第二行是语言广度资源:51 语数据集 → 52 语单轮 → 6 语客服。

L6

长程与横向:补“没有英文原版”的空位

2 详解 + 1 参考
AgentBench○ 参考 · 8 环境英文

通用套件起点(AgentBench)之外,这一类几乎没有多语对应物:要么自建(PolyWorkBench),要么横向平移多族(BabelArena)。

另一种读法是按代际:翻译即适配(MAPS)→ 审计修基准(GAIA-v2-LILT)→ 全组件适配(SEATauBench / BabelArena)→ 原生出题(Terminal-Bench-LILT / PolyWorkBench)。同一批工作,纵着看是线路,横着看是方法演进。

详解十七篇(★)

#论文线路起点基准语言规模最值得记的数字
1MAPSL1GAIA v1(+3 域)12805 / 9,660英语 47.4% vs 非英语 35.8%
2GAIA-v2-LILTL1MAPS 的 GAIA 译版6165 / 990审计后最多 +32.7%
3OmnilingualGAIA2L1GAIA211640 / 7,0408.8–18.4 pp;55/34.5/10
4SEATauBenchL2τ²-bench6278 / 1,668均值 0.62 → 0.51
5τ-bench-LILTL2τ³-bench5四域全量pass^4 最多 −61
6LoWAgentL3自建 6 站5600 / 3,000开源 −34.5 pp;+5% 可回补
7Terminal-Bench-LILTL4Terminal-Bench10300最强模型 63.1%
8MLCLL5BFCL-v4 子集4≈200 / 8000.135 → 0.285
9BabelArenaL64 个基准族23699 / 16,077低资源输入 token ≈ 2×
10PolyWorkBenchL6自建(真实业务)1067最佳 0.923 Pass@1
11X-WebAgentBenchL3WebShop 式站点142,800 指令 / 589,946 商品平均 37.94(CLP)
12WebMMUL3真实网页43 任务 / 20 域多语内容与功能保持最弱
13macOSWorldL3macOS5202 任务 / 30 应用阿拉伯语 −28.8%
14Ticket-BenchL2客服工单617 模板pass@3 跨语差异明显
15TelcoAgent-BenchL2电信排障215 意图阿语 IRA −5~15 分
16AgentClinicL2临床问诊7749 例语言/人口偏差可量化
17τ-VoiceL2τ²-bench1 (+5)278 任务85% → 31–51%

适配矩阵:到底本地化了哪些组件

四个组件:提示(系统/模拟用户/评分提示)、任务(输入文本)、工具(描述与参数)、环境(数据库、政策、站点)。✓ 已适配 ◐ 部分/原生 — 未适配

论文提示任务工具环境语言实例
BabelArena✓✓✓✓2316,077
SEATauBench✓✓✓✓61,668
LoWAgent✓✓◐✓53,000
OmnilingualGAIA2✓✓—✓117,040
PolyWorkBench✓✓—✓1067
τ-bench-LILT✓✓◐✓4四域
Terminal-Bench-LILT✓✓◐—10300
GAIA-v2-LILT✓✓——6990
MAPS—✓——129,660
MLCL—✓——4800

前七行的勾选沿用 BabelArena 表 1 的判定;LoWAgent、τ-bench-LILT、Terminal-Bench-LILT 为本文判读(后者任务本身即原生多语,无“英文原版”可对)。

概念对照:tool / env / policy / harness / skill

读这批基准时最容易卡住的一点:到处都在讲 tool 和 env,却几乎见不到 “skill”。不是它不存在,而是它被折叠进了别的层。下面这张表把五层拆开,并指到本库能看见它们的位置。

层是什么基准里怎么表示在本库哪里能看到
Tool可调用的接口:函数名、参数 schema、返回值工具描述 + 可执行实现BabelArena 的 Tool 组件;SEATauBench 的 S3;MLCL 的参数值层
Env工具读写的状态:数据库、网页、OS、文件系统快照 / 初始状态 / 政策文档SEATauBench S4、LoWAgent 六站点、macOSWorld、Terminal-Bench-LILT
Policy“必须怎么做”的规则与流程(不许做什么、先查什么后做什么)政策文档,或写进系统提示τ 家族的政策;τ-bench-LILT 刻意保留英文 policy
Harness脚手架:提示编排、工具集、skill 装载、控制循环、记忆通常整体固定,偶尔作为变量PolyWorkBench 的 ClaudeCode / OpenClaw / Hermes / Codex 对比(换 harness 掉 20+ 分)
Skill按需加载的过程性知识包:步骤、脚本、检查清单没有独立表示,被拆到上面四层见下方“折叠关系”

skill 被折叠到哪去了

  • 脚本 / 命令 → Tool:skill 里的可执行部分变成函数,所以只看见工具列表。
  • 步骤 / 规则 → Policy:skill 里的“怎么做、别做什么”变成政策文档或系统提示。
  • 装载与组合 → Harness:什么时候读、读哪一份、怎么和多步循环配合,属于脚手架。
  • 不写成文件的部分 → 模型能力:会跑测试、会用 git,基准只观测结果,不记录过程。

为什么这层值得单列

  • 基准能控制接口(tool)与状态(env),但策略层只能间接测——所以满篇是 tool 和 env。
  • SEATauBench 的证据:本地化政策后,政策类错误 6.3/6.2 每百轮,远高于工具 schema 类(0.91/0.12)——难的是 skill 的应用,不是 tool 的读取。
  • 目前没有一篇把 skill 当自变量:给 / 不给、目标语言写 / 英文写、过期 / 冲突,三种实验都还空着。
一句话:tool 是“能做什么”,env 是“在哪做”,policy 是“必须怎么做”,harness 是“谁在调度”,skill 是“怎么做的那套经验”——前四层是基准的显式部件,skill 是它们之间的隐变量。
L1

GAIA 家族:三代方法,一个问题

这条线只回答一件事:GAIA 这种开放式研究任务,多语之后到底掉了多少。三代各做一件——把差距量出来(MAPS)、怀疑这个数(GAIA-v2-LILT)、把剩下的拆开(OmnilingualGAIA2)。

1

MAPSA Multilingual Benchmark for Agent Performance and Security · Findings of EACL 2026

L1 · GAIA 线(+3 域) Fujitsu Research Europe + Cohere 12 语言 805 任务 · 9,660 实例

做了什么

把四个英文基准——GAIA(真实任务)、SWE-Bench(代码)、MATH(推理)、Agent Security Bench(安全)——翻成 11 种语言,首次把“安全”纳入多语言 agent 评估。

怎么做的

  • 混合机翻 + LLM 校验 + 母语者核验的三段式翻译。
  • 只翻题干:环境、工具、代码保持英文(代码/URL/公式用特殊 token 屏蔽不译),也不限制模型的思考语言。
  • 每个域挑一个该域常用的开源 agent 跑对应多语扩展。
  • 同时看任务成功率与攻击成功率两类指标。

结果

  • 性能与安全同时退化,幅度随任务类型变化。
  • 退化幅度与输入中译入 token 的比例正相关——这条相关性后来被反复引用。
  • 多语输入会放大安全关键任务中的 agent 漏洞。
一句话记住:它是这条线的起点,也是 GAIA-v2-LILT 直接“再审计”的对象。

原文图表示例

MAPS 套件结构
Fig. 1 · p.1 · 套件结构12 种语言 × 4 个基准,覆盖性能与安全两类评估。 一张图说清“多语言 agent 基准”最早的产品形态:语言是外壳,四域是内核。
四个基准上的分语言性能
Fig. 3 · p.6 · 主结果四个基准上各语言的成功率,绿柱为英语基线。 注意各语种排序并不稳定:某个语言在 MATH 上不差,在安全域上却可能最差。
退化幅度与译入比例的关系
Fig. 4 · p.7 · 关键相关性Multilingual Effect 与“输入中被翻译 token 的比例”的关系。 这是全文最有用的一条定量结论:翻得越多,掉得越多——但斜率随域变化。
2

GAIA-v2-LILTMultilingual Adaptation of Agent Benchmark beyond Translation · arXiv 2604.24929

L1 · GAIA 线 LILT 5 语 + 英 165 题 · 990 实例

做了什么

拿 MAPS 的机翻 GAIA 版本做“再审计”。它要证明的不是“多语能力差”,而是“多语差距里有一大块是基准本身坏了”。

怎么做的

  • 归纳三类破坏效度的问题:功能对齐(答案格式被译坏)、文化对齐(情境错位)、难度校准(译后难度漂移)。
  • 流水线 = 自动检查 + 定向人工复核,逐条修。
  • 对比“最小翻译版”与“审计版”的同一批模型成绩。

结果

  • 审计后逐语言提升 +10.9 到 +32.7 pp(Table 2),最好情形距英语 3.1%;阿拉伯语仍差 30.3 pp。
  • 最好情形距英语只剩 3.1%,但多数语言仍有实质差距。
  • 结论直接改写领域叙事:此前报告的大部分“多语言衰减”需要重新审视。
一句话记住:引用任何“多语言掉 X 分”之前,先问这个基准被审计过没有。

原文图表示例

过译造成的问答失配
Fig. 1 · p.1 · 失效样本IOC 国家代码 “CUB” 被译成阿拉伯语的“幼狮”,既无关又违反三字母代码的答案约束。 一个词的误译就让整题不可解——这是“翻译即适配”最干净的反例。
审计前后逐语言成绩
Table 2 · p.6 · 主结果审计前后 pass@1:每格 MT → Audit,提升 10.9–32.7 pp;英语基线 66.7 / 73.9 / 79.4。 右列是英语;阿拉伯语审计后仍差 30.3 pp,是唯一没被修好的语言。这张表就是“翻译坏了多少”的直接证据。
审计工作流
Fig. 6 · p.5 · 工作流自动检查与人工审计如何分工,以及各语言需要改多少。 把“审计”做成可复用流程,是这篇比数据集更重要的产出。
3

OmnilingualGAIA2Evaluating the Multilingual Gap in Frontier AI Agents · arXiv 2608.08775

L1 · GAIA 线 Meta Superintelligence Labs 10 语 + 英 / 5 书写系统 640 任务 · 7,040 实例

做了什么

GAIA2 的十语扩展,但真正的新东西是两件:本地化并人工校准的判分器,以及一套把差距拆成“模型/翻译/判分器”的误差归因方法。

怎么做的

  • 逐语言选翻译系统;强制跨场景术语一致;保留可执行结构。
  • 连 universe 一起翻:universe = 该场景的 app 状态集合(邮件、日程等 persona 数据)。题干里的实体名必须与 universe 文本逐字一致,否则检索必空。
  • 把 GAIA2 的 LLM-as-Judge 本地化,并在人标金标轨迹上校准。
  • 七个 agent 的跨语言排行榜 + 分层误差归因(避免只统计“全崩”样本的选择偏差)。

结果

  • 差距方向普遍、幅度因 agent 而异:8.8–18.4 pp(pass@3)。
  • 能力序稳定(search > execution > adaptability > ambiguity):翻译改变水平,不改变难度排序。
  • 差距集中在工具编排与最终答复,不在定量/分类推理;同族内不随规模收敛。
  • 归因:55.4% 模型 / 34.5% 翻译缺陷 / 10.1% 判分器伪影;但只看“全崩”样本时翻译缺陷占比反升至 59%。

原文图表示例

三阶段翻译流水线
Fig. 1 · p.4 · 流水线每个场景三段翻译:抽取与术语表 → 译文生成 → 结构回填与校验。 图里强调“跨场景术语一致”,因为不一致会直接变成执行失败。
能力×语言热力图
Fig. 2 · p.8 · 主结果能力 × 语言 × agent 的 pass@3 热力图,稳健单元与塌陷单元一眼可分。 横向看是语言效应,纵向看是能力效应——两者叠加才解释得通。
跨语言失败案例表
Table 5 · p.12 · 案例逐条列出回归案例:英文 3/3,目标语言 0/3,并给出逐语机制解释。 想看“到底怎么坏的”,直接读这张表比读指标快得多。
本线参考(未详解)
引用是什么 / 与本线的关系
GAIA: a benchmark for General AI Assistants. Mialon et al., arXiv:2311.12983466 题开放式研究助手基准(验证集 165 题,MAPS 与 LILT 都用这套);真实网页、唯一短答案、三级难度。
L2

τ-bench 家族:拆组件,还是换文化

τ-bench 是对话式工具使用的标准场景:政策文档 + 模拟用户 + 结构化数据库。多语化在这里分成两种做法——把“换语言”拆成组件来做消融(SEATauBench),或者干脆重写整套环境(τ-bench-LILT)。

4

SEATauBenchProgressively Adapting Tool-Agent-User Evaluation Into Low-Resource Southeast Asian Languages · arXiv 2606.28715

L2 · τ² 段 SEACrowd 5 东南亚语 + 英 278 任务 · 1,668 实例

做了什么

把 τ²-bench 扩到中/越/泰/印尼/菲,但关键设计是把“本地化”拆成四档递进,让失败可以归因到具体组件。

怎么做的

  • S1 全英基线;S2 只本地化对话;S3 只本地化工具 schema;S4 对话+工具+数据库与政策全本地化。
  • 三个模型:GPT-5-Mini、Qwen3-235B-A22B、Kimi-K2.5,全部默认超参。
  • 同时记录语言正确率与系统鲁棒性(pass^3、ρ³)。

结果

  • 总体 pass@1:0.62(S1)→ 0.61(S2)→ 0.55(S3)→ 0.51(S4),ρ³ 0.66 → 0.62。
  • 只换对话语言几乎不掉;损失集中在工具与环境本地化(示例任务 0.66 → 0.33、pass^3 0.41 → 0.12)。
  • 瓶颈不是“读不懂本地化工具描述”,而是多步政策与领域推理:政策类错误约 6.3/6.2 每百轮,工具 schema 类仅 0.91/0.12。
一句话记住:把多语言从“一个开关”变成“四个档位”,是这篇最可复用的工程贡献。

原文图表示例

S1 到 S4 渐进本地化
Fig. 1 · p.1 · 核心设计同一任务在 S1/S2/S4 下的样子与得分(0.66 → 0.65 → 0.33)。 一张图同时给出“设计”和“结论”,是这批文献里信息密度最高的一张。
四场景组件矩阵
Table 2 · p.3 · 组件矩阵哪个档位本地化了工具/对话/数据库与政策。 引用“掉多少分”时必须配这张表,否则不知道掉在哪个组件上。
分语言结果
Fig. 3 · p.6 · 结果五个语种在四个档位下的成败曲线,随本地化加深一致下滑。S4 下英语 0.62、中文 0.58 最强,泰语 0.45 最弱(主结果在此图与附录表,不在 Table 3——Table 3 是可解性检验)。 下滑幅度在语种间并不同步,菲语与泰语的拐点出现得更早。
5

τ-bench-LILTEvaluating Conversational Agents on Realistic Multilingual Tool-Use Tasks · arXiv 2611.07203

L2 · τ³ 段 LILT + TU Berlin 德 / 韩 / 土 / 波斯 τ³-bench 四域

做了什么

把 τ³-bench(航空、零售、电信、银行)本地化到四种语言。它做了一个很现实的取舍:不翻译系统提示与公司政策,模拟“美国公司把已上线的英文客服 agent 直接投放到新市场”。

怎么做的

  • 客户数据库换成文化上合理的记录;任务随库与地区重写;奖励函数同步。
  • 用户模拟器经母语专家对比标注反复迭代。
  • 八模型评测,重点看 pass^4(四次全对)与终止行为。

结果

  • 韩语与波斯语零售域掉幅最大,pass^4 最多降 61 分。
  • 失败常源于极简的语言常识:姓名序、转写、敬语层级。
  • 模型在用户提示后仍不回退到正确写法——不是不知道,是不会纠正。
一句话记住:文化本地化的失败点往往低到“名字怎么写”,却足以让整条任务归零。

原文图表示例

韩语姓名罗马化失败
Fig. 2 · p.2 · 典型失败客户用韩文报名字「윤영진」,agent 先罗马化再查库,查不到便编造“只支持邮箱或英文名”的规则。 英语 100% 通过的任务,在韩语下 0 分——这就是“能力没迁移”的具体形状。
四域 pass^4
Fig. 5 · p.4 · 主结果四个域的平均 pass^4,星号标出与英语的显著差异。 注意零售域的整体偏低:高频姓名查询把文化细节的代价放大了。
分域分语区通过率
Table 3 · p.9 · 细表按域 × 模型 × 语区的通过率,可定位“哪个模型在哪个语区塌”。 这张表最适合用来选型:换语言部署前先查自己在对应格子的位置。
★

TelcoAgent-BenchA Multilingual Benchmark for Telecom AI Agents. Bariah et al., arXiv:2604.06209

L2 · 对话式英 / 阿双语15 个意图 / 7 类流程级指标电信排障

做了什么

把电信网络排障做成可判分的 agent 任务:15 个意图、每类对应一条“参考工具链”,模型必须按序调用诊断与处置工具,最后给出处置摘要。

怎么做的

  • 流程级指标:IRA(意图识别)、MSC(必要步骤覆盖率)、EAP(多余工具惩罚)、RA(处置摘要正确度),再合成 SAA。
  • 同一场景有多个变体,用来测“稳定性”而非单次正确率。
  • 英/阿双语对齐:同一批样本提供两种语言的描述与摘要。

结果

  • 模型能听懂电信问题,但很难按序执行——SAA 普遍偏低,卡在步骤顺序与多余调用。
  • 阿拉伯语的 IRA 普遍比英语低 5–15 分(如 Qwen-2.5-7B:0.896 → 0.834)。
  • 给出候选意图列表(constrained)时全面变好,说明结构化先验比语言能力更救命。
一句话记住:它把评测从“答对没有”推进到“步骤对不对、有没有乱调工具”,这是电信这类强流程场景的关键。

原文图表示例

Table I · p.3 · 意图与参考工具链
Table I · p.3 · 意图与参考工具链15 个意图按 7 类网络管理场景分组,每个意图给出参考动作链(如 oss_query → kpi_timeseries → recommend_param_change)。这就是“任务示例”。
Table III · p.5 · 英阿对比
Table III · p.5 · 英阿对比约束/非约束两种设置下的 IRA:同一模型在阿拉伯语上系统性低于英语。
★

AgentClinica multimodal agent benchmark to evaluate AI in simulated clinical environments. Schmidgall et al., arXiv:2405.07960

L2 · 对话式7 语9 个专科749 例(AgentClinic-Lang)模拟病人

做了什么

把临床问诊做成多 agent 模拟:医生 agent 通过提问、开检查、看影像逐步收集信息,病人 agent 按剧本回答,最后给出诊断。

怎么做的

  • 医生 / 病人 / 测量工具三类 agent 协作,信息不完整、需主动获取。
  • 多语扩展(AgentClinic-Lang):把 749 个病例译成 7 语(英中印地韩西法波斯)。
  • 用真实电子病历与临床读者研究校准,并人为注入偏差(人口统计、语言)做对照。

结果

  • 多 agent 策略(辩论、MedAgents)在模拟环境里仍只有 40–65% 的诊断准确率。
  • 语言与人口统计偏差可量化:同一病例换语言或换病人画像,准确率会变(图 5)。
  • 静态 MedQA 分数高,不等于会问诊——两者相关性弱。
一句话记住:它最早把“多语 + 多轮 + 模拟用户”这三件事凑齐,虽然领域是医疗,方法上是 τ 家族的前身之一。

原文图表示例

Fig. 1 · p.3 · 模拟问诊流程
Fig. 1 · p.3 · 模拟问诊流程医生 agent、病人 agent 与测量工具的交互流程,右侧是一次完整会诊的示例。
Fig. 5 · p.9 · 按语言/专科/agent 的分层准确率
Fig. 5 · p.9 · 按语言/专科/agent 的分层准确率左图按语言、中图按专科、右图按 agent 的准确率分布——语言一换,排序就变。
★

τ-VoiceBenchmarking Full-Duplex Voice Agents on Real-World Domains. Ray et al., arXiv:2603.13686

L2 · 对话式语音(英)278 任务全双工τ²-bench 扩展

做了什么

把 τ²-bench 从文本搬到语音:同一个客服任务,改成“边说边听”的全双工交互,并加入口音、噪声与轮次打断,用来量化“语音税”。

怎么做的

  • 全双工编排器:模拟时钟与真实时钟解耦,用户模拟器可以用最强的 LLM 而不受实时约束。
  • 语音用户模拟器可配置口音、音频环境(噪声、失真)与轮次策略。
  • 两档条件:Clean 与 Realistic;另做单因素消融(口音 / 噪声 / 打断)。

结果

  • 同一批 278 个任务:文本 85%,语音只有 31–51%(Clean)、26–38%(Realistic)。
  • 语音模型与文本模型差距不是“听错”,更多是轮次管理、打断与状态跟踪。
  • 另有多语扩展(5 语),说明语音的多语化才刚开始。
一句话记住:它给出一个干净的对照——把模态从文本换成语音,能力掉一半以上;多语再叠上去,衰减会相乘。

原文图表示例

Fig. 2 · p.3 · 语音化改造
Fig. 2 · p.3 · 语音化改造灰色是 τ²-bench 原结构,绿色是语音新增组件:语音用户模拟器、音频环境、轮次策略、全双工通道。
Fig. 1 · p.2 · 文本 vs 语音
Fig. 1 · p.2 · 文本 vs 语音同一批任务的 pass@1:文本 85% / 54%,语音 31% / 25% / 51% / 38%(不同 provider 与条件)。
本线参考(未详解)
引用是什么 / 与本线的关系
τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. Yao et al., arXiv:2406.12045政策文档 + 模拟用户 + 工具接口,retail / airline 两域;对话式工具使用的基座。
τ²-bench: Evaluating Conversational Agents in a Dual-Control Environment. Barres et al., arXiv:2506.07982加入 telecom 与“双控制”(用户也操作工具),并首次系统分析用户模拟器的可靠性。
L3

GUI 交互(web + computer use):界面不能被翻译,只能重建

web use 与 computer use 在评测上常被分开(DOM/点击 vs 像素/OS 状态),但在多语化这条轴上是同一类问题:界面文本没法翻译,只能整环境重建。这条线只有一篇,却把这类工作的三个缺口都点到了——外部参照只有 4–14 语且环境单一,界面噪声几乎没人测,回补潜力几乎没人量化。两个最直接的外部参照:X-WebAgentBench(14 语、单一购物站)与 WebMMU(4 个高资源语),连同 macOSWorld 一并收在文末附录名录。

6

LoWAgentA Low-Resource Multilingual Benchmark for Web Agents · arXiv 2610.27205

L3 · Web 线 南佛罗里达大学等 5 语言 / 6 站点 600 任务 · 3,000 实例

做了什么

自建六个站点(电商、论坛、二手车、铁路售票、政务、航空),同一代码库、同一数据库、同一真值,只换语言,把“环境本地化”做到极致,并额外加入界面干扰与后训练干预。

怎么做的

  • 界面与任务文本由模型翻译 + 母语者复核,任务意图由各语言模板从本地化站点取值生成。
  • 加入 cookie 提示与广告弹窗作为可选干扰设置。
  • 用 GRPO 在每站 15/75 条轨迹(共 450 条)上后训练 Llama-3.1-8B 与 Gemma3-12B。

结果

  • 闭源降幅小(Gemini 1.5–7.3 pp),开源严重:Llama-3.1-8B 在孟加拉 −16.0 pp、阿姆哈拉 −34.5 pp。
  • 高成功率不代表鲁棒:干扰让分数进一步下滑,默认设置几乎预测不了鲁棒性。
  • 450 条轨迹后训练带来整体约 +5%,低资源语言增益更大。
一句话记住:这是唯一同时给出“环境全本地化 + 界面噪声 + 可训练性”闭环的基准。

原文图表示例

英/孟加拉等价任务对比
Fig. 1 · p.2 · 对照轨迹完全等价的两个购物任务:(a) 英语正确应用价格筛选;(b) 孟加拉语跳过筛选、买错商品。 失败发生在“步骤省略”而不是“看不懂”——多语环境下 agent 会偷工。
相对英语的性能表
Table 2 · p.6 · 主表各模型在四语下相对英语的绝对与相对差异。 闭源与开源的分层非常干净:前者个位数,后者两位数到三十几。
界面干扰的影响
Fig. 4 · p.8 · 干扰实验有/无 cookie 与广告弹窗时的逐语言降解。 干扰把差距放大,说明真实网页的噪声是多语部署的额外税。
★

X-WebAgentBenchA Multilingual Interactive Web Benchmark for Evaluating Global Agentic System. Wang et al., arXiv:2505.15372

L3 · GUI 线14 语2,800 条指令589,946 商品单站(WebShop 式)

做了什么

把 WebShop 式的购物网站做成 14 语版本:不只翻指令,连商品与页面也一起本地化,用来测“多语环境 + 多语指令”下的规划与交互。

怎么做的

  • 四阶段构建:数据准备 → 多语环境构建 → 指令翻译 → 质量检查(图 2)。
  • 翻译前先做预验证:50 条英文指令译成 14 语,三位专家盲评。Google Translate 在全部语言上 >90%,GPT-4 在高资源语可用、低资源语平均只有约 74%。
  • 因此正式构建用 Google Translate,而非 LLM 翻译。

结果

  • 与英语相比多语平均掉 20% 以上(图 1;注意英文分数取自原版 WebShop 的另一份评测,属跨基准近似比较);14 个非英语语言里最好的配置(BaseAgent + CLP)平均只有 37.94,个别低资源语低到个位数。
  • 跨语自对齐只对“多语能力已经较强”的模型有效,弱模型上反而更差。
  • 即使 GPT-4o 加上跨语技巧,也达不到可用水平——这是它 2025 年给出的负面结论。
一句话记住:它是“多语指令 + 多语环境”这条路上最早的一篇,也最早证明:只靠翻译 + 跨语提示救不回 web agent。

原文图表示例

Fig. 2 · p.3 · 多语改造流程
Fig. 2 · p.3 · 多语改造流程四阶段构建:数据准备、环境构建、指令翻译、质量检查。这是“怎么把一个英文站点改成 14 语”的完整配方,也是本条线后来者的模板。
Table 2 · p.5 · 主结果
Table 2 · p.5 · 主结果各模型 × 14 语的任务得分。横读是语言差,纵读是方法差(原始 / 自译 / CLP)。
★

WebMMUA Benchmark for Multimodal Multilingual Website Understanding and Code Generation. Awal et al., arXiv:2508.16763

L3 · GUI 线4 语(英法德西)3 类任务20 个领域多模态

做了什么

把“看懂网页”拆成三件事一起测:网站视觉问答(WebQA)、HTML/CSS/JS 代码编辑、设计稿转代码(Mockup2Code),并用多语内容检验模型能否保住功能性。

怎么做的

  • 三任务共享同一批专家标注的真实网页数据,避免各测各的。
  • 多语内容嵌在任务里:翻译后的页面文本、以及需要生成的多语 UI 文案,都要与代码逻辑一致。
  • 评测以 LLM-as-Judge 为主(1–5 分),辅以准确率。

结果

  • 基础信息抽取尚可,但推理与元素定位明显不足。
  • 代码编辑常“改得像、功能坏”——保持功能不变比改对样式难得多。
  • 设计稿转代码时,层级结构与多语文本支持最容易崩。
一句话记住:它证明“网页多语”不只是翻译问题,还是代码功能与多语排版问题——这正是只做 QA 的基准测不到的。

原文图表示例

Fig. 1 · p.2 · 任务与标注示例
Fig. 1 · p.2 · 任务与标注示例三类任务与标注样例:WebQA、代码编辑、Mockup2Code,右侧是多语内容示例。
Table 3 · p.6 · 分语言结果
Table 3 · p.6 · 分语言结果WebQA 按题型 × 语言的准确率,含多步推理(🧠)、元素定位(👆)、属性理解(🔍)三类。
★

macOSWorldA Multilingual Interactive Benchmark for GUI Agents. Yang et al., arXiv:2506.04135

L3 · GUI 线5 语(英中阿日俄)202 任务30 个应用(28 个 macOS 独占)含安全子集

做了什么

第一个 macOS 上的交互式 computer-use 基准:202 个任务、30 个应用,指令与系统界面都提供 5 种语言,另附安全(欺骗攻击)子集。

怎么做的

  • 真机 macOS 环境 + 可复现的初始状态快照。
  • 同一任务五语并置:指令翻译,系统界面语言也切换(图 5),因此测的是“在阿语系统里操作”而非“读阿语题目”。
  • 动作空间覆盖鼠标、键盘、快捷键;安全子集做法:把攻击提示伪装成系统弹窗或文档内容。

结果

  • 闭源 computer-use agent 成功率 >30%,开源轻量模型 <5%——差距比语言差距更大。
  • 阿拉伯语平均比英语低 28.8%,是所有语言里最差的;中文、日文相对好。
  • 安全子集显示:界面语言一变,模型对“系统提示 vs 文档内容”的信任判断也会变。
一句话记住:computer use 的多语化必须连系统界面语言一起换,否则测的只是“读题”;这是它和 web 类基准最大的方法差别。

原文图表示例

Fig. 5 · p.13 · 同一任务的五种语言
Fig. 5 · p.13 · 同一任务的五种语言同一道 Numbers 任务在英/中/阿/日/俄下的指令、初始界面,以及配套的准备与评估脚本。
Table 4 · p.9 · 分语言成功率
Table 4 · p.9 · 分语言成功率各 agent 在 5 语上的 SR 与相对英语的降幅;下方附安全子集(Table 5)的结果。
本线参考(未详解)
引用是什么 / 与本线的关系
WebArena: A Realistic Web Environment for Building Autonomous Agents. Zhou et al., arXiv:2307.13854自建真实风格网站环境,web agent 的经典基座;单语英文。
Mind2Web: Towards a Generalist Agent for the Web. Deng et al., arXiv:2306.06070跨网站通用 web agent 数据,强调未见网站上的泛化。
OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. Xie et al., arXiv:2404.07972真实操作系统里的开放式桌面任务,computer use 的基座;单语英文。
L4

编码:任务在英语里不存在

编码线也短:因为真正的难点不是把题干翻过去,而是那些只在特定语言/区域里成立的工程约定。所以这条线直接放弃翻译,改由母语程序员原创出题。

7

Terminal-Bench-LILTMultilingual Agentic Coding Benchmark Grounded in Language, Region, and Culture · arXiv 2608.28641

L4 · 编码线 LILT 10 语言 / 3 难度档 300 任务

做了什么

不翻译任何英文题,而是让十种语言的母语程序员从“自己真实踩过的坑”出题,专攻那些在英语世界里不存在的工程问题。

怎么做的

  • 题型:国际化、编码、文本规范化、区域惯例(如日语终端列宽、阿拉伯语双向文本、土耳其语大小写)。
  • 母语者撰写 + 多阶段质控(自动检查 + 人工复核 + 试解校准)。
  • 六模型统一 harness、每任务五次,人工剔除基础设施故障。

结果

  • 最强模型(GPT-5.5)仅 63.1%,多个任务无任何模型解出。
  • 成绩按语言大幅波动(σlang 最大 8.7),且与通用代码榜排名不相关。
  • 说明多语言编码能力是一条独立的能力轴,不能被 SWE-bench 之类代理。
一句话记住:凡是“英语里没有对应场景”的能力,翻译法在原理上测不到。

原文图表示例

日语终端列宽任务
Fig. 1 · p.2 · 代表题把混有 ANSI 转义、半宽假名、emoji 的日志塞进 40 列终端,测试检查变体选择符与兼容表意字。 读一遍就知道这类任务为何无法靠翻译获得:坑在字符宽度语义里。
六模型通过率
Fig. 5 · p.8 · 主结果六模型总体通过率(误差棒为 95% CI),第一梯队三模型聚在 56–63%。 没有模型饱和,说明这 300 题仍有区分度。
分语言通过率
Table 4 · p.9 · 分语言逐语言通过率与 σlang、σmodel,量化“语言内方差”与“模型间方差”。 同一模型在不同语言上差 20 分,比模型之间差 5 分更值得注意。
本线参考(未详解)
引用是什么 / 与本线的关系
SWE-bench: Can Language Models Resolve Real-World GitHub Issues? Jimenez et al., arXiv:2310.06770GitHub issue 修复,编码 agent 的基座;测试驱动判分。
Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving. Zan et al., arXiv:2504.02605“多语”指 7 种编程语言(Java/TS/Go/Rust…),不是自然语言多语,别与本案混用。
L5

工具调用:切到参数值这一微层

这条线不换环境、不换工具,只换用户提问的语言——就足以让语义正确的调用变得不可执行。它把“语言差异”定位到了整条链路的最末一段。

8

MLCL / Lost in ExecutionOn the Multilingual Robustness of Tool Calling · ACL 2026

L5 · 工具调用 USC + ASU 英 / 中 / 印地 / 伊博 BFCL-v4 子集

做了什么

不翻译环境,只改“用户用什么语言提问”,以此隔离出工具调用中的执行级失败。提出并命名了一个具体失败模式:参数值语言错配。

怎么做的

  • 基于 BFCL-v4 vanilla 子集,保持函数接口与执行约定不变。
  • 细粒度错误分类:区分“意图错”“参数选错”“参数值语言不合约定”。
  • 测三种推理期缓解:提示约束(PT)、查询预翻译(PRE)、参数后翻译(POST)。

结果

  • GPT-5 系列全译查询下错误率 0.135(EN)→ 0.285(ZH)/ 0.255(HI)/ 0.200(IG)。
  • 多数失败发生在“意图与函数都选对”之后——卡在参数值写成了中文、印地语、伊博语。
  • 三种缓解都显著降错,但没有一个能回到英语水平。
一句话记住:“听懂了”与“能执行”是两件事,后者才是多语言 agent 的真实短板。

原文图表示例

同一意图四种语言的参数值
Fig. 1 · p.1 · 失败原型同一句意图在英/中/印地/伊博下的工具调用:语义都对,参数值却不可执行。 这张图就是这篇论文的全部论点,四行对照比任何指标都直观。
分语言的错误构成
Fig. 4 · p.6 · 错误构成五个代表模型在英语(NT)/部分翻译(PAR)/全译(FT)下的错误分解,按中文、印地语、伊博语分面板。 紫色那段就是“语言错配”:全译时占比最大,且低资源语言(伊博)整体错误率更高。这张图是“不是听不懂、是执行不了”的直接证据。
缓解策略效果
Fig. 7 · p.8 · 缓解上限低资源语言(伊博)上,PT/PRE/POST 三种策略的效果对比。 柱子抬高但抬不到英语线——这就是“缓解有上限”的图形证据。
★

Ticket-BenchA Kickoff for Multilingual and Regionalized Agent Evaluation. Sales Almeida et al., arXiv:2509.14477

L5 · 工具调用6 语(葡英西德意法)17 个模板足球票务客服函数调用

做了什么

把客服函数调用做成“区域化”版本:6 种语言,球队、城市、用户画像都按地区改写,而不是把英文题面直接翻过去。

怎么做的

  • 17 个意图模板,每个模板带一组约束(日期、座位、支付方式、退改规则)。
  • 区域化而非直译:同一道题在葡语版用巴西球队与城市,在德语版换成德国球队(图 1)。
  • 判分看函数名、参数与最终状态;指标是 pass@3。

结果

  • 推理型模型(GPT-5、Qwen3-235B)领先,但跨语差异依然明显。
  • 规模扩大对跨语一致性帮助有限——大模型在部分语言上仍系统性偏弱。
  • “区域化”会让模型暴露新错误:本地实体名与参数格式不匹配。
一句话记住:它把“文化本地化”落到客服函数调用这一层,证明换实体比换语言更伤。

原文图表示例

Fig. 1 · p.5 · 问题本地化示例
Fig. 1 · p.5 · 问题本地化示例同一购票需求在英/葡/西三语下的样貌:语言、球队、城市、支付方式一起换,约束保持一致。
Table 3 · p.6 · pass@3 主结果
Table 3 · p.6 · pass@3 主结果各模型 × 6 语与总平均;表内还可看出模型族之间的稳定性差异。
本线参考(未详解)
引用是什么 / 与本线的关系
MASSIVE: A 1M-Example Multilingual Natural Language Understanding Dataset with 51 Typologically-Diverse Languages. FitzGerald et al., arXiv:2204.0858251 语意图/槽位数据集,本身不是 agent 基准;MASSIVE-Agents 是它的再加工。
L6

横向聚合:铺规模与压深度

这两篇不在任何纵线上。BabelArena 把四个基准族横向搬到 23 种语言,负责“可比”;PolyWorkBench 自建 67 个真实职场任务,负责“像真的”。它们既是坐标图,也是压力测试。

9

BabelArenaA Large-Scale Multilingual Benchmark for LLM Agents · arXiv 2609.23490

L6 · 横向聚合 阿里 Token Hub 23 语言 / 15 书写系统 699 任务 · 16,077 实例

做了什么

把四个现成的 agent 基准族(VitaBench、DeepPlanning、τ³-bench、ClawEval)整体移植到 23 种语言,用一套统一的适配流水线保证“任务身份与评分标准跨语言不变”,从而做受控对照。

怎么做的

  • 分析 agent 先跑一遍源基准,追踪运行时数据流,区分承载语言的可译字段与执行关键值。
  • 翻译 agent 跨组件复用同一实体的规范译法,按原结构回填。
  • 三个异构验证 agent 分别查结构完整性、跨组件一致性、语义保真与行为等价。
  • 人工复核裁决后才接受该语言变体。

结果

  • 没有单一模型能通吃四个基准族。
  • 低资源语言的失败结构不同:工具使用与控制流错误占比更高,不是答案质量差。
  • 同一任务在低资源语言下输入 token 可达英语的两倍,交互轮次却未同比增加。
  • 结构化输出任务上语言一致性进一步下降,且回退几乎单向指向英语。
一句话记住:它把“多语言”从一种条件变成了可对照的变量,并顺手给出两个新报告项——成本与语言一致性。

原文图表示例

BABELFLOW 流水线
Fig. 1 · p.4 · 流水线BABELFLOW 五步:数据流分析 → 一致性翻译 → 结构化回填 → 多层验证 → 人工复核。 看懂这张就等于看懂了整篇的工程贡献:适配不是“翻文本”,而是保证可执行性。
按语言资源组的主结果
Table 5 · p.7 · 主结果按语言资源组(高/中/低)报 Pass^1、Pass^3 与语言一致性 LC。 高→低档普遍掉 6–9 pp,但 LC 掉得更明显(90–99% → 82–90%);这正是它主张要报告“一致性”的依据。
失败轨迹的错误分布
Fig. 2 · p.8 · 错误分布1,600 条失败轨迹按语言资源档拆解主要错误类型。 低资源语言不是“同一种错误更多”,而是错误谱系变了——工具与控制流占比上升。
10

PolyWorkBenchBenchmarking LLM Agents for Cross-Lingual Long-Horizon Workflows · arXiv 2607.06008

L6 · 横向聚合 北交大 + 微信 AI 10 语言 / 5 域 67 任务

做了什么

不复刻基准,而是自建 67 个真实职场长程任务。核心设定:指令语言 ≠ 证据语言 ≠ 产出语言——中文提问、韩语语音备忘、英文日志,最后要交一份韩语事故报告。

怎么做的

  • 任务由作者从真实业务种子撰写,二次审计确认。
  • 三重评分:Grade(结构化 rubric,主排序)、Pytest(可执行状态校验)、LLM-Judge(语义质量)。
  • 同一模型在 4 种 harness(ClaudeCode / OpenClaw / Hermes / Codex)下重复评测。

结果

  • 最强组合 Claude Opus 4.8 + ClaudeCode 达 0.923 Pass@1。
  • 但同一模型换 harness 可掉 20 分以上——脚手架的影响不亚于模型本身。
  • 跨语言组显著低于单语组;多语轨迹暴露的规划/工具/决策失败,单语评测看不见。
一句话记住:长程多语评测必须绑定 harness 报告,否则分数不可比。

原文图表示例

单任务跨语轨迹
Fig. 1 · p.2 · 任务全貌一个任务同时用到四种能力:跨语轨迹分解、长程工具调用、跨源信息融合、多面真值评分。 这张图定义了“跨语长程”与“翻译版基准”的区别:多语性贯穿整条轨迹,而不是只出现在输入。
模型×harness 成绩矩阵
Table 1 · p.6 · 主结果模型 × harness 的 Pass@1 矩阵,每行按峰值排序。 横向读同一行就能看出脚手架差异——这是本文最有说服力的一张表。
分域与分语言热力图
Fig. 3 · p.7 · 分层结果(a) 分域、(b) 分语言的平均 Grade 热力图。 颜色不是均匀变浅:某些语言×域组合塌得特别快,说明难度不是语言单独决定的。
本线参考(未详解)
引用是什么 / 与本线的关系
AgentBench: Evaluating LLMs as Agents. Liu et al., arXiv:2308.03688八个环境的英文 agent 套件,agent 评测的通用起点。

附录:参考文献(18 篇)

每条线末尾的「本线参考」已把这 18 篇按逻辑归位;这里只放总清单,便于整体查阅。另有 4 个节点未收录(MASSIVE-Agents、BFCL、Terminal-Bench 原版、τ³-bench),已在各线标为“参考”。

参考文献(按线路顺序)
GAIA: a benchmark for General AI Assistants. Mialon et al., arXiv:2311.12983
τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. Yao et al., arXiv:2406.12045
τ²-bench: Evaluating Conversational Agents in a Dual-Control Environment. Barres et al., arXiv:2506.07982
τ-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains. Ray et al., arXiv:2603.13686
TelcoAgent-Bench: A Multilingual Benchmark for Telecom AI Agents. Bariah et al., arXiv:2604.06209
AgentClinic: a multimodal agent benchmark to evaluate AI in simulated clinical environments. Schmidgall et al., arXiv:2405.07960
WebArena: A Realistic Web Environment for Building Autonomous Agents. Zhou et al., arXiv:2307.13854
Mind2Web: Towards a Generalist Agent for the Web. Deng et al., arXiv:2306.06070
OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. Xie et al., arXiv:2404.07972
X-WebAgentBench: A Multilingual Interactive Web Benchmark for Evaluating Global Agentic System. Wang et al., arXiv:2505.15372
WebMMU: A Benchmark for Multimodal Multilingual Website Understanding and Code Generation. Awal et al., arXiv:2508.16763
macOSWorld: A Multilingual Interactive Benchmark for GUI Agents. Yang et al., arXiv:2506.04135
SWE-bench: Can Language Models Resolve Real-World GitHub Issues? Jimenez et al., arXiv:2310.06770
Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving. Zan et al., arXiv:2504.02605
MASSIVE: A 1M-Example Multilingual Natural Language Understanding Dataset with 51 Typologically-Diverse Languages. FitzGerald et al., arXiv:2204.08582
Ticket-Bench: A Kickoff for Multilingual and Regionalized Agent Evaluation. Sales Almeida et al., arXiv:2509.14477
AgentBench: Evaluating LLMs as Agents. Liu et al., arXiv:2308.03688
MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation. Xuan et al., arXiv:2503.10497

三个容易混的“多语”

  • Multi-SWE-bench(Zan 2025)是编程语言多语(Java/TS/Go/Rust…),不是自然语言多语。
  • MASSIVE(FitzGerald 2022)是 51 语意图/槽位数据集,本身不是基准;MASSIVE-Agents 是它的再加工。
  • MMLU-ProX(Xuan 2025)29 语但走知识 QA,不是 agent;Omnilingual 只借它的“MT + 专家复核”流程。

说明

  • 17 篇详解(★):10 篇完整版(3 张图),7 篇简版(2 张图,重点是任务示例与分语言结果)。
  • 15 个参考(○)只给一句话定位(原文未随本文件分发),用于把谱系补全。
  • 页面所有图均从原文 PDF 裁切;点图放大,Esc 关闭。
点击任意处或按 Esc 关闭