跨平台多模态智能体基准测试：最高分仅35.26分
来源：互联网 2026-07-05 06:26:00CrabBenchmark-v0基准测试评估智能体在数字设备上执行任务的能力，覆盖Android和Ubuntu两大平台，包含100个真实世界任务。采用图评估器实时追踪子任务完成状态，测试了四种主流多模态模型，但最佳成绩仅为35.26分，表现有待提升。
Crab 框架近期发布了名为 Crab Benchmark-v0 的基准测试，专门用于评估智能体在数字设备上执行任务的表现。该基准测试覆盖 Android 与 Ubuntu 两大平台，为行业提供了可靠的测试环境。测试包包含 100 个真实世界任务，横跨单平台与跨平台多个难度级别。
长期稳定更新的攒劲资源： >>>点此立即查看<<<
这些任务聚焦于人们日常使用的应用与工具：日历、电子邮件、地图、网络浏览器、终端，以及智能手机与台式机之间的常见交互，实用性突出。
框架
设想一个 Agent 在数字设备（例如台式机）上自主执行任务。设备通过鼠标和键盘完成输入，屏幕作为输出窗口，供人类观察状态。在学术层面，研究者将这种设备定义为“平台”，并形式化为不带奖励的部分可观测马尔可夫决策过程（POMDP），用元组（S,A,T,O）表示。其中 S 是状态空间，A 是动作空间，T 是转移函数，O 是观测空间。
现实场景中，多个设备协同工作更为常见。多个平台可组合成一个集合，每个平台拥有各自的形式化表达。跨平台任务可定义为（M,I,R），其中 M 是平台集合，I 是自然语言指令形式的任务目标，R 是奖励函数。
Agent 系统内部运作方式清晰：由单个 Agent 负责规划、推理与执行，或由多个 Agent 协作完成。系统保留对话历史记录，并依赖预设的系统提示运转。
将复杂任务拆分为更简单的子任务，是 Agent 系统完成高难度工作的关键手段。研究人员将这一思路引入基准测试领域，提出“分解任务图”（GDT）概念。简单来说，就是将复杂任务用有向无环图（DAG）结构分解。图中每个节点是一个子任务，形式化为（m,i,r），m 指定子任务执行的平台，i 是自然语言指令，r 是奖励函数——该函数评估平台状态并输出布尔值，判断子任务是否完成。图中的边定义了子任务之间的先后顺序。
跨平台
与仅运行在单一平台的任务相比，跨平台任务具有三个明显优势。
第一，它真实反映人类日常工作场景：谁还没同时使用手机和电脑工作过？第二，跨平台任务要求 Agent 在设备之间完成复杂的消息处理与传递，不仅要规划行动、为每个平台构建输出，还需记住哪些信息需要在不同设备间流转。这考验 Agent 对现实世界的高层次理解能力以及对复杂任务的解决能力。
第三，多 Agent 系统在应对复杂任务时已证明自身有效性，而跨平台任务天然适合这类架构——不同 Agent 可基于各自平台的观测空间、动作空间和专门知识进行分工协作。
Crab 使用一套统一接口让 Agent 在所有平台上进行操作。每个动作通过名称、所属平台、功能描述和参数定义。Agent 每个回合需提供动作名称、参数和目标平台，Crab 负责将动作转换为实际功能，并通过网络路由到物理设备或虚拟设备执行。
图评估器
评估大语言模型作为 Agent 的能力时，多数基准测试仅关注操作结束后平台的最终状态——只要最终结果正确，即算成功。但仅判断最终目标成功或失败显然不够公平。好比考试中大题不会做，但写个“解”字总该给点分。
另一种方法是轨迹匹配，将 Agent 的操作序列与预设的标准操作序列比较。这种方法也有硬伤：现实世界中，同一任务往往存在多个正确的执行路径。例如复制文件，可以用文件管理器，也可以用命令行，两者都对。
于是研究者采用更聪明的方案：一个与平台状态同步的图评估器。它会基于子任务完成的当前状态，实时追踪 Agent 进展。除了传统的成功率（SR，仅当所有子任务完成才算成功）外，作者还引入三个指标衡量 Agent 的绩效与效率。
实验挑选了四种满足需求的多模态模型：GPT-4o、GPT-4 Turbo、Gemini 1.5 Pro 和 Claude 3 Opus。以下为部分结果：
侠游戏发布此文仅为了传递信息，不代表侠游戏网站认同其观点或证实其描述
同类更新
更多
热游推荐
更多-
- DreamStudio
- Android/ | AI绘图
- 2026-06-30
-
-
- Playground AI
- Android/ | AI绘图
- 2026-06-30
-
- Adobe Firefly
- Android/ | AI绘图
- 2026-06-30
-
-
-
- Leonardo AI
- Android/ | AI绘图
- 2026-06-30
-
- Stable Diffusion
- Android/ | AI绘图
- 2026-06-30
