尊龙凯时·(中国)人生就是搏!

　　跨平台的众模态智能体基准测试 CRAB 由 CAMEL AI 社区主导，由来自牛津、斯坦福、哈佛、KAUST、Eige○nt A○I 等○机○◁构的讨 ○论职员互 …助开辟。CAME L AI 社区开辟的 CAMEL 框架是最早基于狂言语模子的众智能体开源项目，所以社区成员众为正在智能体范围有充裕科研 和施行经历的讨论者和工程师。

　　A I 智能体（Agent）是当下大型言语模子社区中最为吸引人的讨论对 象之一，用户只须要提出 自身的需求白叟矫健监测筑立，智能体框架便能够改变众个 LLMs 并扶助众□智能体（Multi-agents）以合作或逐鹿的办法来完工用户 给定的劳动。

　　目前智能体已越来越众地与大型众 模态模子 (MLM) 相勾结，扶助正○在▽百般操作编制（= 席卷网页、尊龙凯时可是目前针对这种智能体本能评估的基准（ben chm arks）依旧存正在良众限制性，比如修★建劳○动和测试情=况的★繁复 性，尊龙凯时评议目标的简单 性等音频筑立若何收复。

　　针对这些题目，本文 提■出了一○ 个全新 的跨情 …况智能体基准测试框▽…架 CRAB。CRAB 采用了一种基于图的细粒度评估设施白叟矫健监测筑立，并供给了高效□的 劳 动和评估器修建器械。本文的…讨论团队还基于 CRAB△ 框…架开辟了一个跨平台的测 试数据集 CRAB Benchmark-v0，此中涵盖 了能够正在 PC 和智妙手 △机情况中实施的 100 个劳动，此中 △既包括古代 的单平台○劳动，还包括了必需同时操作众个筑立才气完工的繁复跨平台劳动…智能家居担任编制。

　　作□家 抉择○了方今较=为时兴的四个众模态模 子实行了开端实习，实习结果讲明，行使 GPT-4o 举■动推理○引擎的单智能体构造具有最高的测试点完工 率 35。26%。

　　举动 全新的智能○体评估基准框架白叟矫…健监测筑立，CRAB（Cro▽ss-environmen■t A◁gent Benchmark）要紧用于评估基于众模态言语模子（M○LMs）的智 能体正在跨■情况劳动中的再现。CRAB 能够模仿确切天下中人类用户同时行使众个筑立完工繁复劳△动的场景，尊龙凯时如 Demo 所示，CRAB 能够用来评估智能体同时把持一个 Ubuntu 桌面编制和一个 Android 手机编制完工发送音信的流程。

　　遐念一下，借使智能体具备依据人类指令同时正 确▽操作电脑和手 机的才干，良众○繁杂的软件操作 就能够由智 能体来完工，从而降低完全的职业出力。为了完成这个对象，咱们须要为□智能体修建愈加悉数和确切 的跨平△台测试情况，奇特是须要扶 ○助同时操作众个…筑立而且能供给足够的评估反应机制。本文的 CRAB 框架考…试处 理以下几个实践题目？

　　跨情况劳动评估：现有的基准测试每每◁只○闭 怀简单情况（如网页、Andr oid 或桌面操作编制 ）[1][2][3][4]，而马虎了确切天下中跨筑立合作场景的繁复 性智能家居担任编制。CRAB 框架扶 助将一个筑…立或运用的交互 封装为一■个情况，通过对众情况劳动的扶助，供给○给□智能体★ 更充裕的操作空间，也更靠近实践运用场景。

　　细粒度评估设施：古代的评估设施要么只闭怀 最终对象的完工境况（对△象导向 ），要么苛肃比对操作轨迹（轨迹导向）[1][2][3]。这两种设施 都△存○◁正在 限=制 性，无法悉数反响智能体的再 现。CRA□B 提出了基于○ 图的评估设施，既能供给 细粒△度的评□估目▽标，又能符 合○众 种有用的劳动完工途□途。

　　劳动修建繁复性：跟着劳动繁复度的添补，手动修建劳■动和 评估器变得越来越贫苦。CRAB 提出 了一种基于子劳动组合的设施音频筑立若何收复，简化了跨情况劳○动★的修建流程。

　　智能体编制构造评估：本文还钻 探了差别智能体编制构造○（单智 能体、基于效力分工的众智能体智能家居担任编制尊龙凯时老人健康监测设备智能家居控制系统音频设备怎么恢复、基于□情况分工■的众智能体）对劳动完工成绩的影。