Article Focus

内容阅读与观点延展

以清晰阅读路径承载正文、上下篇与推荐内容,让深度文章浏览更加专注自然。

Agent领导力大考!Einsia AI发布WorkflowArena,行业首个多智能体编排基准内容展示

当前位置为资讯正文页面,可继续阅读上下篇或进入推荐阅读区域。

Agent领导力大考!Einsia AI发布WorkflowArena,行业首个多智能体编排基准

机器之心发布 智能体正从单打独斗走向多智能体协同。 如今的 Claude Code、Codex 等框架,已经允许模型在运行时自己拉起子智能体,甚至直接写出调度它们的可执行工作流:任务怎么拆、每个子智能体拿到什么上下文、中间结果在哪里校验、最后如何整合。过去由工程师预先设计好的多智能体结构,正在交给模型自己临场决定。 这意味着,多智能体编排本身成了一项关键能力。同样一批智能体,组织得好可以事半功倍,组织得不好则会互相拖累。但现有评测要么只看任务最终有没有完成,要么在设计者预先规定好的协作结构里测试,始终没有回答一个问题: 「面对真实的长程任务,大模型能不能自己把多智能体系统组织好?」 为此,Einsia AI 旗下 Navers Lab 发布WorkflowArena,专门评测大模型的多智能体编排能力。基准包含145 项长程任务,覆盖软件工程、企业运营、科学研究、数学推导、金融、法律、内容设计与 3D 制作8 大专业领域,对9 个主流前沿模型的 25 种推理配置进行了全面评测。 WorkflowArena 的 145 项任务分布在 8 大领域、17 种任务形态 论文题目:WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems 项目主页:https://lab.einsia.ai/workflowarena GitHub:https://github.com/Einsia/WorkflowArena Arxiv:https://arxiv.org/pdf/2611.12856 不规定怎么分工,只看最终交付 WorkflowArena 的每道题,都是一份真实的专业交付:修改一个开源代码库、复现一项科学结果、完成一套 Lean 形式化证明、编制一份多主体合并报表、分析一起多被告案件,或在 Blender 里搭出一座完整的建筑群。 这些交付物的共同点是,各部分环环相扣:代码改动要通过原有的回归测试,财务数据要在不同主体之间对得上,法律结论要在多份文书间保持一致,3D 场景的各个部件要拼得严丝合缝。每一块单独做对还不够,整合在一起才算数。 能拆、但拆完必须对齐,正是编排能力的用武之地:比如合同组合分析,每份合同可以分头审,但合同之间的冲突必须合起来才看得出。 WorkflowArena 构建流程:真实素材 → 筛选「可拆分但相互耦合」的工作 → 只规定目标、不规定工作流 → 校验结果与整合。 评测中,模型拿到的是一个空白的「指挥台」: 怎么编排,模型自己定。它可以自己动手,也可以通过 Workflow 工具同时调度多个子智能体,并随时查看、终止、修改工作流。要不要分工、怎么分工,完全由模型决定。每个子智能体该知道什么,也由它来交代。 编排也要花时间。主智能体和所有子智能体共享推理预算,规划、调度、返工都算在里面。 判题隐藏,过程留痕。模型看不到判题器和标准答案,评分只看交付结果,与用了多少子智能体无关;同时,每一次调度都被完整记录下来。 这样一来,WorkflowArena 不仅能看到「做得怎么样」,还能看到「是怎么组织起来做的」。 最强系统也只解决 36.95%,没有全能选手 WorkflowArena 采用严格的完全解决率:只有交付物满足全部验收标准,才算真正解决。各部分都做对、却没整合好的提交,同样判为失败。 25 种配置在 8 大领域的完全解决率(%),按总体结果排序。 榜首是Claude Opus 5.5(max),平均完全解决率36.95%。换句话说,即便是当前最强的系统,也有六成以上的任务没能完整交付。 领域之间的差距更加悬殊。形式化数学已接近饱和,Claude Opus 5.5 解决了95.83%;但软件工程最高只有 29.41%,金融最高 18.75%,法律最高仅9.09%。 而且,没有一个系统能通吃全部领域:Claude Opus 5.5 领跑软件工程、科学与数学,Claude Sonnet 5.5 拿下法律和内容设计,GPT-6 Astra 与 Doubao-Seed-Evolving 则拿下企业运营的并列第一。 Claude 与 GPT:两种截然不同的编排风格 由于每一次调度都被记录在案,WorkflowArena 把不同模型「怎么组织多智能体」摆在了同一张图上。 每道题平均调用 Workflow 的次数(左)与每个 Workflow 平均调度的子智能体数(右)。 结果显示出两种鲜明的风格: Claude 系「谋定后动」:调用少,规模大。Claude Opus 5.5 和 Claude Sonnet 5.5 平均每题只调用 0.86 和 0.76 次 Workflow,但每次平均调度

about image
觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

Search
热点新闻
斯波谈约维奇出场时间减少:他还在轮换中 仍在找适合他的位置
斯波谈约维奇出场时间减少:他还在轮换中 仍在找适合他的位置

直播吧10月29日讯 今天,热火主帅斯波在训练结束后接受了采访。 谈及约维奇出场时间减少的原因,斯波表示:“我还在为他寻找合适的定位。这和去年不一样,去年他能打出不错的时段。但我们需要德鲁(德鲁·史密斯)这类外线持球点,让其余球员回归熟悉的位置。不过上一场我也给内线长人安排了不少出场时间,所以他依旧在轮换计划之内。我只是还在摸索最合适的搭配。” 赛季至今,约维奇场均14.7分钟得到3.0分3.3篮

巴萨后防线要变天了?弗里克训练中尝试全新人员组合
巴萨后防线要变天了?弗里克训练中尝试全新人员组合

今天咱们聊聊弗里克在训练里试的一套实验性后防线。不光给大家拆开看看这条防线都有谁,咱们还会推演一下,这套阵容真上场之后,打起来会是什么样子。 先复盘一下弗里克赛前发布会说的话,这些内容和咱们今天聊的这条试验防线,完全能对上。 先说弗里克聊布赖恩·法里纳斯:“法里纳斯可以打边后卫。他球商很高,很早就跟着我们一起合练,表现非常亮眼,现在是时候给他上场机会了。” 这句话分量很重。我记得前几天我专门写过,

伊朗至今都不敢相信,一场战争,竟为伊朗打来了几十年的国运?
伊朗至今都不敢相信,一场战争,竟为伊朗打来了几十年的国运?

先看一组让人坐不住的消息。美国有线电视新闻网(CNN)此前发布了一项调查,标题就很扎眼:一个被削弱的伊朗,怎么还能打 伤 这么多美军基地? 调查的结论是,伊朗的导弹和无人机袭击,已经对中东地区多数美军设施造成了大面积破坏。破坏到了什么程度,外界此前并不清楚。 有人称之为“前所未有的破坏”。先说一个场景。科威特的布林营地,是美军在海湾地区最大的据点之一。 不久前,这里还有士兵在办卡拉OK之夜,热闹得

差点去不了德甲的他,成了拜仁最头疼的人
差点去不了德甲的他,成了拜仁最头疼的人

李在城(Jae-sung Lee)又一次站在拜仁慕尼黑对面。这位韩国中场过去几个赛季屡次让拜仁吃苦头,而本周末的联赛交锋,可能直接影响积分榜顶端。 回头看,他加盟美因茨本身就带着运气成分。2021年夏天,这笔签约并不在计划之中。此前他在荷尔斯泰因基尔效力多年、表现抢眼,早已进入美因茨体育总监海德尔(Christian Heidel)的引援名单。海德尔当时对《图片报》表示,这位组织核心是他的头号目标

过年,请收起你的穷大方。
过年,请收起你的穷大方。

这是爱吃糖的猫cat第891篇原创文章 作者|爱吃糖的猫 现在大家都进入到一个共同的时代,赚钱开始变得难了。无论是小老板、打工族或者自媒体博主们,赚钱都开始变得不容易。 你试想一下,我们一年混迹在大城市,不舍得买贵的,不舍得吃好的,点外卖优先考虑拼好饭,就为了节约几块钱、十几块钱,就连开空调都要去研究省电攻略。 其实大家都蛮节约的,好不容易一年攒了四五万,但是过个年就没了,真的很划不来,我记得以前