AI前沿

联合国际顶尖高校昆仑万维开源数字智能体研发工具包AgentStudio 研究论文

AI助手 5月前 273

近日，昆仑万维2050全球研究院、新加坡南洋理工大学、苏黎世联邦理工学院研究团队联手开源了数字智能体全流程研发工具包AgentStudio，，让开发者们能够轻松、高效、灵活地构建。

AgentStudio所提供的工具涵盖数字智能体开发的全部流程，包括智能体观察与动作空间、跨平台的在线环境支持、交互式数据收集与评估、可扩展的任务套件、以及相应的图形界面。此外，研究团队还评估了多个多模态大模型完成数字世界任务的能力。

AgentStudio是一个的开源项目，项目团队希望通过这一开源努力，与人工智能社区携手加速智能体技术发展，促进前沿知识共享与合作。目前，AgentStudio相关论文、代码、数据、文档已全部公开。

论文地址

AgentStudio: A Toolkit for Building General Virtual Agents

https://arxiv.org/abs/2403.17918

https://skyworkai.github.io/agent-studio/

https://github.com/SkyworkAI/agent-studio

https://huggingface.co/spaces/Skywork/agent-studio-leaderboard

AgentStudio论文截图

01.

智能体：大模型产业最前沿

近来，随着大模型技术在自然语言理解、工程能力、数据能力、存储能力等领域的突破，大量以大模型技术驱动的智能体（Agents）不断涌现，在通用性、实用性、可落地性等方面都表现卓越。

不同于传统软件程序，基于大模型能力打造的AI智能体具备感知环境、进行决策、执行动作等能力，并能够通过独立思考、调用工具去逐步完成给定目标，成为当前全球AI大模型领域的关注最前沿。此前，昆仑万维已经推出“天工SkyAgents”AI Agents开发平台，用户可以通过自然语言和简单操作，无需代码编程，即可在几分钟之内部署属于自己的AI Agents。

现如今，在大模型的助力下，数字智能体（virtual agents）可以通过操控手机电脑上的软件帮助人们完成许多日常工作，提高工作效率。

然而，当前数字智能体的进展很大程度上受到了基准环境和数据来源的限制，他们大都仅在简单、受限的场景下评估与演示，从而掩盖了面临的挑战，离真正落地需要的可用性与可靠性仍有较大距离，然而缺乏全面、真实的收集数据环境又阻碍了这些智能体能力的进一步提升。

该工具包不仅包括了智能体观察与动作空间的定义工具，还提供了跨平台的在线环境支持，使得开发者可以在不同的平台和设备上进行智能体的开发与测试。此外，AgentStudio还支持交互式数据收集与评估，以及可扩展的任务套件，极大地增强了其实用性和灵活性。

02.

AgentStudio：灵活、通用、可扩展

AgentStudio架构及环境介绍。AgentStudio是一个支持与真实世界计算机在线交互的平台。与现有环境相比，它具有最通用的智能体观察和动作空间，同时提供了对工具制造与使用、收集人类反馈与数据集等功能的支持。

目前，全球有多种数字智能体开发工具包，支持不同的开发环境和应用领域。与现有工具相比，AgentStudio的主要优势多。

数字智能体开发工具包支持不同的开发环境和应用领域。AgentStudio的主要优势在于：

AgentStudio支持通过Docker、VNC、FastAPI以及虚拟机等方式便捷地连接包括Windows、MacOS、Linux等各种操作系统与设备，相比现有环境更加注重真实落地场景。
为了支持智能体和尽可能多地各种软件进行交互，AgentStudio采用了最为通用的输入输出方式，既支持像人一样通过观察电脑屏幕的图像作为输入，操作键盘鼠标和命令行作为输出，也支持进行函数调用和使用API，达到通用计算机控制。
AgentStudio包含了在十余个应用上用于全面评估AI智能体完成指令的能力，全方位覆盖各种应用软件，如文档操作、邮件处理、日历使用、音乐播放、视频编辑器、代码编辑器等，涵盖复杂真实应用场景，同时包含了范围从单个底层操作到跨任务的组合性任务的不同难度的多级任务。AgentStudio基于该任务集，公开了相应的leaderboard。
AgentStudio的功能不仅包含了对智能体能力的评估，而且包含了完整开源的数据集收集代码，可用于人工标注数据集，也可用于智能体自行收集经验。
在开放域中的工具创造与使用是AI智能体的核心能力之一。以电脑为例，AgentStudio为智能体提供了最通用的三类工具：键盘、鼠标、与命令行，同时支持智能体进一步在交互过程中自行创造并复用新的工具，如用于创建、修改日历的工具集，实现智能体的不断自我提升。
AgentStudio提供用户友好的轻量化GUI界面，帮助用户方便快捷地一键自动化创建任务并搜集数据。以下流程图将直观呈现使用AgentStudio创建任务并收集数据的过程。通过AgentStudio提供的用户友好的界面，用户可以实现跨平台的人工演示的录制，包括输入任务指令、通过交互界面得到坐标、编辑和运行代码、记录智能体轨迹等一系列功能，这些大幅简化了大规模数据收集的难度，为下一代智能体数据规模化提供了基础。

使用AgentStudio创建任务并收集数据以及与环境交互的过程

03.

多维度全面评估

除了搭建工具包外，研究团队还评估了多个多模态大模型完成数字世界任务的能力。为了全面评估智能体的能力，AgentStudio的结果从多个维度入手：

任务仅包含单步动作，指令为不需要规划的底层操作，主要关注智能体和图形界面交互的能力；
任务完成调用复杂API，或需要多步动作、并常常需要跨软件交互。该任务集用于衡量智能体完成日常任务、以及进行复杂动作规划的能力。

AgentStudio的评测结果还进一步分析了现有多模态模型在图形界面grounding数据集表现不佳的可能原因和相应的改进方法，并衡量了模型自我评估的能力，这些都对智能体的自我提升和真实落地至关重要。根据评测结果，研究团队在论文中还讨论了若干有前景的研究方向，包括更通用的图形界面grounding模型和算法、从视频演示中学习等。