UFO²是什么?
UFO²是微软推出的新一代桌面代理操作系统,基于原AgentUFO升级,专为Windows系统打造。它支持通过自然语言控制多应用操作,结合GUI自动化与原生API调用,大幅提升任务执行效率和精准度。UFO²具备智能推理、知识检索、推测执行等功能,并引入画中画桌面模式,增强自动化体验,适用于需要高效办公自动化的用户。

UFO²的主要功能
- 自然语言解析与任务管理:通过HostAgent解析用户指令,启动和协调多个应用程序自动执行任务。
- 跨应用自动化执行:支持不同应用之间的无缝操作,提升复杂场景下的执行效率。
- 混合控制执行:结合GUI自动化和Windows原生API调用,根据任务自动选择最佳执行方式。
- 智能知识检索:利用离线文档、在线搜索、演示记录等资源,动态辅助推理与操作。
- 推测执行机制:批量预测和验证操作,显著降低大模型推理的延迟。
- 画中画桌面模式(即将上线):在虚拟桌面中运行自动化任务,与用户主桌面隔离,提升安全性与体验。
UFO²的性能评测
通过测试数据显示,UFO² 在自动化任务的成功率方面,显著高于 OpenAI 的 Operator。在不同的测试场景中,UFO² 的成功率分别达到了 30.5% 和 32.7%,而 Operator 的成功率仅为 20.8% 和 14.3%。此外,UFO² 在处理复杂任务和跨应用操作的表现上也明显优于 Operator,其在非标准界面的适应性更强。

UFO²的应用场景
- 企业办公自动化:批量处理Excel、邮件、文档管理等复杂跨应用任务,提升办公效率。
- IT运维管理:自动化软件安装、配置调整、系统监控等操作,减少人工干预。
- 数据分析与处理:自动提取、整理、可视化数据,无需手动切换应用或重复操作。
- 客户服务与支持:快速响应常见故障排查,如蓝屏错误码识别、系统日志分析。
- 开发者辅助:在多个开发工具之间自动完成环境搭建、测试执行、结果整理等工作。
- 教育培训场景:通过自然语言控制系统,降低学习门槛,辅助培训和演示操作流程。
UFO²的项目信息
- UFO²项目官网:https://microsoft.github.io/UFO/
- GitHub仓库:https://github.com/microsoft/UFO/
- 技术报告:https://arxiv.org/abs/2504.14603
©版权声明:如无特殊说明,本站所有内容均为AIHub.cn原创发布和所有。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。否则,我站将依法保留追究相关法律责任的权利。
