详解
桌面人工智能代理：功能、局限性和人工审核
桌面人工智能代理 可以观察计算机界面，并使用授权的应用程序、文件或浏览器控件来执行任务。这使其适用于缺少 API 的工作流程，但也赋予了代理广泛的操作空间：屏幕可能包含秘密信息，界面可能会发生变化，一次误操作就可能造成不可逆转的后果。建议从可见的、可逆的任务以及人工审核点开始。
当任务主要涉及研究、规划或文档制作时，Ottermind 可以作为更安全的起点，因为工作可以保留在可查看上下文和交付成果的互联工作空间中。当所需的应用程序没有合适的连接器或 API 时，桌面控制最为有用。
研究和披露: 本指南比较了 Anthropic 计算机使用文档、OpenAI 计算机使用指南 和 Bytebot 开源桌面代理。 中描述的模式（2026 年 9 月 3 日修订）。产品功能和可用性可能会发生变化；请验证当前实现。
桌面代理的功能
- 在没有集成的情况下导航浏览器。
- 在已批准的应用程序之间移动信息。
- 填写重复表单以供审核。
- 检查可见状态并报告更改内容。
- 将多个 UI 步骤合并为一个有界工作流程。
当任务依赖于隐藏的应用程序状态、模糊的视觉标签、验证码、不断变化的布局或敏感凭据时，它们的可靠性较低。
桌面代理与 API 自动化
| 方法 | 优势 | 主要局限性 |
|---|---|---|
| API 集成 | 结构化、可测试、可预测 | 需要可用的 API |
| 浏览器自动化 | 适用于各种 Web 界面 | 选择器和布局会发生变化 |
| 桌面代理 | 可以操作不熟悉的 UI 界面 | 视觉模糊性和广泛的访问权限 |
| 人工操作员 | 处理异常和判断 | 重复劳动量较高 |
使用能够完成任务的最窄接口。当有作用域 API 调用可用时，桌面代理不应作为默认选项。
为什么计算机使用属于不同的风险类别
API 通常返回结构化字段并拒绝格式错误的参数。桌面代理会解析像素、标签、菜单和瞬态通知。它可能会误读选定的帐户、点击名称相似的控件，或在页面更改后继续执行。屏幕内容也可能泄露密码、客户数据、浏览器历史记录和私人通知。这种灵活性固然有用，但它也扩大了攻击面和测试矩阵。
Anthropic 当前的计算机使用文档要求在沙盒环境中运行，并描述了一个循环：模型请求一个操作，应用程序评估该操作，然后返回结果。Claude 的桌面研究预览也优先考虑连接器，而非浏览器和屏幕交互，因为直接集成速度更快，出错率更低。这些都是实用的设计信号：如果存在连接器，就使用它；并将屏幕控制作为明确的备选方案。
常见的桌面代理模式
表单准备
代理程序从已批准的源包中填写低风险的内部表单，然后在提交前暂停。向审核人员显示每个字段和源值。这比允许代理程序在无人值守的情况下提交外部应用程序或更改客户记录更安全。
跨应用程序收集
代理程序打开一个包含少量仪表板的允许列表，读取可见状态，并生成包含 URL 和时间戳的报告。当出现登录信息、警告、意外域或模糊值时，代理程序应停止。当任务需要三个已知来源时，切勿要求代理程序以不受限制的访问权限浏览开放互联网。
视觉质量审核
桌面代理程序可以检查本地构建、模拟器或设计工具，并列出可见的问题。将凭证和客户数据隔离在环境之外，捕获每次发现问题的屏幕状态，并在提交或关闭工作之前由人工验证问题。
浏览器配置文件和密钥安全措施
对于高风险测试，请使用专用操作系统帐户或虚拟机。首先使用干净的浏览器配置文件，禁用个人扩展程序，并将域名添加到允许列表。不要在屏幕截图、提示信息、日志或模型可见的文件中存储密码。使用短期测试凭据，并在运行结束后撤销它们。如果代理遇到登录表单，请暂停等待人工验证，而不是要求其推断或检索密钥。
恢复和可观测性
为代理可能更改的任何文件或记录保存更改前的状态。记录屏幕截图、操作坐标或选择器、URL、时间戳、工具结果和审核人员的决定。中断后，在重试之前查询记录系统。良好的工作流程可以解释某个操作是否发生、是否发生或是否需要人工验证。
决策矩阵
| 任务 | 首选接口 | 允许桌面代理吗？ |
|---|---|---|
| 读取已知项目状态 | API 或连接器 | 是，只读回退 |
| 创建报告草稿 | 工作区或文档 API | 是，需要审核 |
| 提交公开表单 | 直接集成 | 仅支持每次提交确认 |
| 更改权限 | 管理员 API | 大多数团队仅限人工操作 |
| 删除或购买 | 直接控制的工作流程 | 需要人工确认 |
目标并非淘汰桌面代理，而是赋予它们明确的任务范围、清晰的停止条件，以及能够从意外屏幕中恢复的审核人员。
安全的第一项任务
目标：收集三个已批准的仪表板中显示的状态。
允许的应用：仅限指定的浏览器配置文件。
允许的操作：打开页面、读取可见状态和撰写报告。
禁止操作：发送、删除、购买、更改权限或下载文件。
停止条件：出现登录提示、警告、意外域名或含义模糊的控件。
审核：用户在分享前验证每个状态和来源 URL。需要控制的事项
- 使用专用帐户和干净、隔离的浏览器配置文件。
- 将域名、应用程序、文件和网络目标添加到允许列表。
- 屏蔽敏感信息，避免在屏幕截图和提示中显示凭据。
- 显示操作并要求用户在点击后确认。
- 记录屏幕截图、工具调用、时间戳和审阅者决定。
- 确保重试和部分完成操作可恢复。
如何评估
测试正常页面、更改后的布局、缺失的权限、误导性的标签以及中断的会话。衡量成功完成次数、阻止的不安全操作次数、恢复时间和人工纠正次数。快速演示并不能证明其在生产环境中的可靠性。
常见问题解答
桌面 AI 代理对银行或管理系统安全吗？
默认情况下不要授予此类访问权限。在考虑敏感工作流程之前，请使用已批准的策略、隔离的帐户、严格的允许列表、对每个后续操作进行确认以及审计跟踪。
为什么不使用浏览器自动化脚本？
当界面和步骤稳定时，请使用脚本。桌面代理适用于需要可视化解读的任务，但其灵活性也带来了更多的不确定性和测试工作量。
桌面代理是否应该无人值守运行？
仅适用于低风险、可逆且具有严格监控和停止条件的任务。在发送、删除、购买或更改访问权限之前，务必保留人工检查点。
有关更广泛的类别，请参阅 最佳 AI 代理工作空间 和 人工智能代理安全检查清单。
