Computer-Use Agent 如何完成屏幕感知、动作落点与闭环纠错？

面试时怎么答

不要把 Computer-Use 描述成一次截图加一次点击，要讲成“观察—定位—执行—再观察”的闭环。说明坐标或 DOM grounding 后，应主动区分可重试动作与付款、删除等不可逆动作。追问可靠性时，可以谈状态校验、页面漂移检测、受限动作集合和人工审批，而不是只报点击准确率。

可以这样答：

Computer-Use Agent 先从截图或可访问性树识别目标，把自然语言意图定位到坐标或页面元素，再由受限执行器完成点击、输入等动作，并重新观察页面确认状态。页面布局会漂移，单次坐标预测并不可靠，因此每步都要校验结果。付款、删除等不可逆操作还应在执行前展示参数并要求人工确认。

核心回答

Computer-Use Agent 把自然语言目标转成一系列“观察—决策—动作—再观察”循环。观察可以来自截图、OCR、DOM 或 Accessibility Tree；策略根据当前界面和历史选择点击、输入、滚动、快捷键等动作；执行器完成动作后必须重新获取界面，验证预期状态是否真的发生，再继续规划。它的核心难点不是生成一个坐标，而是把语义目标稳定地 Ground 到会变化的界面元素。

像素路线通用，能覆盖原生应用、Canvas 和远程桌面，但容易受分辨率、缩放、遮挡和视觉相似元素影响；结构化树定位更精确且可访问文本丰富，却可能缺失自绘组件或与真实可点击区域不一致。工程系统通常融合多种观察，并为动作附带元素描述、坐标系、窗口版本和执行前置条件。

展开说明

GUI 是部分可观测且非平稳的环境。点击后可能出现加载、弹窗、重排或焦点变化；如果 Agent 连续执行一串基于旧截图的坐标，后续动作很容易落错位置。因此每个关键动作后应等待可验证的状态条件，例如目标元素出现、URL 改变、文本更新或窗口焦点稳定，而不是仅固定休眠。

长任务还会积累误差：早期选错标签页可能让后续动作看似合理却全部在错误状态上。系统应保存结构化任务状态、最近观察和已确认事实，检测重复动作与无进展循环；遇到低置信度、登录、文件删除、支付或外部发送时，应停止并请求用户确认。

评测不能只看单步点击准确率。OSWorld 等基准强调真实计算机环境中的端到端任务成功率；生产还应统计动作数、恢复次数、无效循环、人工接管率以及高风险误操作率。

工程实践

统一坐标到明确的窗口或截图空间，记录缩放比例和裁剪偏移；执行前确认目标窗口、元素仍存在且未被遮挡。优先使用稳定标识或结构化节点，像素点击作为必要补充。为浏览器、文件系统和系统设置建立权限沙箱，默认禁止不可逆动作。每步保存截图哈希、动作、执行结果和验证条件，失败时从最近已确认状态重新观察，而不是盲目重放旧坐标。

常见追问

为什么不能一次规划十个坐标再连续点击？ 界面会在每次动作后变化，后续坐标基于陈旧状态，错误会快速累积。
DOM 一定比截图可靠吗？ 不一定。DOM 适合网页语义定位，但 Canvas、跨域组件、远程桌面和原生应用可能没有可用 DOM。
如何判断动作成功？ 使用与动作目标对应的后置条件，例如元素出现、值改变或页面状态变化，而不是把“执行器没有报错”当成成功。
为什么要沙箱和人工确认？ GUI 动作可能真实删除文件、付款或发送信息；模型置信度不能替代授权边界。

一句话复习

Computer-Use Agent 必须用持续重观察和状态验证把视觉 Grounding 变成闭环执行，并以沙箱和人工确认约束真实副作用。

参考资料

OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments