使用 GitHub Copilot 应用与桌面应用程序交互

使用计算机时，允许 Copilot 通过 GitHub Copilot app 与本地桌面应用程序进行交互。

谁可以使用此功能？

GitHub Copilot app 适用于所有 Copilot 计划。
Download GitHub Copilot app

在本文中

注意

计算机使用为 公开预览，且可能会更改。

关于计算机使用

Copilot 可以通过读取可访问的应用程序内容和视觉上下文、单击控件、输入和编辑文本、按键、滚动、拖动和跨应用程序导航工作流来代表桌面应用程序进行交互。

此功能对于不提供 API、命令行接口或 MCP 集成的旧版和仅 GUI 软件中的工作流非常有用。 它可用于 macOS 上的本地会话和Windows。

有关其功能、控件和限制的信息，请参阅 关于计算机在 GitHub Copilot 中使用。

启用计算机使用

  1. 打开 GitHub Copilot app 的设置。
  2. 在边栏中，选择“ 计算机使用”。
  3. 在“启用计算机使用”下，启用“启用计算机使用”。
  4. 在 macOS 的 “先决条件” 下，授予这两项必需的权限：
    • 授予辅助功能权限，以允许使用计算机与应用程序控件交互。
    • 授予屏幕录制权限，以便计算机使用功能在需要视觉上下文时检查应用窗口。
  5. 在 macOS 上，如果未检测到权限更改，请单击 “再次检查”。

还可以在会话中使用 /computer on 命令。 若要检查当前插件和 MCP 状态，请使用 /computer show。

使用计算机

描述所需结果、涉及的应用程序和任何重要约束时，计算机使用效果最佳。

例如：

Text
Open APP_NAME and summarize the status information shown in the
main window. Do not change any values or submit any forms.

用您计算机上已安装的应用程序名称替换 APP_NAME。

电脑使用遵循应用的 工具权限 设置。 此设置确定在控制应用程序之前是否 Copilot 要求审批。 若要查看或更改设置，请打开应用设置并选择 “会话”。 当需要审批时，请检查所请求的应用程序和操作是否与提示信息相符。 然后选择 允许 以授予当前计算机使用会话访问权限，选择 始终允许 以为今后的会话保存该授权，或者拒绝或取消该请求。

若要中断活动操作，请单击“ 停止 ”或按 Esc。

审查始终允许的应用程序

如果您在 GitHub Copilot app 或 GitHub Copilot CLI 中选择 “始终允许”，则该批准会被保存，并适用于同一台计算机上的两个界面。

  1. 打开 GitHub Copilot app 的设置。
  2. 在边栏中，选择“ 计算机使用”。
  3. 在“始终允许的应用”下，单击应用程序旁边的删除图标。

删除应用程序会删除其在应用和 CLI 中将来会话的已保存审批。 它不会撤销当前运行的会话中已授予的访问权限。 单击“ 停止 ”或按 Esc 停止当前操作。 结束会话以撤销授予该会话的应用程序访问权限。

禁用计算机

打开 GitHub Copilot app 的设置。 在边栏中，选择“ 计算机使用”，然后关闭 “启用计算机使用”。

还可以在会话中使用 /computer off。

计算机使用疑难解答

  • 如果 “计算机使用”设置页面不可用，请确认你的账户和操作系统支持该功能。
  • 在 macOS 上，如果电脑使用功能无法与应用程序交互，请确认 辅助功能 和 屏幕录制 在 前提条件 下均显示为 已授权。