文档大纲

macOS上OpenClaw操作桌面App的6种方法,一篇看懂怎么选

看不懂?让小龙虾帮你快速落地:

本文及本站大部分openclaw相关文章,都可以让Openclaw agent阅读,然后进行应用,参考Prompt如下:

请阅读这篇文章:https://www.aiec.fun/%e6%89%93%e9%80%a0%e4%b8%93%e5%b1%9e%e5%b7%a5%e4%bd%9c%e5%a4%a7%e8%84%91%ef%bc%9a%e8%ae%a9openclaw%e4%bc%98%e5%85%88%e4%bd%bf%e7%94%a8%e4%bd%a0%e7%9a%84%e7%a7%81%e6%9c%89%e5%b7%a5%e4%bd%9c%e7%9f%a5/ 分析有哪些内容,对我们优化工作流程有价值。并严格根据openclaw最新官方文档核对,排除错误及过时信息,制定落地计划。

详细方法,参考文章 >>>

一、核心方法速览(Agents 适配版)

方法 核心特点 启用难度 最适合场景
菜单栏节点应用
(官方核心)
全系统控制,权限统一管理 ★★☆☆☆ 日常办公自动化,需要完整桌面交互
system.run
命令执行(轻量)
任意命令执行,Exec 审批保护 ★☆☆☆☆ 简单任务,与命令行工具集成
Canvas/A2UI
可视化交互(视觉)
界面元素识别,截图 + AI 理解 ★★★☆☆ 无 API / 无 AppleScript 支持的应用
官方 macOS 专用技能
(开箱即用)
预封装脚本,一键安装 ★☆☆☆☆ 不想写代码,快速部署常见任务
第三方 MCP 集成
(ScreenHand)
50ms 级操作速度,70 + 工具 ★★☆☆☆ 高性能,复杂自动化流程
轻量辅助应用
(Clawsy)
隐私优先,权限隔离 ★☆☆☆☆ 基础桌面交互,注重数据安全

二、详细启用指南:Agents 一键上手

准备工作:先搞定基础环境(3 步完成)

在开始任何方法前,先完成以下基础配置,这是所有 agents 运行的前提:

  1. 安装 OpenClaw 核心(官方一键脚本,小白首选)
    打开Mac终端(Launchpad→其他→终端)
curl -fsSL https://get.openclaw.ai | sh
  1. 安装 macOS 菜单栏应用(Companion App)
    • 从官网下载 DMG 镜像:https://openclaw.ai/download
    • 拖拽到 Applications 文件夹,双击打开
    • 按提示完成基础权限授权(辅助功能、通知)
  2. 启动 Gateway 并进入 Dashboard
openclaw dashboard

现在你已经准备好通过 agents 使用各种桌面操作方法了!

三、6 种方法完整启用步骤(小白版)

1. 菜单栏节点应用(官方核心方案)

这是 OpenClaw 官方最推荐的方法,通过 agents 直接使用,无需额外配置。

📝 启用步骤(Agents 版,全程点按)

  1. 打开菜单栏应用:点击 Mac 屏幕右上角的 OpenClaw 图标(🦞)
  2. 确认节点连接:看到 "已连接到 Gateway" 提示(绿色)
  3. 创建桌面操作 agent(Dashboard 中)
    • 点击左侧 "Agents"→"+ 新建 Agent"
    • 名称:DesktopHelper(桌面助手)
    • 模型:选 Claude 3 或 GPT-4(支持复杂指令)
    • 工具:勾选 "node"(节点控制)、"system"(系统命令)
    • 点击 "创建",等待 1 分钟自动配置
  4. 测试 agent 能力
    • 在聊天框输入:"帮我打开 Safari,访问 OpenClaw 官网"
    • Agent 会自动通过菜单栏节点应用执行操作,你能看到 Safari 自动启动

🎯 常用 Agents 指令示例(直接聊天输入)

指令 作用
"调整当前窗口大小为 800×600 像素" 窗口尺寸控制
"把 Finder 窗口移到屏幕左上角" 窗口位置调整
"打开 Notes 应用,新建笔记写 'Hello OpenClaw'" AppleScript 应用交互
"截图当前屏幕,保存到桌面" 屏幕截图操作

🛠️ 权限管理

首次使用时会自动弹出权限请求,按以下顺序授权:

  1. 辅助功能:允许控制界面元素
  2. 屏幕录制:允许截图和视觉识别
  3. 自动化:允许控制其他应用(如 Safari、Notes)
  4. 文件与文件夹:允许访问本地文件

Agents 优势:所有权限由菜单栏应用统一管理,agents 自动继承,无需手动配置工具参数。

2. system.run 命令执行(轻量高效方案)

通过 agents 的 system.run 工具执行任意命令,安全可控,小白也能轻松用。

📝 启用步骤(Agents 版,无需配置文件)

  1. 创建命令行 agent(Dashboard 中)
    • 点击左侧 "Agents"→"+ 新建 Agent"
    • 名称:CommandMaster(命令大师)
    • 模型:任意(基础模型即可)
    • 工具:勾选 "system.run"(系统命令)
    • 点击 "创建"
  2. 设置 Exec 审批规则(安全保障,必须做)
    • 菜单栏应用→偏好设置→Exec 审批
    • 选择 "询问模式"(新命令首次询问,之后自动允许)
    • 点击 "保存",无需重启
  3. 测试 system.run 能力
    • 聊天框输入:"执行命令:open -a Calendar"(打开日历)
    • 首次执行会弹出审批提示,点击 "允许"
    • 之后相同命令会自动执行,无需重复授权

🎯 实用 Agents 指令(直接复制粘贴)

# 打开系统设置
执行命令:open -a "System Settings"

# 截图并保存到桌面
执行命令:screencapture -i ~/Desktop/test.png

# 通过AppleScript关闭所有Finder窗口
执行命令:osascript -e 'tell application "Finder" to close every window'

🔒 安全提示(小白必看)

  • 避免执行陌生命令,特别是带 "rm"(删除)的指令
  • 重要操作前,在 Exec 审批中设置 "安全模式"(每次询问)
  • 可在菜单栏应用→"Exec 历史" 中查看所有执行过的命令

Agents 优势:自动处理命令执行和审批流程,agents 负责生成正确命令,你只需确认执行。

3. Canvas/A2UI 可视化交互(视觉驱动方案)

让 agents"看见" 你的屏幕,操作任何界面,特别适合无 API 支持的应用。

📝 启用步骤(Agents 版,3 步完成)

  1. 启用 Canvas 功能(菜单栏应用中)
    • 点击 OpenClaw 图标→偏好设置→Canvas
    • 勾选 "启用 A2UI 可视化交互"
    • 确保 "屏幕录制权限" 已开启(会自动检测)
  2. 创建视觉操作 agent(Dashboard 中)
    • 点击左侧 "Agents"→"+ 新建 Agent"
    • 名称:VisionBot(视觉机器人)
    • 模型:必须选支持视觉的模型(Claude 3 Opus、GPT-4V)
    • 工具:勾选 "canvas"(可视化工作区)、"a2ui"(界面交互)
    • 点击 "创建"
  3. 测试视觉交互能力
    • 打开一个应用(如微信),保持窗口可见
    • 在聊天框输入:"在微信中点击 ' 文件传输助手 ',发送消息 ' 测试 Canvas'"
    • Agent 会自动:
      1. 截图当前屏幕
      2. 识别微信窗口和 "文件传输助手" 按钮
      3. 模拟点击并输入消息
      4. 发送后反馈结果

🎯 适合视觉操作的场景

  1. 操作不支持 AppleScript 的应用(如部分游戏、小众工具)
  2. 处理复杂界面(如多步骤表单填写)
  3. 验证界面显示是否正确(如测试软件 UI)

⚠️ 注意事项(小白友好)

  • 确保操作窗口在屏幕可见区域,不要最小化
  • 光线充足,避免屏幕反光影响识别
  • 复杂界面可能需要多次尝试,agent 会自动调整识别策略

Agents 优势:自动处理截图→识别→执行流程,你只需描述目标,无需编写界面交互代码。

4. 官方 macOS 专用技能(开箱即用方案)

社区官方提供的预封装技能,agents 一键安装,零配置使用。

📝 启用步骤(Agents 版,全程命令行,复制粘贴即可)

  1. 安装 macOS 技能包
    终端中运行
# 安装核心桌面技能
openclaw skill install macos-computer-use 
# 安装Notes应用技能(可选) 
openclaw skill install macos-notes 
# 安装日历应用技能(可选) 
openclaw skill install macos-calendar-assistant
  1. 创建技能专用 agent(Dashboard 中)
    • 点击左侧 "Agents"→"+ 新建 Agent"
    • 名称:SkillUser(技能使用者)
    • 模型:任意基础模型
    • 工具:勾选已安装的技能(如 "macos-computer-use")
    • 点击 "创建"
  2. 测试技能能力
    • 聊天框输入:"使用 macos-computer-use 技能,截取当前屏幕"
    • Agent 会自动调用技能,无需你编写任何命令
    • 截图会保存到默认路径:~/Desktop/Screenshots

🎯 常用官方技能及效果

技能名称 功能 示例指令
macos-computer-use 截图、窗口管理、键盘输入 "截图当前活动窗口"
macos-notes 管理 Notes 应用 "新建笔记,标题 'OpenClaw 教程 ',内容 ' 今天学会了用技能 '"
macos-calendar 管理日历事件 "创建明天下午 3 点的会议,标题 ' 项目讨论 '"

🛠️ 技能管理(小白友好)

  • 查看已安装技能:openclaw skill list
  • 更新技能:openclaw skill update macos-computer-use
  • 卸载技能:openclaw skill uninstall macos-notes

Agents 优势:技能自动集成到 agent 工具中,你只需用自然语言描述需求,agent 会选择合适技能执行。

5. 第三方 MCP 集成(ScreenHand)(高性能方案)

追求极致速度的选择,通过 agents 调用,操作速度提升到约 50ms / 次。

📝 启用步骤(Agents 版,4 步完成)

  1. 安装 ScreenHand(终端中)
# 安装Homebrew(如果没有) 
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" 
# 安装ScreenHand 
brew install screenhand
  1. 启动 ScreenHand 服务器
screenhand start 
# 看到"Server running on port 5000"提示
  1. 配置 OpenClaw 连接 MCP 服务器
    • 菜单栏应用→偏好设置→MCP
    • 点击 "+ 添加服务器"
    • 名称:ScreenHand
    • 地址:http://localhost:5000
    • 点击 "测试连接"(绿色对勾表示成功)
    • 点击 "保存"
  2. 创建高性能 agent(Dashboard 中)
    • 点击左侧 "Agents"→"+ 新建 Agent"
    • 名称:SpeedMaster(速度大师)
    • 模型:任意
    • 工具:勾选 "mcp"(MCP 服务器控制)
    • 点击 "创建"

🎯 测试高性能操作

  • 聊天框输入:"快速移动当前窗口到屏幕右侧"
  • Agent 会通过 ScreenHand 执行操作,速度比普通方法快 5-10 倍
  • 你几乎看不到窗口移动的动画,瞬间完成

⚡ 性能对比

操作 普通方法 MCP 方法(ScreenHand)
窗口移动 约 1 秒 约 50 毫秒
点击按钮 约 0.5 秒 约 30 毫秒
输入文本 逐字显示 瞬间完成

Agents 优势:自动处理 MCP 服务器连接和工具调用,你只需描述操作目标,无需关心底层技术。

6. 轻量辅助应用(Clawsy)(隐私优先方案)

适合注重隐私安全的用户,通过 agents 使用基础桌面功能,权限严格控制。

📝 启用步骤(Agents 版,3 步完成)

  1. 安装 Clawsy(终端中)bash运行 brew install clawsy
  2. 启动 Clawsy 并配置权限
    • 终端输入:clawsy start
    • 按提示授权:仅勾选 "屏幕共享" 和 "剪贴板访问"(基础功能)
    • 看到 "Clawsy running" 提示
  3. 创建隐私优先 agent(Dashboard 中)
    • 点击左侧 "Agents"→"+ 新建 Agent"
    • 名称:PrivacyBot(隐私机器人)
    • 模型:任意
    • 工具:勾选 "clawsy"(轻量桌面控制)
    • 点击 "创建"

🎯 常用隐私友好操作(Agents 指令)

指令 作用 权限范围
"读取剪贴板内容" 获取当前剪贴板文本 仅剪贴板访问
"分享当前屏幕视图" 临时屏幕共享 仅屏幕共享
"打开 Downloads 文件夹" 访问下载目录 仅基础文件访问
"设置系统音量为 50%" 调整音量 仅系统控制

🔐 隐私保护特点

  1. 权限最小化:仅请求必要权限,不获取完整系统控制
  2. 操作透明:每次操作都有桌面通知提示
  3. 历史记录:可在 Clawsy 菜单中查看所有执行过的操作
  4. 一键暂停:点击菜单中的 "暂停",立即停止所有 agent 操作

Agents 优势:自动处理权限请求和操作记录,你只需关注任务本身,无需担心隐私泄露。

四、关键对比矩阵(小白决策参考)

对比项 菜单栏节点 system.run Canvas/A2UI 官方技能 第三方 MCP 轻量辅助
Agents 启用难度 ★★☆☆☆ ★☆☆☆☆ ★★★☆☆ ★☆☆☆☆ ★★☆☆☆ ★☆☆☆☆
操作速度 快 中 慢 中 极快 中
隐私保护 中 中 中 中 低 高
无需代码 ✅ ✅ ✅ ✅ ✅ ✅
适合新手 ✅ ✅ ⚠️(需耐心) ✅ ⚠️(需安装) ✅
官方支持 原生 原生 原生 社区 兼容 第三方

五、小白选择指南(30 秒决策)

  1. 日常办公:选菜单栏节点应用+官方技能组合,最省心
  2. 简单任务:选system.run 命令执行,最快上手
  3. 复杂界面:选Canvas/A2UI 可视化交互,无 API 也能操作
  4. 追求速度:选第三方 MCP 集成,适合批量操作
  5. 注重隐私:选轻量辅助应用,基础功能 + 隐私保护

六、Agents 最佳实践(小白避坑)

  1. 一个 Agent 对应一个功能:不要创建全能 Agent,容易混乱
  2. 从简单任务开始:先让 Agent 做打开应用、截图等简单操作,熟悉后再尝试复杂任务
  3. 保存常用指令:把好用的指令收藏,下次直接调用
  4. 定期更新:通过 Dashboard 的 "更新" 按钮,保持 agents 和技能最新版本
  5. 遇到问题:先看菜单栏应用的 "帮助与反馈",官方文档最权威

阅读量: 399