> ## Documentation Index
> Fetch the complete documentation index at: https://docs.myrmagent.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# 桌面应用

> 安装 Myrm Tauri 桌面客户端 — 一个拥有 25+ 项原生系统能力的真正 Agent OS。

# 桌面应用（Tauri）

Tauri 桌面客户端不仅仅是一个 GUI 壳 — 它是一个拥有 **25+ 项原生系统能力**的真正 **Agent OS**。所有数据留在你的机器上，三个内置 Sidecar（Python 后端、Next.js 前端、Agent Runner）均打包为独立二进制，零外部依赖。

## 下载与安装

Myrm Desktop 具备智能跨平台分发能力：

1. **智能硬件匹配**：WebGL 探测绕过浏览器限制（如 Safari 在 M 系列芯片上伪装 Intel），确保一键获取针对你设备的最优二进制。
2. **无竞态自动更新**：Map-Reduce CI/CD 流水线保证各平台可靠、静默的后台更新，无 manifest 冲突。

从 [Myrm 官网](https://myrmagent.ai) 或 [GitHub Releases](https://github.com/Pursue-LLL/myrm-agent/releases) 获取最新版本。

## 原生 OS 能力

桌面应用提供深度系统集成，远超任何浏览器端 AI 工具：

### 屏幕与输入

* **全局快捷键** — 动态注册系统级快捷键，切换窗口或触发 Appshot
* **Appshot 截屏** — 全局快捷键截取当前窗口 + 通过无障碍 API 提取文字，一键完成
* **剪贴板集成** — Agent 可写入你的真实 OS 剪贴板（而非沙箱剪贴板）
* **Deep Link 协议** — 通过 `myrmagent://` URL 打开对话或触发操作（5 种 intent：chat、agent、ask、oauth、install-skill）

### 电源与安全

* **智能防休眠** — Agent 执行任务时自动阻止系统休眠（macOS IOKit、Linux systemd-inhibit、Windows SetThreadExecutionState）
* **屏幕锁定管理** — 检测锁定状态、为 Computer Use 会话解锁、在系统 Keychain 中安全存储凭证
* **原生提权** — 必要时请求管理员权限（如 macOS 隔离属性修复）
* **OTA 自动更新** — Tauri 更新器 + 公钥安全校验，防止供应链攻击

### 视觉与交互

* **系统托盘** — 动态 tooltip 状态（空闲/忙碌/错误）+ 快捷菜单（新对话、设置、工作区）。悬停托盘图标即可查看今日 Token 用量和费用概览；预算超限时触发原生 OS 系统通知，确保不遗漏任何费用警报
* **任务栏进度条** — Agent 或后台任务运行时，任务栏/Dock 图标显示不确定进度指示器；任务在窗口最小化时完成，Dock 图标自动弹跳提醒
* **完整的 SubagentDashboard 桌面端可用** — Tauri WebView 渲染完整的 Next.js 前端，所有子代理监控功能（取消、转向、Gantt 时间线、排序/过滤、停滞告警）在桌面端完全可用——零额外代码
* **视觉审批 Overlay** — OS 级透明红框覆盖在目标显示器上，即使聊天窗口被遮挡也可见
* **桌面宠物精灵** — 透明置顶窗口 + Canvas 2D 渲染的伙伴宠物系统
* **最小化到托盘** — 关闭窗口时最小化到系统托盘而非退出

### 启动体验

* **窗口位置/尺寸跨重启恢复** — 关闭后再打开，窗口自动回到上次的位置和大小，多显示器用户尤其受益
* **冷启动零白屏** — 暗色背景预渲染，启动瞬间不会看到刺眼白闪
* **Tab 路由跨重启记忆** — 崩溃、更新或重启后自动回到上次浏览的页面（Chat/Work/Projects 三 tab 独立记忆）

### 基础设施

* **Python Sidecar** — 受管的 FastAPI 后端进程，含健康检查
* **Next.js Sidecar** — 受管的 Standalone 前端服务器（WebUI 模式）
* **Agent Runner Sidecar** — Bun 编译的独立二进制，CLI 智能体集成
* **端口冲突检测** — 启动前检查端口占用
* **开箱即用 API 对齐** — 默认桌面模式下 UI 自动连接 `127.0.0.1:8080` 后端，无需手动改端口。启用 **WebUI 模式** 进行远程访问时，UI 从系统配置读取你设定的端口（如 `25808`）
* **Boot 屏后端门控** — 冷启动时 Boot 动画会等待 Python 后端 `/health` 就绪后再进入主界面，避免 `ECONNREFUSED` 报错；Rust 侧亦最多 30s 健康轮询
* **本地浏览器开发一致** — 使用 `bun run dev` 在 `:3000` 联调时，即使 macOS 代理以 IPv4-mapped 回环（`::ffff:127.0.0.1`）连接后端，Settings/ConfigSync 也不会再出现首屏 401
* **Sidecar 构建命令** — 维护者可用 `./myrm desktop sidecar` 构建 release 二进制；`./myrm desktop check-sidecar` 校验非空占位
* **公网 Ingress** — 粘贴自选 HTTPS 穿透地址（cpolar、NATAPP、frp 等）；见[隧道指南](/zh/guides/tunnel)
* **macOS 隔离修复** — 检测并自动修复 `com.apple.quarantine` 属性

## 全局截屏 AI（Appshot + FlowPad）

桌面端独有的 Appshot 功能让你无需离开当前应用即可与 AI 交互：

1. **全局快捷键截屏**：在任意应用中按下快捷键，系统级监听截取当前活动窗口
2. **自动文字提取**：通过无障碍 API 自动提取窗口中的文字内容
3. **选中文本高优先级上下文**：截屏时自动捕获你当前选中的文本（macOS 通过 AXSelectedText、Windows 通过 Ctrl+C 剪贴板），选中内容作为最高优先级上下文注入 AI，FlowPad 中以醒目的 Context Chip 展示——AI 精准理解你关注的重点
4. **FlowPad 浮窗**：截屏后自动弹出 AI 提问面板，直接输入问题并发送至对话
5. **Quick Actions 快捷操作**：截屏后显示一键预设按钮（回复/总结/翻译/解释），零输入完成高频操作
6. **多次截屏叠加**：支持连续截取多个窗口（上限 10 张），统一发送给 AI 分析
7. **图片预览与管理**：在 FlowPad 中预览已截取的图片，可单独删除或点击放大查看
8. **隐私黑名单保护**：敏感应用（1Password、银行等）被截屏时自动拦截并警告，支持"仍然截取"一键绕过
9. **Inline Input 模式（Option+I）**：全局快捷键触发截屏后进入 Inline 模式，AI 结果实时流式显示在 FlowPad 内，完成后一键 Paste 回写到原应用，窗口自动隐藏——全程不离开当前应用
10. **Inline Agent Switcher + Profile 路由**：在 Inline 模式下可按单条消息切换目标 Agent Profile（例如 Writer/Coder），且不会污染主聊天会话的 Agent 配置

典型使用场景：选中一段代码后按快捷键让 AI 直接解释选中内容、截取邮件后点击「回复」让 AI 起草回复、截取外文页面点击「翻译」即时翻译、截取错误日志点击「解释」快速诊断、写文档时 Option+I 提问后一键 Paste 将结果直接写入编辑器。

## 设置

1. 为你的平台安装应用
2. 从应用程序菜单启动 Myrm
3. 在设置中配置至少一个 LLM API Key

## macOS 系统权限（桌面自动化）

桌面自动化（Computer Use）需要两项 macOS 权限：**辅助功能（Accessibility）** 和 **屏幕录制（Screen Recording）**。Myrm 自动检测并引导你完成授权：

* **主动检测** — 在 Agent 工具设置中启用 `computer_use` 时，状态卡片立即显示哪些权限已授权（绿色）或缺失（黄色）
* **一键跳转** — 点击"打开系统设置"直接跳到 macOS 隐私设置对应面板
* **重新检查** — 在系统设置中授权后，点击"重新检查"立即验证，无需重启应用
* **运行时提醒** — 如果在使用桌面面板时权限被撤销，会显示上下文引导横幅

### Desktop Inspector：编号叠加（SOM）

在 Desktop Inspector 面板点击刷新时，Myrm 会在实时截图的可交互控件上叠加 **\[N] 编号角标**。同一编号会出现在无障碍结构树与审批卡片中——你始终能看清 **Agent 要点哪里**。

* **省 Token 默认** — Agent 工具调用默认 `include_screenshot=false`；仅在 Inspector 刷新或显式请求截图时生成 SOM 叠加
* **语义优先** — `@dref` 仍是主操作路径；编号是给人看的「翻译层」，不替代语义引用
* **智能过滤** — 静态文本与非交互节点不标号，避免满屏数字干扰

<Note>
  屏幕录制权限授予后可能需要重启应用才能生效。辅助功能权限通常授予后立即生效。

  **部署感知行为：** **本地/Tauri/WebUI 本地**模式下，Computer Use 控制你的真实桌面；**SaaS 沙箱**仅在沙箱启用 **Visual Desktop（noVNC）** 且套餐含 **VNC 权益** 时挂载——无头沙箱自动关闭开关，避免宣传与能力不一致。
</Note>

## 权限系统

桌面应用为 Agent 操作提供三级权限模型：

| 模式              | 行为                        |
| --------------- | ------------------------- |
| **Explore（探索）** | Agent 只能读取文件和浏览 — 不能修改    |
| **Ask（询问）**     | Agent 在执行写入或系统操作前请求你的批准   |
| **Auto（自动）**    | Agent 自动执行所有已批准的工具类别，无需提示 |

## 远程访问

使用自选穿透工具实现远程访问，并可用手机指挥正在运行的 Agent：

1. 进入 **设置 → 系统 → 访问**
2. 启用 **WebUI 模式**与**密码保护**
3. 对端口 `3000` 启动穿透（Cloudflare Tunnel、cpolar、NATAPP、frp 等）
4. 将 **HTTPS** 地址粘贴到 **公网 Ingress** 并执行**连通性测试**
5. 用手机扫 **Mobile Hub 二维码** — 选择活跃会话进入 **Status Board**（实时进度、审批、steer、停止、**Browser/Desktop Live Preview** — Agent 操作画面实时截图预览，支持全屏放大和浏览器/桌面切换）

配对令牌分级：Hub 列表令牌不能直接控制会话；打开会话后才签发绑定 `chat_id` 的控制令牌。详见[隧道指南](/zh/guides/tunnel)。

**诚实说明**：隧道由你自选，Myrm 不托管流量。端到端加密中继（G2）在路线图中 — 当前安全依赖 HTTPS + 分级配对令牌 + 会话绑定。