デスクトップアプリ(Tauri)
TauriデスクトップクライアントはGUIシェル以上の存在です——23以上のネイティブ機能を持つ真のAgent OSです。データはすべてお手元のマシンに残り、3つの同梱sidecar(Pythonバックエンド、Next.jsフロントエンド、Agent Runner)は外部依存ゼロの独立バイナリとしてパッケージされています。ダウンロードとインストール
Myrm Desktopは賢いクロスプラットフォーム配布システムを備えています:- スマートなハードウェア照合:WebGLスニッフィングでブラウザの制限(M系チップでIntelと偽装するSafariなど)を回避し、ワンクリックで正しいバイナリを配ります。
- 競合なし自動更新:Map-Reduce CI/CDパイプラインにより、全プラットフォームで確実・静粛なバックグラウンド更新を実現。マニフェスト競合なし。
ネイティブOS機能
デスクトップアプリは、ブラウザ型AIツールには真似できない深いシステム統合を提供します:画面と入力
- グローバルホットキー — ウィンドウ切替やAppshot起動のシステムワイドショートカットを動的登録
- Appshot — ホットキー一発で前面ウィンドウのスクリーンショット撮影+Accessibility APIによるテキスト抽出
- クリップボード統合 — エージェントが本物のOSクリップボードに書き込めます(サンドボックス内クリップボードではありません)
- ディープリンクプロトコル —
myrmagent://URLで会話を開いたりアクションを起動(chat・agent・ask・oauth・install-skillの5インテント)
電源とセキュリティ
- スマート電源ロック — エージェントのタスク実行中はシステムスリープを自動抑止(macOS IOKit、Linux systemd-inhibit、Windows SetThreadExecutionState)
- 画面ロック管理 — ロック状態を検知し、Computer Useセッションのために解除、認証情報はシステムKeychainに安全保管
- ネイティブ昇格 — 必要なときに管理者権限を要求(macOSのquarantine解除など)
- OTA自動更新と引き継ぎフィードバック — 公開鍵で安全性を検証するTauri updaterでサプライチェーン攻撃を防止。コールドブート引き継ぎ検証と自動ロールバック保護付き
ビジュアルと操作
- システムトレイと二層バージョン透明性 — トレイメニューとWebUIバージョン情報に
Desktop Shell: v1.0.0とEngine Sidecar: v0.1.0の両方を表示。混在環境のバージョン曖昧さを解消。ワンクリック診断レポート出力付き。ネイティブRustトレイはインプレース文字更新とリアルタイム更新進捗に対応。macOSモノクロテンプレートアイコン・Windows高DPIアイコン付き - タスクバープログレスバー — エージェントやバックグラウンドタスク実行中はタスクバー/Dockアイコンに不定形プログレス表示。最小化中に完了するとDockアイコンがバウンスして知らせます
- デスクトップで完全なSubagentDashboard — Tauri WebViewが完全なNext.jsフロントエンドを描画するので、サブエージェント監視機能(キャンセル・steer・ガント・並替/絞込・staleness警告)はデスクトップでも完全同等——追加コードゼロ
- ビジュアル承認オーバーレイ — ツール承認時にターゲットモニタへOSレベルの透明赤枠オーバーレイ。チャットが隠れていても見えます
- デスクトップペットスプライト — コンパニオンペット用の透明最前面ウィンドウ(Canvas 2D描画)
- 閉じたらトレイへ — 終了せずシステムトレイに最小化。macOS ActivationPolicy管理付き
起動体験
- 単一インスタンスmutexと二重起動フォーカス — ネイティブRustプロセス錠(応答15ms未満)で複数Sidecarのポート競合を根絶。二重起動は既存ウィンドウを自動復元・表示・フォーカスし、CLI引数とcwdコンテキストを
app:second-instanceイベントでフロントエンドへ中継 - ウィンドウ位置・サイズ自動復元 — 閉じて開き直すと前回の位置とサイズに戻ります。マルチモニタで特に便利
- 白フラッシュなしコールドスタート — ダーク背景を先行描画するので起動時の白い点滅がありません
- 再起動をまたぐタブ記憶 — クラッシュ・更新・再起動後も最後に見ていたページ(Chat/Work/Projectsタブ個別)に自動復帰
インフラ
- Python Sidecar — ヘルスチェック付きマネージドFastAPIバックエンドプロセス
- Next.js Sidecar — WebUIモード用マネージドstandaloneフロントエンドサーバー
- Agent Runner Sidecar — CLIエージェント統合用Bunコンパイル独立バイナリ
- Windowsプロセスツリー再帰終了とJob Objectガード — OTA更新時のWindows残留プロセスによるファイルロックを排除。カーネルレベルJob Objectで子プロセスを確実にクリーン終了
- 残留診断とポート自己回復 — ポート競合時に古いMyrmインスタンスを自動特定し、インテリジェントに再kill。ポートが完全に空くまでバックオフ
- ポート競合検出 — 起動前チェックでポート衝突を防止
- すぐ使えるAPI整合 — 既定DesktopモードではUIが自動で
127.0.0.1:8080のバックエンドと会話(手動ポート探し不要)。リモートアクセスが必要なときはWebUIモードを有効化。UIはシステム設定のポート(例25808)を読みます - ブート画面バックエンドゲート — コールドスタート時、Pythonバックエンド
/health成功までブートアニメーションが待機。接続エラー洪水を回避。Rust側も最大30秒ヘルスをポーリング - ローカル開発ブラウザ等価性 —
bun run devの:3000開発時も、プロキシがIPv4マップループバック(macOSの::ffff:127.0.0.1)経由でもAPIリライトが正しく認証。初回ロードのConfigSync 401なし - SidecarビルドCLI — メンテナは
./myrm desktop sidecarでリリースバイナリをビルド。./myrm desktop check-sidecarは空プレースホルダで失敗します - Public Ingress — 自前のHTTPSトンネルURL(cpolar・NATAPP・frp等)を貼付け。トンネルガイド参照
- macOS Quarantine修復 —
com.apple.quarantine属性を検知・自動修復
信頼バッジとクラッシュ復旧
設定 → システム → バージョン情報を開いてください:- 信頼バッジ — このビルドのupdater署名が正しく検証されたかを表示(正規署名 / 開発ビルド / 非公式 / 不明)。検証できなければ「安全」とは言いません
- 復旧ガイド — バックエンド停止・クラッシュ時に失敗理由+ワンクリック再試行。再試行はチャットとデータを触りません。リモートサーバー追従中は間違ったバックエンドを再起動しないよう自動で譲ります
Global Screen AI(Appshot + FlowPad)
デスクトップ独占のAppshot機能で、今のアプリを離れずAIと対話できます:- グローバルホットキー撮影:どのアプリでもホットキー——システムレベルリスナーが前面ウィンドウを撮影
- 自動テキスト抽出:Accessibility APIが撮影ウィンドウから自動でテキスト抽出
- 選択テキスト優先コンテキスト:今選んでいるテキストを自動取得(macOSはAXSelectedText、WindowsはCtrl+Cクリップボード)——最高優先コンテキストとしてAIに注入。FlowPadにContext Chipとして目立つ表示がされ、AIはあなたの注視点を正確に理解します
- FlowPadフローティングパネル:撮影後にAI質問パネルが出現——質問を打って会話へ送信
- クイックアクション:撮影後にワンクリック定型ボタン(返信 / 要約 / 翻訳 / 解説)——定型作業はタイプ不要
- マルチ撮影スタック:最大10ウィンドウ連続撮影して一括AI分析
- 画像プレビューと管理:FlowPadで撮影画像をプレビュー・個別削除・クリック拡大
- プライバシーブラックリスト:機密アプリ(1Password・銀行アプリ等)を保護——撮影は警告トーストでブロック、「それでも撮影」上書き可
- インライン入力モード(Option+I):グローバルショートカットで撮影→Inlineモード突入——AI結果がFlowPadにリアルタイムストリーム、ワンクリックPasteで元アプリに書き戻し、ウィンドウ自動非表示——ワークフローを離れません
- インラインエージェント切替+プロファイル振分:Inlineモードでメッセージごとに宛先Agentプロファイル(Writer/Coder等)を切替可能。メイン chat セッションのAgent設定は不変
セットアップ
- お使いのプラットフォーム向けアプリをインストール
- アプリケーションメニューからMyrmを起動
- 設定でLLM APIキーを最低1つ設定
macOSシステム権限(Computer Use)
デスクトップ自動化(Computer Use)にはmacOSの2権限が必要です:アクセシビリティと画面収録。Myrmが自動検知して案内します:- プロアクティブ検知 —
computer_use有効化時、ステータスストリップに4つの正直な状態を表示:検証済み(撮影可)、未検証(許可OK・未probe)、撮影不可(許可はOKそうだが実フレーム失敗)、権限なし - 許可≠撮影可 — システム設定の緑トグルだけでは不十分。Recheckでオンデマンド撮影probeするので、false-greenのままデスクトップタスクを始めません
- ワンクリックディープリンク — 「システム設定を開く」で正しいmacOSプライバシーパネルへ直行
- Recheckボタン — 許可後(や古い許可の修復後)にクリックで即検証。再起動不要
- ランタイムバナー — Desktop Inspector使用中に権限が剥奪されると文脈付きバナーとガイダンスを表示
Desktop Inspector:番号オーバーレイ(SOM)
Desktop Inspectorパネルを更新すると、ライブスクショの操作可能コントロールに番号バッジ[N]をオーバーレイ。同じ番号がアクセシビリティツリーと承認カードに現れるので、エージェントがクリックしようとしている要素が常時明確です。- トークン安全既定 — エージェントのツール呼び出しは
include_screenshot=false維持(ビジュアルターンが必要な場合のみ)。SOMはInspector更新時と明示スクショ要求時のみ動作 - セマンティクス優先 —
@dref参照が主制御パスのまま。番号は人間可読な翻訳層で代替ではありません - フィルタ済みラベル — 静止文字と非操作ノードは除外してオーバーレイ可読性を維持
ターゲットウィンドウ自動回復と復元(Zero-Tokenアーキテクチャ)
ターゲットアプリ(電卓・Excel・WeChat等)操作時、ウィンドウが最小化やバックグラウンド停止でも:- 透明ウェイク:基盤SDCエンジンが
WindowVisualState.Minimized・負座標バウンディング(Windows)・AXMinimized属性(macOS)を自動感知し、原子的に最小化解除・復元 - 描画安定ガード:XAML/Win32/Cocoa UI階層の生成に自動50ms待機。空ツリークラッシュを根絶
- Zero Tokenオーバーヘッド:余計なアプリ管理ツールを排除。セッションあたり4,000+トークン節約しモデル混乱を防止
デプロイ対応動作: local/Tauri/WebUI localではComputer Useはあなたの本物のMac/PC/Linuxデスクトップを操作します。SaaS sandboxでは、sandboxがVisual Desktop(noVNC)実行かつプランにVNCエンタイトルメントがある場合のみマウント——headless sandboxではトグルoffのまま。マーケ文言と実態を一致させています。
画面収録権限は反映にアプリ再起動が必要な場合があります。アクセシビリティ権限は許可後たいてい即効きます。
権限システム
デスクトップアプリはエージェント動作に三層権限モデルを適用します:リモート接続
1台のデスクトップが全マシンを駆動——自PC、セルフホストサーバー(VPS・NAS・自宅鯖)、クラウドホスティング。いつでも切替可。 初回起動時にアシスタントの居場所を聞きます:このコンピュータ、リモートサーバー、クラウドホスティング。後から設定 → システム → サーバー接続で変更可。リモートサーバープロファイル
- 設定 → システム → サーバー接続へ
- ローカルからリモートに切替
- 接続名(例
Homelab)・サーバーURLを入力し接続テスト - 接続——アプリがリロードし、全APIがそのサーバーへ向きます
- リモートサーバーの認証情報(Setup Token+パスワード)でログイン
クラウドホスティング
サーバーを自前したくない場合。同じ設定カードのクラウドホスティングで:- クラウドアドレスを入力しサインイン方法を確認
- ブラウザでクラウドアカウントにサインインしデスクトップアプリで開くでセッションを引き継ぎ
- すでにサインイン済みなら自分のSandboxを探す——ホストSandboxが自動で接続登録されます
知っておくと便利
- NavBarプラグアイコン — リモート接続中に表示。クリックで接続設定へジャンプ
- 予約タスクは動き続けます — このデスクトップがオフ・閉じていても、リモートサーバーやクラウドsandbox上で継続
- 見えている機能は接続先サーバーのもの——デスクトップはそれを映す窓で、二重コピーではありません
リモートアクセス(Mobile Hub)
自前のトンネルツールでリモートアクセスを有効化し、スマホから実行中エージェントを操作:- 設定 → システム → アクセスへ
- WebUIモードとパスワード保護を有効化
- ポート
3000にトンネル開始(Cloudflare Tunnel・cpolar・NATAPP・frp等) - HTTPS URLをPublic Ingressに貼って接続テスト実行
- スマホでMobile Hub QRをスキャン—— active セッションを選んでStatus Boardへ(リアルタイム進捗・承認・steer・停止・Browser/Desktop Live Preview——エージェント画面のリアルタイムスナップショット。Lightboxズームとタブ切替付き)
リモートスポーン
デスクトップに戻らずスマホから新規タスクを直接作成:- Mobile Hubを開き新規リモートタスクをタップ
- ドロップダウンでエージェント、任意でプロジェクトを選択
- タスク文を打って送信
- エージェント即起動——Status Boardに転送され進捗を監視できます
autoStart(sessionStorage)経由で届くので、Status Boardロードと同時にエージェントが動き始めます。
モバイルArtifact配送
エージェント完了時、生成ファイル(文書・コード・HTML・画像等)はスマホのStatus BoardにArtifactカードで直接表示:- アイコン+ファイル名+種類+サイズ一目瞭然
- プレビューボタンで新規ブラウザタブに開く
- ダウンロードボタンでローカル保存
chat_idに束縛。詳細はトンネルガイド。
正直メモ: トンネルは持ち込み制。Myrmはトラフィックをホストしません。E2E暗号化リレー(G2)はロードマップ——今日の安全はHTTPS+スコープ付きペアトークン+セッション束縛です。
よくある質問(日本語ユーザー向け)
- Q: 日本語UIは製品本体にありますか? A: はい。製品WebUI・デスクトップは日本語済み(
jaロケール)。本ドキュメントの日本語版と併せて全母語で使えます。 - Q: 未署名macOSビルドの警告は異常ですか? A: 正常です。OSSビルドはApple証明書なしの未署名です。右クリック→開く、またはシステム設定→プライバシーとセキュリティで許可してください。
- Q: 日本語以外のページは? A: 本GTMパックはクイックスタート・デスクトップ・マルチチャネル・データ移行の4頁を日本語化。他は英語版をご利用ください(順次拡充)。