Skip to main content

데스크톱 앱(Tauri)

Tauri 데스크톱 클라이언트는 GUI 셸 그 이상입니다. 23개 이상의 기본 시스템 기능을 갖춘 진정한 에이전트 OS입니다. 모든 데이터는 컴퓨터에 유지되며 번들로 제공되는 사이드카 3개(Python 백엔드, Next.js 프런트엔드, Agent Runner)는 외부 종속성이 전혀 없는 독립 실행형 바이너리로 패키지됩니다.

다운로드 및 설치

Myrm 데스크탑 앱은 지능형 크로스 플랫폼 배포 시스템을 갖추고 있습니다.
  1. 스마트 하드웨어 일치: WebGL 스니핑은 브라우저 제한(M 시리즈 칩에서 Intel을 스푸핑하는 Safari와 같은)을 우회하여 한 번의 클릭으로 장치에 대한 올바른 바이너리를 보장합니다.
  2. 경합 없는 자동 업데이트: Map-Reduce CI/CD 파이프라인은 매니페스트 충돌 없이 모든 플랫폼에서 안정적이고 조용한 백그라운드 업데이트를 보장합니다.
Myrm 웹사이트 또는 GitHub 릴리스에서 최신 릴리스를 다운로드하세요.

기본 OS 기능

데스크탑 앱은 브라우저 기반 AI 도구와 비교할 수 없는 심층적인 시스템 통합을 제공합니다.

화면 및 입력

  • 전역 단축키 — 시스템 전체 단축키를 동적으로 등록하여 창을 전환하거나 Appshot을 실행합니다.
  • Appshot — 단일 단축키로 활성 창 스크린샷 캡처 + 접근성 API을 통해 텍스트 추출
  • 클립보드 통합 — 에이전트는 실제 OS 클립보드(샌드박스 클립보드 아님)에 쓸 수 있습니다.
  • 딥 링크 프로토콜myrmagent:// URL을 통해 대화를 열거나 작업을 트리거합니다(5가지 인텐트 유형: 채팅, 에이전트, 질문, oauth, 설치 기술)

전원 및 보안

  • 스마트 전원 잠금 — 에이전트 작업이 실행되는 동안 시스템 절전을 자동으로 방지합니다(macOS IOKit, Linux systemd-inhibit, Windows SetThreadExecutionState).
  • 화면 잠금 관리 — 잠금 상태를 감지하고, 컴퓨터 사용 세션을 위해 잠금을 해제하고, 시스템 키체인에 자격 증명을 안전하게 저장합니다.
  • 기본 권한 상승 — 필요한 경우 관리자 권한을 요청합니다(예: macOS에서 격리 제거).
  • OTA 자동 업데이트 — 공급망 공격을 방지하기 위해 공개 키 안전 검증 기능을 갖춘 Tauri 업데이트 프로그램

시각적 및 상호작용

  • 시스템 트레이 — 동적 도구 설명 상태(유휴/사용 중/오류) + 빠른 액세스 메뉴(새 채팅, 설정, 작업 공간). 트레이 아이콘을 마우스로 가리키면 오늘의 토큰 사용량과 비용을 한눈에 볼 수 있습니다. 예산 초과로 인해 기본 OS 알림이 트리거되므로 지출 알림을 놓치지 마세요.
  • 작업 표시줄 진행 표시줄 — 에이전트 또는 백그라운드 작업이 실행 중일 때 작업 표시줄/도크 아이콘에 불확실한 진행률 표시기가 표시됩니다. 앱이 최소화된 상태에서 작업이 완료되면 Dock 아이콘이 튀어서 주의를 끌게 됩니다.
  • 데스크탑의 전체 SubagentDashboard — Tauri WebView는 전체 Next.js 프런트엔드를 렌더링하므로 모든 하위 에이전트 모니터링 기능(취소, 조정, Gantt, 정렬/필터, 부실 경고)이 데스크탑에서 동일하게 작동합니다. 추가 코드가 필요하지 않습니다.
  • 시각적 승인 오버레이 — 도구 승인을 위해 대상 모니터에 OS 수준의 투명한 빨간색 프레임 오버레이가 있으며 채팅이 포함된 경우에도 표시됩니다.
  • Desktop Pet Sprite — 반려동물 시스템을 위한 캔버스 2D 렌더링이 포함된 투명한 맨 위 창
  • 트레이 가까이 — macOS ActivationPolicy 관리를 통해 종료하는 대신 시스템 트레이로 최소화합니다.

스타트업 경험

  • 창 위치/크기 자동 복원 — 닫았다가 다시 열림 — 창이 자동으로 마지막 위치와 크기로 돌아갑니다. 특히 다중 모니터 설정에 유용합니다.
  • 제로 화이트 플래시 콜드 스타트 — 어두운 배경이 사전 렌더링되어 시작 시 거슬리는 흰색 플래시가 표시되지 않습니다.
  • 다시 시작 시 탭 경로 메모리 — 충돌, 업데이트 또는 다시 시작 후 앱이 자동으로 마지막으로 보았던 페이지로 돌아갑니다(채팅/작업/프로젝트 탭은 독립적으로 기억됩니다).

인프라

  • Python 사이드카 — 상태 확인을 통해 FastAPI 백엔드 프로세스를 관리합니다.
  • Next.js 사이드카 — WebUI 모드를 위한 관리형 독립형 프런트엔드 서버
  • Agent Runner Sidecar — CLI 에이전트 통합을 위해 Bun 컴파일된 독립 실행형 바이너리
  • 포트 충돌 감지 — 포트 충돌을 방지하기 위한 사전 실행 검사
  • 기본 API 정렬 — 기본 데스크탑 모드에서 UI는 자동으로 127.0.0.1:8080의 백엔드와 통신합니다(수동 포트 헌팅 없음). 원격 액세스가 필요한 경우 WebUI 모드를 활성화하세요. 그런 다음 UI는 시스템 구성에서 구성된 포트(예: 25808)를 읽습니다.
  • 부팅 화면 백엔드 게이트 — 콜드 스타트 시 부팅 애니메이션은 기본 UI에 들어가기 전에 Python 백엔드 /health가 성공할 때까지 대기하여 연결 오류 플러드를 방지합니다. Rust는 또한 최대 30초 동안 건강 상태를 조사합니다.
  • 로컬 개발 브라우저 패리티:3000에서 bun run dev으로 개발할 때 API은 프록시가 IPv4 매핑 루프백(macOS의 ::ffff:127.0.0.1)을 통해 연결되는 경우에도 인증을 올바르게 다시 작성합니다. 첫 번째 로드 시 ConfigSync 401 없음
  • 사이드카 빌드 CLI — 유지관리자는 ./myrm desktop sidecar을 실행하여 릴리스 바이너리를 빌드합니다. ./myrm desktop check-sidecar은 빈 자리 표시자에서 실패합니다.
  • 공개 수신 — 자체 HTTPS 터널 URL(cpole, NATAPP, frp 등)을 붙여넣습니다. 터널 가이드 참조
  • macOS 격리 수정com.apple.quarantine 속성 감지 및 자동 복구

글로벌 스크린 AI(Appshot + FlowPad)

데스크톱 전용 Appshot 기능을 사용하면 현재 애플리케이션을 종료하지 않고도 AI와 상호 작용할 수 있습니다.
  1. 전역 단축키 캡처: 모든 앱에서 단축키를 누르세요. 시스템 수준 리스너가 활성 창을 캡처합니다.
  2. 자동 텍스트 추출: 접근성 API은 캡처된 창에서 텍스트 내용을 자동으로 추출합니다.
  3. 선택한 텍스트 우선 순위 컨텍스트: 현재 선택한 텍스트를 자동으로 캡처합니다(macOS는 AXSelectedText를 통해, Windows는 Ctrl+C 클립보드를 통해). 선택 항목은 AI의 최우선 순위 컨텍스트로 삽입되고 FlowPad의 컨텍스트 칩으로 눈에 띄게 표시됩니다. — AI는 사용자가 집중하고 있는 내용을 정확하게 이해합니다.
  4. FlowPad 플로팅 패널: 캡처 후 AI 쿼리 패널이 나타납니다. 질문을 입력하고 대화로 보냅니다.
  5. 빠른 작업: 캡처 후 원클릭 사전 설정 버튼(답장/요약/번역/설명)이 나타납니다. 일반적인 작업에는 입력할 필요가 없습니다.
  6. 다중 캡처 스태킹: 최대 10개의 창을 순서대로 캡처하고 분석을 위해 모두 AI로 보냅니다.
  7. 이미지 미리보기 및 관리: FlowPad에서 캡처한 이미지를 미리보고, 개별 캡처를 삭제하거나, 클릭하여 확대하세요.
  8. 개인 정보 보호 블랙리스트: 민감한 앱(1Password, 뱅킹 앱 등)을 보호합니다. 캡처는 경고 토스트와 옵션인 “Capture 어쨌든” 재정의로 차단됩니다.
  9. 인라인 입력 모드(옵션+I): 전역 단축키가 캡처를 트리거하고 인라인 모드로 들어갑니다. AI 결과가 FlowPad 내에서 실시간으로 스트리밍되고, 한 번의 클릭으로 붙여넣기를 하면 결과가 원래 앱에 다시 기록되고 창이 자동으로 숨겨집니다. 작업 흐름을 벗어나지 않습니다.
  10. 인라인 에이전트 전환기 + 프로필 라우팅: 인라인 모드에서는 기본 채팅 세션의 에이전트 구성을 변경하지 않고도 메시지당 대상 에이전트 프로필(예: 작성자/코더)을 전환할 수 있습니다.
일반적인 사용 사례: 코드 조각을 선택하고 AI용 단축키를 눌러 선택 사항을 설명하고, 이메일을 캡처하고 AI 초안 응답을 위해 “답장”을 클릭하고, 외국 기사를 스크린샷하고 “번역”을 클릭하고, 오류 로그를 캡처하고 진단을 위해 “설명”을 클릭하고, 문서를 작성하는 동안 Option+I를 누르고 AI 결과를 편집기에 직접 붙여넣습니다.

설정

  1. 귀하의 플랫폼에 맞는 애플리케이션을 설치하십시오
  2. 애플리케이션 메뉴에서 Myrm을(를) 실행하세요
  3. 설정에서 하나 이상의 LLM API 키를 구성하세요.

macOS 시스템 권한(컴퓨터 사용)

데스크탑 자동화(컴퓨터 사용)에는 접근성화면 녹화라는 두 가지 macOS 권한이 필요합니다. Myrm은 프로세스를 자동으로 감지하고 안내합니다.
  • 사전 감지 — 에이전트 도구 설정에서 computer_use을 활성화하면 상태 카드에 어떤 권한이 부여되었는지(녹색) 또는 누락되었는지(황색) 즉시 표시됩니다.
  • 원클릭 딥 링크 — “시스템 설정 열기”를 클릭하여 올바른 macOS 개인 정보 보호 패널로 바로 이동합니다.
  • 재확인 버튼 — 시스템 설정에서 액세스 권한을 부여한 후 “재확인”을 클릭하면 다시 시작하지 않고 즉시 확인됩니다.
  • 런타임 배너 — Desktop Inspector를 사용하는 동안 권한이 취소되면 안내와 함께 상황에 맞는 배너가 나타납니다.

Desktop Inspector: 번호가 매겨진 오버레이(SOM)

Desktop Inspector 패널을 새로 고치면 Myrm은 라이브 스크린샷의 대화형 컨트롤에 **번호가 매겨진 배지 [N]**을 오버레이합니다. 접근성 트리와 승인 카드에 동일한 색인이 나타나므로 상담사가 클릭하려는 요소를 항상 알 수 있습니다.
  • 토큰 안전 기본값 — 시각적 전환이 필요하지 않은 한 에이전트 도구 호출은 include_screenshot=false을 유지합니다. SOM은 Inspector 새로 고침 및 명시적 스크린샷 요청에서만 실행됩니다.
  • 의미 우선@dref 참조는 기본 제어 경로로 유지됩니다. 숫자는 대체 레이어가 아닌 사람이 읽을 수 있는 변환 레이어입니다.
  • 필터링된 라벨 — 오버레이를 계속 읽을 수 있도록 정적 텍스트와 비대화형 노드가 제외됩니다.
배포 인식 동작: local/Tauri/WebUI local에서 컴퓨터 사용은 실제 Mac/PC/Linux 데스크탑을 제어합니다. SaaS 샌드박스에서는 샌드박스가 Visual Desktop(noVNC)을 실행하고** 계획에 VNC 권한이 포함된 경우에만 마운트됩니다. 헤드리스 샌드박스는 토글을 꺼서 마케팅이 현실과 일치하도록 합니다.
화면 녹화 권한을 적용하려면 앱을 다시 시작해야 할 수도 있습니다. 접근성 권한은 일반적으로 부여 후 즉시 작동합니다.

권한 시스템

데스크톱 앱은 상담원 작업에 대해 3계층 권한 모델을 적용합니다.

원격 서버 게이트웨이

데스크톱 클라이언트를 VPS 또는 NAS에서 실행되는 원격 Myrm 서버에 연결하세요. 기본 데스크톱 환경에서 원격 에이전트를 관리하세요.
  1. 설정 → 시스템 → 서버 연결로 이동합니다.
  2. 로컬에서 원격으로 전환합니다.
  3. 원격 서버 URL(예: https://your-vps.example.com)을 입력하세요.
  4. 연결 테스트를 클릭하여 서버에 연결할 수 있는지 확인하세요.
  5. 연결을 클릭합니다. 앱이 다시 로드되고 이제 모든 API 호출이 원격 서버로 라우팅됩니다.
  6. 원격 서버 자격 증명(설정 토큰 + 비밀번호)으로 로그인합니다.
모든 기능(채팅, 설정, 기술, 아티팩트, 알림)은 원격 서버에서 작동합니다. 로컬 사이드카는 계속 실행되므로 원격 연결이 끊어지면 즉시 다시 전환할 수 있습니다. 상태 표시기:
  • NavBar 플러그 아이콘 — 원격 서버에 연결되면 표시되며 클릭하면 연결 설정으로 이동합니다.
  • 연결 끊기 배너 — 원격 서버에 연결할 수 없는 경우 “로컬 모드로 전환” 버튼과 함께 인라인 경고가 나타납니다.
  • 토큰 안전성 — 원격 모드로 전환하면 로컬 인증 토큰이 자동으로 백업되고 연결이 끊어지면 복원됩니다.
원격 게이트웨이는 자체 호스팅 서버(VPS, NAS, 홈 서버)에 연결하기 위한 것입니다. 클라우드 호스팅 배포의 경우 브라우저 기반 MyrmAgent Cloud를 사용하세요. 데스크톱 게이트웨이가 필요하지 않습니다.

원격 액세스(모바일 허브)

자체 터널 도구를 사용하여 원격 액세스를 활성화한 다음 휴대폰에서 실행 중인 에이전트를 제어하세요.
  1. 설정 → 시스템 → 접근으로 이동하세요.
  2. WebUI 모드비밀번호 보호를 활성화합니다.
  3. 포트 3000에 대해 터널(Cloudflare Tunnel, cpole, NATAPP, frp 등)을 시작합니다.
  4. HTTPS URL을 Public Ingress에 붙여넣고 Testconnectivity를 실행합니다.
  5. 휴대폰에서 Mobile Hub QR을 스캔합니다. 활성 세션을 선택하여 상태 보드를 엽니다(실시간 진행 상황, 승인, 조정, 확인 알림으로 중지, 브라우저/데스크톱 실시간 미리 보기 — 라이트박스 확대/축소 및 탭 전환이 포함된 실시간 에이전트 화면 스냅샷)

원격 스폰

데스크톱으로 돌아가지 않고 휴대폰에서 직접 새 작업을 만듭니다.
  1. Mobile Hub를 열고 새 원격 작업을 탭합니다.
  2. 드롭다운에서 에이전트를 선택하고 선택적으로 프로젝트를 선택합니다.
  3. 작업 메시지를 입력하고 보내기를 탭하세요.
  4. 에이전트가 즉시 시작됩니다. 진행 상황을 모니터링하기 위해 상태 보드로 리디렉션됩니다.
백엔드는 새 세션에 대해 범위가 지정된 쌍 토큰을 발행하고 속도 제한은 30/분으로 생성됩니다. 초기 메시지는 autoStart(sessionStorage)을 통해 전달되므로 상태 보드가 로드되는 순간 에이전트가 작업을 시작합니다.

모바일 아티팩트 전달

에이전트가 완료되면 생성된 파일(문서, 코드, HTML 페이지, 이미지 등)이 상태 보드에 아티팩트 카드로 전화기에 직접 표시됩니다.
  • 아이콘 + 파일명 + 유형 + 크기 한눈에 보기
  • 미리보기 버튼을 탭하여 새 브라우저 탭에서 파일을 엽니다.
  • 다운로드 버튼을 탭하여 로컬에 저장하세요.
16가지 아티팩트 유형이 모두 지원됩니다. 백엔드 변경이 필요하지 않습니다. 데이터가 이미 메시지 스트림에 존재합니다. 즉, “책상으로 돌아갈” 필요 없이 휴대폰에서 AI 결과물을 검토, 승인 또는 변경 요청할 수 있습니다. 쌍 토큰은 범위가 지정됩니다. 허브 목록 토큰은 세션을 열 때까지 채팅을 제어할 수 없습니다. 제어 토큰은 하나의 chat_id에 바인딩됩니다. 자세한 구성은 터널 가이드를 참조하세요. 솔직한 메모: 터널을 가져오세요. Myrm은(는) 귀하의 트래픽을 호스팅하지 않습니다. 엔드투엔드 암호화 릴레이(G2)가 로드맵에 있습니다. 현재 보안은 HTTPS + 범위 쌍 토큰 + 세션 바인딩에 의존합니다.