階層検証プレイブック
必要なのが「それなりに良さそう」という印象ではなく証拠であるとき(たとえば「初字が速い」「長時間タスクが安定している」「競合のデフォルト体験より良い」など)、この手順どおりに実行してください。なぜこの手順が必要か
多くの Agent 製品は能力のリストを見せるだけで、再現できる実証は示しません。Myrm の検証ループは 3 層をまとめて受入します。- Harness ランタイム層(オープンソースのランタイム、server から呼び出される)
- オープンソースの製品層(
myrm-agent-server+myrm-agent-frontend) - ユーザーが感じ取れる表現層(docs + 公式サイトobesの訴求コピー)
階層と証拠の対応
第一歩:まずマシンを止まらないようにする
小さなバッチで実行し、リソース境界を記録します。/usr/bin/time -lのピーク RSS- 現在のマシンで利用できるメモリ(
available、used_percent) - 連続再実行で単調なメモリ増加が起きていないか
第二歩:harness の起動経路を検証する
定型コマンド:- テストが通る
- 定向カバレッジがキャッシュ / リフレッシュの重要経路を十分に覆っている
- 再実行で異常なメモリ傾向がない
第三歩:製品層の TTFT 経路を検証する
定型コマンド:- 可視テキスト payload 上の TTFT 収集が通る
- TTFT が
message_endに注入され、統計集計がそれを読み取れる - カバレッジが主要経路を実テストで覆っていることを示しており、外周の mock だけではない
第四歩:ブラウザ実景での受入(リソースが許す場合)
説得力をさらに高めたい場合は、軽量な MCP ブラウザ実証を 1 つ足せます。new_pageで WebUI を開くtake_snapshotで可視状態を確認するevaluate_scriptで操作結果を確認する
第五歩:証拠を公開し、過度な宣伝を避ける
3 つの面が同期していなければなりません。temp-docs/materials/*_ADVANTAGE.md(完全な証拠)- docs の競合比較ページ(最新の検証スナップショット)
- 公式サイトのランディングページの訴求コピー(ユーザー表現)
- 競合に関する結論はテスト証拠に紐付ける
- 「何を測り、何を測らなかったか」を明示する
- 公式サイトコピーは下層の専門用語の羅列を避ける。明示の要望が無い限り「六項のコア能力」セクションは変更しない
合格基準
次の 4 つをすべて満たして初めて「検証済み」と対外して主張できます。- 定向テストが通る
- リソース境界が許容範囲
- TTFT / プローブ契約に隠れたフォールバックが無い
- docs と公式サイトコピーが実測証拠と一致している