跳转到主要内容

模型配置

Myrm 通过 LiteLLM 统一访问任意提供商的 100+ 模型。

添加 API Key

进入 设置 > 模型 或设置环境变量:
OPENAI_API_KEY=sk-...
ANTHROPIC_API_KEY=sk-ant-...
DEEPSEEK_API_KEY=...
GOOGLE_API_KEY=...

智能路由

复杂度路由器按任务需求自动选择最优模型:
  • 简单查询用轻量模型
  • 复杂推理升级到前沿模型
  • 按请求优化成本与延迟

Key 轮换

4 策略 Key 轮换,在单提供商多 Key 下最大化吞吐与可用性。

隐私路由

隐私路由按数据敏感度自动选择云端或本地模型,无需手动切换:
敏感度路由数据处理
S1 — 公开云端模型直连云端
S2 — 内部云端(PII 脱敏后)或本地自动脱敏或本地路由
S3 — 机密仅本地模型数据不离开本机
隐私路由在标准接口后包装模型。Agent、中间件与执行循环对路由无感,与普通模型交互。 配合 Ollama、LM Studio 或 vLLM 本地后端,敏感负载可完全气隙运行。

容错

14 层错误恢复系统自动处理故障:
  • 限流(4 策略 Key 轮换 + 凭证池)
  • 提供商宕机(熔断器 3 级冷却 + 回退预设)
  • 流中断(Token 级精确续传)
  • 响应截断(渐进输出预算提升 2x → 3x → 4x)
  • 超大图片(自动重编码压缩)
  • 模型思考模式错误(自动调整模式并重试)
  • 空响应(调参重试)
  • 迭代上限(grace-call 摘要 — 用户不见空白回复)
完整 14 层架构见错误恢复