comfyui-agent-kit

<div align="center"> <img src="docs/assets/cover.png" width="880" alt="ComfyUI AI 编程代理技能，由 AI VFX NEWS 提供"> # ComfyUI 代理工具包 **适用于 AI 编程代理的 ComfyUI 签名技能：Claude Code、Codex、Gemini CLI 和 Qwen Code。** **由 [AI VFX NEWS](https://t.me/AI_VFX_NEWS) 提供。** 使您的 AI 编程代理能够驱动本地 **ComfyUI**，发挥全部功能，生成图像、视频和音频，构建和运行工作流，**在您自己的 ComfyUI 画布中实时显示图形**，然后只需一个命令即可将整个设置交给其他人。     </div> --- 这是一个可移植的、与机器无关的 **多代理** 版本的 ComfyUI 设置。一个共享的核心（知识 + MCP 驱动程序）加上每个代理的一个薄适配层。克隆它，运行安装程序，每个代理都获得相同的堆栈，与 **您的** 硬件连接。GLM（z.ai）通过 Claude Code 覆盖，由 `claude` 适配器提供支持。参见 **[docs/AGENTS.md](docs/AGENTS.md)** 以了解每个代理如何连接。 ## 功能 - **驱动 ComfyUI 的四个代理**（Claude Code、Codex、Gemini CLI、Qwen Code）共享一个核心。GLM 通过 Claude Code 也被覆盖。（[docs/AGENTS.md](docs/AGENTS.md)） - **~90 工具的 MCP 驱动程序。** 代理直接操作 ComfyUI：生成、构建/编辑/验证图形、队列、下载模型、管理 VRAM、读取日志、诊断。 - **每个模型的“超级大脑”：** 65 个提示配方，从 **官方来源** 提炼（图像、视频、音频、3D）；代理在您命名模型时自动拉取正确的配方，以便它以自己的方言提示每个模型。 - **了解每个模型的位置：** [完整索引](docs/MODEL_INDEX.md) 所有 147 个库模型（配方/实用程序/模板仅限），本地 vs API。 - **硬件感知模型选择：** 检测您的 VRAM、RAM 和可用磁盘，然后推荐适合的变体（fp8 / offload / multi-GPU / quant）并在浪费带宽之前拒绝无法安装的下载。 - **17 个增强和实用工具：** 升级/恢复（Real-ESRGAN、SUPIR、SeedVR2）、帧插值（FILM、RIFE）、分割/深度/姿势（SAM3、BiRefNet、Depth Anything），以及恢复链。 - **534 模板库** 作为事实来源，以及 **获取任何共享工作流的哈希值** 和 **模型对抗**（运行提示通过许多模型，小规模选择赢家，然后缩放）。 - **从零件组装新的工作流：** 将任务分解为阶段，混合模板和蓝图子图，并正确连接节点（输出到输入按类型，并使用必要的转换器），在运行前根据 `/object_info` 验证。 - **为您启动 ComfyUI：** 当服务器关闭时，代理在后台以无头模式启动并生成（无需先打开应用程序）；要查看，请在浏览器中打开 `http://127.0.0.1:8188`。对于无人值守的管道，启动策略可按项目配置（环境变量或 `.comfyui-agent.json`），因此它永远不会在提示上阻塞。 - **GUI 桥接 + 持久性：** 代理将图形写入您的 ComfyUI 画布，并 **保存** 它构建或运行的每个工作流到 ComfyUI 的工作流文件夹，以便您可以稍后从工作流侧边栏打开它（仅 API 生成会留下画布上的痕迹）。 - **自行保持最新状态：** `check_updates.py` 对模板仓库进行差异检查并读取博客 RSS；可选的每周任务添加新模型的配方并推送它们。（[docs/UPDATING.md](docs/UPDATING.md)） - **可移植且幂等：** 一个安装程序，自动检测您的代理，可重新运行。MIT，无第三方代码（所有重量级代码都在安装时获取）。 ## 四层堆栈 <div align="center"> <img src="docs/assets/architecture.png" width="880" alt="四层堆栈：知识 + 客户端，MCP 驱动程序，图形中的 Claude 节点，节点构建技能，以及模板库和 GUI 桥接"> </div> | 层 | 内容 | 安装为 | |------:|------|--------------| | 1 | **知识 + 客户端** 操作手册和零依赖 HTTP 客户端 | 代理的技能/扩展目录 | | 2 | **MCP 驱动程序** ~90 个结构化工具，以便代理直接操作 ComfyUI | `comfyui-mcp`（npm）+ 每个代理的 MCP 注册 | | 3 | **图形中的 Claude 节点** 工作流中的 LLM 作为一步（提示丰富，视觉 QA） | ComfyUI `custom_nodes` | | 4 | **节点构建技能** 用于编写/修改自定义节点（V3 API） | 代理的技能目录（Claude/Codex） | | + | **模板库** 官方的 500+ 工作流模板，事实来源 | 稀疏的 git 克隆 + 快速索引 | 以及 **GUI 桥接器**：代理将图形写入 `<ComfyUI>/user/default/workflows/`，您在内置的工作流侧边栏中打开它们并进行调整。不需要额外的“代理面板”节点。 参见 [docs/LAYERS.md](docs/LAYERS.md) 以了解每层的信息，以及 [docs/AGENTS.md](docs/AGENTS.md) 以了解每个代理的矩阵。 ## 模板库是事实来源 该工具包克隆官方的 [Comfy-Org/workflow_templates](https://github.com/Comfy-Org/workflow_templates) 并构建一个紧凑的查找索引，以便代理可以将任何请求匹配到正确模板。534 个模板涵盖每个任务、图像、视频、3D、音频、实用程序： <div align="center"> <img src="docs/assets/templates_by_category.png" width="880" alt="工作流模板按类别划分：136 个图像，129 个视频，107 个用例，67 个实用程序，33 个 3D，29 个音频等"> </div> ## 它了解每个模型的方言 每个生成模型都有不同的提示方法：SDXL 需要逗号标签，FLUX 需要自然语言句子，视频模型需要相机和运动方向，音频模型需要类型/节奏/乐器，负面提示支持差异很大。该工具包附带 **[`MODELS.md`](skills/comfyui/MODELS.md)**，一个按模型划分的提示参考，从 **官方来源** 提炼（每个制造商的文档和模型卡，docs.comfy.org，以及 `anthropic-claude` 节点的模型模板）。当您在请求或工作流中命名模型时，代理会先读取该模型的条目，然后正确提示。 涵盖今日（65 个模型，附带配方）：FLUX.1/.2 + Kontext，Z-Image，Qwen-Image/Edit，SDXL，SD1.5/3.5，HiDream，Ideogram，Nano Banana Pro/2，Seedream，Recraft，GPT-Image，Grok，Reve，Kandinsky，BRIA，OmniGen，Chroma，Krea，ERNIE-Image，FireRed/LongCat/ChronoEdit（编辑），Capybara，Bernini-R，Anima，NewBie，PixelDiT，Ovis-Image，Lens，Quiver，Wan 2.1-2.7，LTX-2.3/2 Pro，Hunyuan Video，SVD，Kling，Veo，Sora，Seedance，Luma，Runway，MiniMax，PixVerse，Vidu，Pika，HappyHorse，HuMo，SCAIL-2，Stable Audio，ACE-Step，ElevenLabs，ChatterBox，Sonilo，Hunyuan3D，Tripo，Rodin，Meshy。还有一个单独的 **增强和实用** 部分（不是提示驱动，设置不是提示）：升级器和恢复器（Real-ESRGAN，SUPIR，SeedVR2，FlashVSR，Topaz，Magnific），帧插值（FILM，RIFE），条件助手（SAM3，BiRefNet，Depth Anything，DWPose，MoGe，IP-Adapter，LivePortrait，Mediapipe），以及视频对象移除（VOID）。其他则回落到模板库。 <div align="center"> <img src="docs/assets/models_by_modality.png" width="880" alt="按模态划分的模型提示配方：36 个图像，20 个视频，5 个音频，4 个 3D，共 65 个，分为本地/开放权重与 API，以及 17 个增强和实用工具"> </div> **完整模型索引**：库中每个模型及其对应的内容（配方/实用程序/模板仅限）： **[docs/MODEL_INDEX.md](docs/MODEL_INDEX.md)**。 ### 覆盖率表格：每个模型及其提示配方是否已准备好 `✅ 配方` = [MODELS.md](skills/comfyui/MODELS.md) 中的专用、最新提示指南。`🔧 工具` = 增强/实用说明（设置，非提示）。 **更新日期：2026-06-19 23:08.** 一张表格，列对齐到最宽的行（视频模型）。 | 模态 | 模型/工具 | 提示配方 | 运行 | |---|---|:---:|---| | 图像 | FLUX.1 / FLUX.2 / Kontext | ✅ | 本地 + API | | 图像 | Z-Image-Turbo | ✅ | 本地 | | 图像 | Qwen-Image / Edit | ✅ | 本地 | | 图像 | SDXL · SD 1.5 · SD 3.5 | ✅ | 本地 | | 图像 | HiDream-I1 | ✅ | 本地 | | 图像 | BRIA 3.x | ✅ | 本地 | | 图像 | OmniGen v1/v2 | ✅ | 本地 | | 图像 | Chroma | ✅ | 本地 | | 图像 | Krea 1 | ✅ | 本地 | | 图像 | ERNIE-Image | ✅ | 本地 | | 图像 | Capybara（图像+视频） | ✅ | 本地 | | 图像 | Bernini-R（relight） | ✅ | 本地 | | 图像 | Anima（anime） | ✅ | 本地 | | 图像 | NewBie（anime，XML 提示） | ✅ | 本地 | | 图像 | PixelDiT | ✅ | 本地 | | 图像 | Ovis-Image（文本渲染） | ✅ | 本地 | | 图像 | Lens / Lens Turbo | ✅ | 本地 | | 图像 | Quiver（文本到 SVG） | ✅ | API | | 图像 | Ideogram 2/3 | ✅ | API | | 图像 | Nano Banana Pro / 2 | ✅ | API | | 图像 | Seedream 4/5 | ✅ | API | | 图像 | Recraft V3 | ✅ | API | | 图像 | GPT-Image | ✅ | API | | 图像 | Grok Image | ✅ | API | | 图像 | Reve | ✅ | API | | 图像 | Kandinsky 3.x | ✅ | 本地 + API | | 图像编辑 | FireRed / LongCat / ChronoEdit | ✅ | 本地 | | 视频 | Wan 2.1-2.7 (+VACE/Animate/ATI) | ✅ | 本地 + API | | 视频 | LTX-2.3 / LTX-2 Pro | ✅ | 本地 | | 视频 | Hunyuan Video | ✅ | 本地 | | 视频 | SVD（图像到视频） | ✅ | 本地 | | 视频 | HuMo（唇同步） | ✅ | 本地 | | 视频 | SCAIL-2（角色） | ✅ | 本地 | | 视频 | HappyHorse 1.0 | ✅ | API | | 视频 | Kling（1.6-3.0，O1/O3） | ✅ | API | | 视频 | Veo 3/3.1 | ✅ | API | | 视频 | Sora 2 | ✅ | API | | 视频 | Seedance 1.0/1.5/2.0 | ✅ | API | | 视频 | Luma Ray · Runway Gen-4/4.5 | ✅ | API | | 视频 | MiniMax/Hailuo · PixVerse · Vidu · Pika | ✅ | API | | 音频 | Stable Audio · ACE-Step · ChatterBox | ✅ | 本地 | | 音频 | ElevenLabs · Sonilo | ✅ | API | | 3D | Hunyuan3D | ✅ | 本地 | | 3D | Tripo · Rodin · Meshy | ✅ | API | | 增强/实用 | Real-ESRGAN, SUPIR, SeedVR2, FlashVSR（升级/恢复） | 🔧 设置 | 本地 | | 增强/实用 | Topaz, Magnific（升级） | 🔧 设置 | API | | 增强/实用 | FILM, RIFE（帧插值） | 🔧 设置 | 本地 | | 增强/实用 | SAM3, BiRefNet（分割/抠图） | 🔧 设置 | 本地 | | 增强/实用 | Depth Anything v2/v3, MoGe（深度/几何） | 🔧 设置 | 本地 | | 增强/实用 | DWPose, Mediapipe（姿势/标志） | 🔧 设置 | 本地 | | 增强/实用 | 🔧 设置 | API | | 视频 | IP-Adapter, LivePortrait（条件/人像） | 🔧 设置 | 本地 | | 视频 | VOID（视频对象移除） | 🔧 设置 | 本地 | 仍未有配方的特殊模型（非常新，文档薄）会使用其模板并借用最接近的家族方法；参见 [docs/MODEL_INDEX.md](docs/MODEL_INDEX.md) 获取完整的变体明细。 ## 先决条件 - 一个或多个 PATH 上的代理 CLI：[Claude Code](https://claude.com/claude-code) (`claude`)，[Codex](https://developers.openai.com/codex) (`codex`)，[Gemini CLI](https://github.com/google-gemini/gemini-cli) (`gemini`)，[Qwen Code](https://github.com/QwenLM/qwen-code) (`qwen`) - [Node.js](https://nodejs.org) (`node` + `npm`) - [git](https://git-scm.com)，[Python 3](https://python.org) - 本地 **ComfyUI** 安装（桌面版或源码），[comfy.org](https://www.comfy.org/) ## 安装 Windows（PowerShell）： ```powershell git clone https://github.com/SlavaSexton/comfyui-agent-kit.git cd comfyui-agent-kit ./install.ps1 -ComfyUIPath "E:\path\to\ComfyUI" # 为每个找到的代理 CLI 安装 ``` Linux / macOS: ```bash git clone https://github.com/SlavaSexton/comfyui-agent-kit.git cd comfyui-agent-kit ./install.sh --comfyui-path /path/to/ComfyUI # 为每个找到的代理 CLI 安装 ``` 安装程序运行共享机器设置一次（MCP 包、模板、图形节点），然后 **自动检测** 哪些 `claude` / `codex` / `gemini` / `qwen` 已安装，并为每个安装配置。 它是 **幂等** 的，随时可重新运行。 通过 `-Agents claude,gemini` / `--agents claude,gemini` 限制目标。 标志：`-SkipTemplates` / `--skip-templates`（跳过 ~900MB 模板克隆），`-SkipNodes` / `--skip-nodes`。每个代理的详细信息和 GLM 注释在 **[docs/AGENTS.md](docs/AGENTS.md)** 中。 ## 新机器上的首次运行 安装后，启动 ComfyUI，然后在代理会话中告诉它运行 **bootstrap** 一次（[docs/BOOTSTRAP.md](docs/BOOTSTRAP.md)）：它检测您的 GPU、VRAM、RAM、可用磁盘、路径和已安装的模型，通过 MCP `health_check`，填充机器特定的块在技能中，并进行烟雾测试生成。之后，只需请求媒体即可。对于 Claude/Codex，技能在 ComfyUI 关键字上自动激活；对于 Gemini/Qwen，知识作为扩展的上下文加载。 ## 可选：图形中的 LLM 密钥 仅当您希望工作流在不涉及代理的情况下丰富提示时才需要（例如，无人值守的管道）： ```powershell setx CLAUDE_API_KEY "sk-ant-..." # 然后重启 ComfyUI ``` 参见 [docs/NODES.md](docs/NODES.md)。当您驾驶时，代理直接编写提示，效果更好、免费。 ## 布局 ``` comfyui-agent-kit/ ├── install.ps1 / install.sh 顶级：共享设置 + 自动检测代理 + 运行适配器 ├── shared/ │ ├── comfyui/ SKILL.md + MODELS.md + comfy_client.py （一个事实来源） │ └── tools/gen_quick_index.py 重建模板查找索引 ├── agents/ │ ├── claude/ install.ps1/.sh -> ~/.claude/skills/comfyui + claude mcp add + CLAUDE.md │ ├── codex/ install.ps1/.sh -> ~/.agents/skills/comfyui + ~/.codex/config.toml │ ├── gemini/ install.ps1/.sh -> ~/.gemini/extensions/comfyui (gemini-extension.json + GEMINI.md) │ └── qwen/ install.ps1/.sh -> ~/.qwen/extensions/comfyui (qwen-extension.json + QWEN.md) ├── docs/AGENTS.md 每个代理的矩阵（每个代理如何连接）+ GLM 注释 ├── docs/MODEL_INDEX.md 库中每个模型及其内容 ├── docs/EXAMPLE_WORKFLOWS.md 值得注意的共享工作流（模型对抗，恢复）+ 获取帮助 ├── docs/UPDATING.md 保持最新：check_updates.py（模板差异 + 博客 RSS）+ 循环 ├── docs/BOOTSTRAP.md / LAYERS.md / NODES.md ├── ATTRIBUTION.md 获取的第三方件的致谢 ├── CHANGELOG.md 精心策划的显著变化历史（Keep a Changelog） └── LICENSE MIT（此工具包的原始文件） ``` ## 本仓库中有什么，不是什么 仓库中（原创作品，MIT）：技能、客户端、安装程序、索引生成器、文档、生成的视觉效果。在安装时从其各自来源获取（不重新分发）：`comfyui-mcp` 包、节点构建技能、工作流模板和图形中的 Claude 节点。 ## 致谢和感谢 该工具包建立在优秀的开源工作基础上。它是这些项目上的一个薄的布线层，而重大的工作是他们完成的。非常感谢： - **[ComfyUI](https://github.com/comfyanonymous/ComfyUI)** 由 comfyanonymous / Comfy-Org 提供支持，该引擎运行所有功能。 - **[comfyui-mcp](https://github.com/artokun/comfyui-mcp)** 由 [artokun](https://github.com/artokun) 提供，MCP 驱动程序（第 2 层）使代理能够使用结构化工具操作 ComfyUI。 - **[comfyui-custom-node-skills](https://github.com/jtydhr88/comfyui-custom-node-skills)** 由 [jtydhr88 / Terry Jia](https://github.com/jtydhr88) 提供，节点构建技能（第 4 层）。 - **[workflow_templates](https://github.com/Comfy-Org/workflow_templates)** 由 Comfy-Org 提供，事实来源的模板库。 - **[comfyui-anthropic-claude](https://github.com/alexmunteanu/comfyui-anthropic-claude)** 由 [alexmunteanu](https://github.com/alexmunteanu) 和 **[comfyui_claude_prompt_generator](https://github.com/PauldeLavallaz/comfyui_claude_prompt_generator)** 由 [PauldeLavallaz](https://github.com/PauldeLavallaz) 提供，图形中的 Claude 节点（第 3 层）。 v1.1.0 建立在更多优秀作品之上。感谢还包括： - **[Prompt Relay](https://github.com/GordonChen19/Prompt-Relay)** 由 Gordon Chen, Ziqi Huang, 和 Ziwei Liu (S-Lab, NTU) 提供，无需训练的临时提示路由方法（arXiv 2604.10030）。 - **[ComfyUI-PromptRelay](https://github.com/kijai/ComfyUI-PromptRelay)** 和 **[ComfyUI-SUPIR](https://github.com/kijai/ComfyUI-SUPIR)** 由 [kijai](https://github.com/kijai) 提供，工具包推荐并驱动的 ComfyUI 端口。 - **[LTX Director 2.0](https://github.com/WhatDreamsCost/WhatDreamsCost-ComfyUI)** 由 WhatDreamsCost 提供，LTX-2.3 时间线编辑器节点。 - **[Z-Image-Turbo Fun-ControlNet-Union](https://huggingface.co/alibaba-pai/Z-Image-Turbo-Fun-Controlnet-Union-2.1)** 由 alibaba-pai (PAI) 提供，以及 **LTX-2.3** 模型和 **HDR IC-LoRA** 由 [Lightricks](https://huggingface.co/Lightricks)。 - **[Real-ESRGAN](https://github.com/xinntao/Real-ESRGAN)** 由 Xintao Wang 和 BasicSR 团队，以及 **SUPIR** 由 XPixel Group (Fanghua Yu 等人) 提供，升级和恢复模型。注意：SUPIR 权重是非商业的。 完整组件许可在 [ATTRIBUTION.md](ATTRIBUTION.md) 中。如果此处有任何内容错误地归因于您的作品，请提出问题，它将被修复。 ## 许可证 MIT，见 [LICENSE](LICENSE)。第三方组件保留其自身的许可证。 <div align="center"> 由 **[AI VFX NEWS](https://t.me/AI_VFX_NEWS)** 制作 </div>