ComfyUI

ComfyUI

原作者	comfyanonymous
首次发布	2023年1月16日​（2023-01-16）
当前版本	0.44.0
源代码库	github.com/Comfy-Org/ComfyUI
编程语言	Python
许可协议	GPLv3
网站	www.comfy.org

ComfyUI是一款基於節點的開源程式，可讓使用者透過一系列文字提示來生成圖像。它採用Stable Diffusion等免費擴散模型作為其圖像處理功能的基礎模型，並結合ControlNet和LCM低秩適應等其他工具，程式中的每個節點皆代表其中一項工具。

歷史

ComfyUI於2023年1月在GitHub上發布。根據創作者comfyanonymous的說法，該專案的主要目標之一，是從使用者介面的角度來改進現有軟體的設計。該創作者曾參與Stability AI的相關工作，但截至2024年6月3日，其參與關係已告終止，並與核心開發者共同創立了一個名為Comfy Org的組織。2024年7月，Nvidia宣布在其RTX Remix模組化軟體中支援ComfyUI。2024年8月，該軟體新增了對黑森林實驗室所開發的Flux擴散模型的支持，而Comfy Org也加入了由Linux基金會創立的「開放模型倡議」（Open Model Initiative）。截至2026年7月，該專案在GitHub上已獲得12.2萬顆星。ComfyUI與Automatic1111並列為Stable Diffusion最受歡迎的用戶介面之一。

架構

ComfyUI的主要特點在於其採用節點式架構。每個節點都具備特定功能，例如「模型載入器」或「CLIP文字編碼器」。這些節點相互連接，形成稱為工作流程的控制流圖。當提示語被排入佇列時，目前正在執行的節點周圍會出現一個高亮顯示的框架，從「載入檢查點」開始，直至最終影像及其儲存位置為止。工作流程通常由數十個節點組成，形成一個複雜的有向無環圖。節點類型包括模型載入、提示詞設定、採樣器、排程器、VAE解碼器、人臉復原與放大模型、LoRA、嵌入向量以及ControlNet。

本系統支援多種採樣器，例如Euler、Euler_a、dpmpp_2m_sde及dpmpp_3m_sde。工作流程可儲存至檔案中，讓使用者能重複使用節點工作流程，並與其他使用者分享。工作流程的檔案格式為JSON，且可嵌入至生成的影像中。使用者亦已針對基礎系統開發自訂擴充功能，並以新節點的形式提供，例如旨在製作影片的AnimateDiff擴充功能。相較於Automatic1111等其他擴散式使用者介面，ComfyUI被描述為較為複雜。程式中亦內建了一個預設節點群組。

截至2024年12月，共支援1,674個節點。ComfyUI支援多種文字轉圖像模型，包括Stable Diffusion、Flux及騰訊的Hunyuan-DiT，以及來自Civitai的自訂模型（如 Pony）。

LLMVision擴充功能遭入侵

2024年6月，一個名為「Nullbulge」的駭客組織入侵了ComfyUI的一款擴充功能，並在其內植入惡意程式碼。這款遭入侵的擴充功能名為ComfyUI_LLMVISION，用於將介面與AI語言模型GPT-4和Claude 3整合，並託管於GitHub上。Nullbulge在其網站上公佈了一份包含數百名ComfyUI用戶跨多項服務的登入資料清單，而該擴充套件的用戶則回報收到大量登入通知。vpnMentor針對該擴充套件進行了安全研究，並聲稱其可能「竊取加密貨幣錢包、截取用戶螢幕畫面、洩露裝置資訊與IP位址，以及竊取包含特定關鍵字或副檔名的檔案」。

Nullbulge的網站聲稱，他們鎖定的是犯下「我們所列罪行之一」的用戶，其中包括AI藝術生成、盜用藝術作品、推廣加密貨幣，以及任何其他形式的竊取藝術家作品的行為，例如從Patreon竊取作品。他們聲稱自己是「一群相信保護藝術家權利及確保其作品獲得公平報酬至關重要的人士所組成的團體」，並認為「AI生成的藝術作品對創意產業有害，應予以遏止」。