跳转到内容

ComfyUI

维基百科,自由的百科全书
ComfyUI
原作者comfyanonymous
首次发布2023年1月16日,​3年前​(2023-01-16)[1]
当前版本0.44.0[2]在维基数据编辑
源代码库github.com/Comfy-Org/ComfyUI
编程语言Python
许可协议GPLv3[3]
网站www.comfy.org

ComfyUI是一款基于节点的开源程式,可让使用者透过一系列文字提示来生成图像。它采用Stable Diffusion等免费扩散模型作为其图像处理功能的基础模型,并结合ControlNet和LCM低秩适应等其他工具,程式中的每个节点皆代表其中一项工具。

历史

[编辑]

ComfyUI于2023年1月在GitHub上发布。根据创作者comfyanonymous的说法,该专案的主要目标之一,是从使用者界面的角度来改进现有软件的设计[4]。该创作者曾参与Stability AI的相关工作,但截至2024年6月3日,其参与关系已告终止,并与核心开发者共同创立了一个名为Comfy Org的组织[5]。2024年7月,Nvidia宣布在其RTX Remix模组化软件中支援ComfyUI[6]。2024年8月,该软件新增了对黑森林实验室所开发的Flux扩散模型的支持,而Comfy Org也加入了由Linux基金会创立的“开放模型倡议”(Open Model Initiative)[7][8]。截至2026年7月,该专案在GitHub上已获得12.2万颗星[9]。ComfyUI与Automatic1111(英语:Automatic1111)并列为Stable Diffusion最受欢迎的用户界面之一[10]。

架构

[编辑]

ComfyUI的主要特点在于其采用节点式架构[11][12]。每个节点都具备特定功能,例如“模型载入器”或“CLIP文字编码器”[13]。这些节点相互连接,形成称为工作流程的控制流图[14]。当提示语被排入伫列时,目前正在执行的节点周围会出现一个高亮显示的框架,从“载入检查点”开始,直至最终影像及其储存位置为止[13]。工作流程通常由数十个节点组成,形成一个复杂的有向无环图[14]。节点类型包括模型载入、提示词设定、采样器、排程器、VAE解码器、人脸复原与放大模型、LoRA、嵌入向量以及ControlNet[15][16]。

本系统支援多种采样器,例如Euler、Euler_a、dpmpp_2m_sde及dpmpp_3m_sde[16]。工作流程可储存至档案中,让使用者能重复使用节点工作流程,并与其他使用者分享[15][17][18]。工作流程的档案格式为JSON,且可嵌入至生成的影像中[19]。使用者亦已针对基础系统开发自订扩充功能,并以新节点的形式提供[15][20],例如旨在制作影片的AnimateDiff扩充功能[21][22]。相较于Automatic1111等其他扩散式使用者界面,ComfyUI被描述为较为复杂[23][24]。程式中亦内建了一个预设节点群组[13]。

截至2024年12月,共支援1,674个节点[25]。ComfyUI支援多种文字转图像模型,包括Stable Diffusion、Flux及腾讯的Hunyuan-DiT,以及来自Civitai(英语:Civitai)的自订模型(如 Pony)[25]。

LLMVision扩充功能遭入侵

[编辑]

2024年6月,一个名为“Nullbulge”的骇客组织入侵了ComfyUI的一款扩充功能,并在其内植入恶意程式码[26]。这款遭入侵的扩充功能名为ComfyUI_LLMVISION,用于将界面与AI语言模型GPT-4和Claude 3整合,并托管于GitHub上。Nullbulge在其网站上公布了一份包含数百名ComfyUI用户跨多项服务的登入资料清单,而该扩充套件的用户则回报收到大量登入通知。vpnMentor针对该扩充套件进行了安全研究,并声称其可能“窃取加密货币钱包、截取用户萤幕画面、泄露装置资讯与IP地址,以及窃取包含特定关键字或副档名的档案”。

Nullbulge的网站声称,他们锁定的是犯下“我们所列罪行之一”的用户,其中包括AI艺术生成、盗用艺术作品、推广加密货币,以及任何其他形式的窃取艺术家作品的行为,例如从Patreon窃取作品。他们声称自己是“一群相信保护艺术家权利及确保其作品获得公平报酬至关重要的人士所组成的团体”,并认为“AI生成的艺术作品对创意产业有害,应予以遏止”[26]。

参考资料

[编辑]
  1. ^ comfyanonymous. Initial commit.. github. [2024-07-10]. 
  2. ^ Release 0.44.0. 2026年11月4日 [2026年11月4日]. 
  3. ^ comfyanonymous. LICENSE. github. [2024-07-10]. 
  4. ^ comfyanonymous. ComfyUI is now 4 months old!. ComfyUI blog. 2023-05-18 [2024-07-11] (英语). 
  5. ^ ComfyUI 作者团队成立 Comfy Org- DoNews快讯.  已忽略未知参数|script-website= (帮助)
  6. ^ Harper, Christopher. Nvidia's RTX Remix goes open source —chipmaker adds Rest API to interface with ComfyUI for AI remastering or generating new graphics in real time. Tom's Hardware. 2024-07-04 [2024-07-11] (英语). 
  7. ^ 田口和裕. 画像生成AI「Stable Diffusion」の代替に? 話題の「FLUX.1」を試した (1/7). ASCII.jp. 2024-08-07 (日语). 
  8. ^ Wheatley, Mike. Linux Foundation's latest initiative aims to promote 'irrevocable' open-source AI models. SiliconANGLE. 2024-08-12. 
  9. ^ comfyanonymous. ComfyUI. github. [2024-07-10]. 
  10. ^ Hu, Qihan; Xu, Zhenghui; Du, Peng; Zeng, Hao; Ma, Tongqing; Zhao, Youbing; Xie, Hao; Zhang, Peng; Liu, Shuting; Zang, Tongnian; Wang, Xuemei. CanFuUI: A Canvas-Centric Web User Interface for Iterative Image Generation with Diffusion Models and ControlNet. AI-generated Content. Communications in Computer and Information Science 1946. Springer Nature Singapore. 2024: 128–138. ISBN 978-981-99-7586-0. doi:10.1007/978-981-99-7587-7_11 (英语). Currently, the most popular user interfaces for Stable Diffusion are Stable Diffusion WebUI and ComfyUI. 
  11. ^ Zhu, Andrew. Using Stable Diffusion with Python: Leverage Python to control and automate high-quality AI image generation using Stable Diffusion. Packt Publishing. 2024. ISBN 978-1835084311. ComfyUI is a node-based UI that utilizes Stable Diffusion. It allows users to construct tailored workflows, including image post-processing and conversions. It is a potent and adaptable graphical user interface for Stable Diffusion, characterized by its node-based design. 
  12. ^ 故渊. 7 年老显卡 GTX 1080 能跑,图片生成视频模型 Stable Video Diffusion 更新 - IT之家. ithome. 2023-11-25. 
  13. ^ 13.0 13.1 13.2 田口, 和裕. 画像生成AI「Stable Diffusion」使い倒すならコレ! 「ComfyUI」基本の使い方 (1/3). ascii.jp (日语). 
  14. ^ 14.0 14.1 Xue, Xiangyuan; Lu, Zeyu; Huang, Di; Ouyang, Wanli; Bai, Lei. GenAgent: Build Collaborative AI Systems with Automated Workflow Generation -- Case Studies on ComfyUI. 2024-09-02. arXiv:2409.01392 可免费查阅 [cs.CL]. 
  15. ^ 15.0 15.1 15.2 Gal, Rinon; Haviv, Adi; Alaluf, Yuval; Bermano, Amit H.; Cohen-Or, Daniel; Chechik, Gal. ComfyGen: Prompt-Adaptive Workflows for Text-to-Image Generation. 2024. arXiv:2410.01731 可免费查阅 [cs.CL]. 
  16. ^ 16.0 16.1 Zeman, Benjamin. How to build basic workflows in ComfyUI. XDA. 2024-12-04 (英语). 
  17. ^ 白鲸出海. 一家成都游戏公司,做出了一款千万月访问量的AI图像产品-36氪. 2024-05-23 (中文).  已忽略未知参数|script-website= (帮助)
  18. ^ 田口, 和裕. Macで始める画像生成AI 「Stable Diffusion」ComfyUIの使い方 (3/5). ascii.jp. 2024-03-27 (日语). 
  19. ^ しらいはかせ. 画像生成AIを使い倒す!「Stability Matrix」で使えるWebUIを紹介【生成AIストリーム】. Impress Watch. 2023-12-18 (日语). 
  20. ^ 机器之心. 当韩国女团BLACKPINK进军二次元,清华叉院AI神器原来还能这么玩-36氪. 2023-11-16 (中文).  已忽略未知参数|script-website= (帮助)
  21. ^ 新, 清士. アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化. ascii.jp (日语). 
  22. ^ Guo, Yuwei; Yang, Ceyuan; Rao, Anyi; Liang, Zhengyang; Wang, Yaohui; Qiao, Yu; Agrawala, Maneesh; Lin, Dahua; Dai, Bo. AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning. International Conference on Learning Representations. May 2024. arXiv:2307.04725 可免费查阅. 
  23. ^ Phoenix, James; Taylor, Mike. AUTOMATIC1111 Web User Interface. Prompt engineering for generative AI: future-proof inputs for reliable AI outputs at scale First. Beijing Boston: O'Reilly. 2024. ISBN 978-1098153434. Advanced users may also want to explore ComfyUI, as it supports more advanced workflows and increased flexibility (including image-to-video), but we deemed this too complex for the majority of use cases, which can easily be handled by AUTOMATIC1111. 
  24. ^ Pérez-Colado, Iván J.; Freire-Morán, Manuel; Calvo-Morata, Antonio; Pérez-Colado, Víctor M.; Fernández-Manjón, Baltasar. AI Asyet Another Tool in Undergraduate Student Projects: Preliminary Results. 2024 IEEE Global Engineering Education Conference (EDUCON). 2024-05-08: 1–7. ISBN 979-8-3503-9402-3. doi:10.1109/EDUCON60312.2024.10578883. 
  25. ^ 25.0 25.1 Zeman, Benjamin. Adobe Photoshop's Firefly vs. ComfyUI and Stable Diffusion. XDA. 2024-12-06 (英语). 
  26. ^ 26.0 26.1 Maiberg, Emanuel. Hackers Target AI Users With Malicious Stable Diffusion Tool on GitHub to Protest 'Art Theft'. 404 Media. 2024-06-11 [2024-06-14] (英语).