正在制作一款 ComfyUI 的替代品

201 天前
 sunxfancy

大家好,

年初的时候,我在使用 ComfyUI 在做文生视频的工作流,被其中巨量的结点和连线震撼到了。基于结点的工作流在数据少时非常方便,但却有两个缺点:

  1. 抽象能力差,重复的工作只能拷贝修改
  2. 不容易和其他工作流整合

这使得大型复杂的工作流维护非常困难,甚至到了哪怕是专业人士也很难修改的地步。并且还因为结点安装难,版本难以管理等问题造成使用不易。

为了一劳永逸地解决这些存在的问题,我计划开发一款由脚本控制的 stable diffusion 工具,实现以下特性:

  1. 根据脚本动态生成 UI 界面,实现模型推理,进行生图、生成视频、生成 3D 模型等工作
  2. 高扩展的 UI 系统、模型系统,可以通过插件系统新增 UI 支持、模型支持
  3. 脚本安全可分享,无法调用潜在危险 api
  4. 更加安全的版本管理

现在开发了一个 MVP 为项目做概念验证,如果有感兴趣的朋友欢迎了解试用、参与开发。 也欢迎大家多提改进建议。

项目仓库:github.com/sunxfancy/SSUI 下载链接: https://github.com/sunxfancy/SSUI/releases/tag/v0.1-alpha (仅限 Windows NVIDIA 显卡) 目前想寻找三位同伴组建一个小团队,如果你有一定的业余时间,并愿意参与此开源项目,请发邮件报名: sunxfancy@gmail.com

3945 次点击
所在节点    分享创造
34 条回复
Caitlyn
201 天前
用 comfyui 的都是能接受节点式工作流的。你这样人家完全可以用那个 webui
sunxfancy
201 天前
@Caitlyn 这是个好问题,我想 ComfyUI 的一大优势是提供了可编程工作流,这使得用户可以定制化开发很多特别的生图、生视频的方案。我们同样提供了基于 python 脚本的可编程工作流,这是 webui 所不具备的。
yplam
201 天前
@sunxfancy 无意冒犯,只是按你上面的技术栈描述感觉完全忽略了整个系统最核心最艰辛部分的开发(实际上我认为如果能很方便地直接用 Python 实现 ComfyUI 工作流,你 UI 直接用 Gradio 都会有很多人用)
vimutt
201 天前
强烈建议开发,我觉得目前所有 sd 的工作方式都不是太完美的解决方案,webui 和 comfy 我更倾向于使用 comfy ,但是 comfy 确有版本管理不善的地方,而且模型库一旦积累下来动辄几个 T 的容量。大量废弃不用的模型也不易丢弃。模型存放目录也比较“野生”。不同人制作的工作流没有统一的标准,每次都要看一会才能看明白。建议优先以 flux wan 等相关模型和 lora 的支持。
GobyHsu
201 天前
之前用过一阵子 comfy ui ,当时个人最大的痛点是,comfy ui 根本不支持类似虚幻蓝图的那种自定义宏、自定义函数的定义,导致我根本没办法封装某些已经很成熟的、不太会改动的逻辑,只能一遍遍复制…… 不知道现在是不是已经支持了
sunxfancy
201 天前
@yplam 哈哈,是这样的,我描述的技术栈是我想寻找能开发这些的协作伙伴,有很多工作量很大的事情我无法独立完成,但我自己是有开发后端经验的,并且也知道怎么把这些相关 API 封装好供用户调用,你可以看一下项目的 90%都是 python 代码。我上面也说了,之后项目再成熟一些,可能再寻找其他做模型推理的合作者加入。我现在还没找,或者说也不太好找,有 SD 模型推理经验的开发者,如果你对这方面很了解,或者有知道有哪位朋友很了解并对该项目感兴趣,也欢迎跟我讲。
gam2046
201 天前
你的目标,有可能是成为另一款 automatic1111 这样的 webui (代码版)

入坑难度会比 comfyui 更高,使用者首先得会你的胶水语言,其他还得了解所有其他开发者定义的接口、数据类型等等。
monkeyWie
201 天前
你这个貌似只解决了工作流的编排,没有解决 ComfyUI 里节点的维护啊,这些打算怎么处理
Solix
201 天前
如果能做成 dify 这样的工作流一般人就会用了,我也不会用,我不是开发
zlkent
201 天前
最近在研究 comfyui ,上手确实复杂,不管是节点的学习还是模型的安装,都很繁琐。哪怕用了第三方的管理工具,例如绘世启动器,也是很繁琐。
其实如果能解决这些问题,降低学习门槛,我觉得就够了
hhjuteman
201 天前
@sunxfancy #16 我估计你这个项目还是很有搞头的,以后模型会越来越强大,对图片细节的描述精修会越来越多,工作流会越来越复杂,现在 comfyui 的工作模式确实不足以满足需求。
如果做成 UE5 那种流程就会觉得比较爽, 代码可以 upgrade 成蓝图,蓝图也可以作为一个节点类型,甚至还能继承。然后资源目录和代码蓝图节点完全分开,这样的工作流就比较舒服了。甚至像 UE 一样集成 plugin 系统,通过 plugin 可以定制 editor ,导入模块代码,导入模型资源等等。
ChaosesIb
201 天前
@yplam #23 ComfyScript 就是基于 ComfyUI 后端的,可以调用任意 ComfyUI 节点: https://github.com/Chaoses-Ib/ComfyScript 不过目前只有几个固定组件,不支持动态生成 UI ,需要用 Gradio 或者 ipywidgets 之类的手搓。
sunxfancy
201 天前
@vimutt 没错,我也是发现了 ComfyUI 生态中存在着很多问题,才决定从头设计这个项目,感谢你的建议,目前还没有支持视频,但如果开始支持,首要应该就是 wan 等几个热门的视频生成模型。
sunxfancy
201 天前
@ChaosesIb 我想 ComfyScript 和这个项目有相似之处,但我更希望让脚本能安全的分享,而不是仅限于开发者使用,于是设计了沙盒机制,让 api 能安全的调用但操作系统相关 api 却被禁止,来避免网络分享代码带来的风险

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1127705

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX