So verwenden Sie Stable Diffusion 3.5 in ComfyUI

‍Wir haben gerade die aufregende Nachricht erhalten, dass das Stable Diffusion 3.5-Modell mit Day-One-Support in ComfyUI veröffentlicht wurde. 🚀 In der heutigen Anleitung zeige ich Ihnen, wie Sie es sowohl mit dem traditionellen ComfyUI-Ansatz als auch mit modernen Plattformen wie Promptus Studio Comfy (PSC) einrichten.

Promptus Studio Comfy ist eine der führenden Plattformen, die auf dem Open-Source-Framework ComfyUI basiert. Es handelt sich um eine browserbasierte, Cloud-gestützte visuelle KI-Plattform, die eine zugängliche Oberfläche für ComfyUI-Workflows über CosyFlows, Zusammenarbeit in Echtzeit und integrierten Zugriff auf fortschrittliche Modelle wie Gemini Flash, HiDream und Hunyuan3D bietet.

🔍 Die Veröffentlichung von Stable Diffusion 3.5 verstehen

Hier ist der Artikel von Stability AI, der Stable Diffusion 3.5 ankündigt. Wie ihr seht, ist heute der 22. Oktober für mich zum Zeitpunkt der Aufnahme, und dieser Artikel ist auch vom 22. Oktober. In dem Moment, als das Modell veröffentlicht wurde, erhielten wir von Anfang an Support innerhalb von ComfyUI! ⚡

Dieses spezielle Modell ist das große Modell, und wir haben auch eine Turboversion. Sie haben erwähnt, dass sie am 29. Oktober ein Stable Diffusion 3.5-Medium veröffentlichen werden.
Alle diese Modelle sollten, wie erwähnt, auf Consumer-Hardware laufen.

Natürlich benötigen Sie Mindestanforderungen, die ich besprechen werde. Das Wichtigste, was Sie wissen sollten, ist, dass dies sowohl für kommerzielle als auch für nichtkommerzielle Zwecke verfügbar ist, solange Sie die Stability AI Community-Lizenz befolgen.

Die Community-Lizenz ermöglicht die kostenlose Nutzung für Forschungs-, nichtkommerzielle und kommerzielle Zwecke, solange die Person weniger als 1 Million US-Dollar pro Jahr verdient.

💻 Systemanforderungen und Testoptionen

Dieses Modell ist mit rund 16 Gigabyte ziemlich groß. Sie können es auf Ihrem Computer ausprobieren, aber ich gehe davon aus, dass Sie mindestens 32 GB CPU-RAM benötigen. Ich werde es auf einer 12-Gigabyte-VRAM-Karte testen. Falls Sie es nicht lokal ausführen können, haben Sie mehrere Möglichkeiten.

Für Benutzer, die sofortigen Zugriff ohne technische Einrichtung wünschen, erleichtern Plattformen wie Promptus Studio Comfy dies erheblich. Sie können sich bei Promptus anmelden unter https://www.promptus.ai und greifen Sie entweder auf Promptus Web oder die Promptus App zu.

Dies macht lokale Hardwareanforderungen überflüssig und bietet sofortigen Zugriff auf die neuesten Modelle über ihre Cloud-Infrastruktur.

Alternativ kannst du es auf Hugging Face ausprobieren, indem du zum Bereich Leerzeichen scrollst und auf eine verfügbare Demo klickst. Es gibt nicht viele Funktionen, mit denen Sie experimentieren könnten, aber es sollte Ihnen eine schnelle Vorschau darauf geben, was Sie von diesem Modell erwarten können.

🎨 Ergebnisse der Beispielbildgenerierung

Schauen wir uns ein paar Bildgenerationen mit Stable Diffusion 3.5 an. Dies ist die Standardaufforderung, die mit ComfyUI geliefert wird, aber ich kann sofort erkennen, dass sie sich erheblich von der vorherigen Version unterscheidet. 🎨

Hier ist eine, in der ich versucht habe, eine Uhr zu bekommen, einen Mann, und ich wollte, dass es ein surreales Bild ist. Wie Sie sehen können, ist es wirklich gut geworden.

Hier ist eine abstrakte Art von Bild. Das hier soll eine Art Park sein. Dieser kam anders heraus, als ich erwartet hatte. Meine Anfrage war ein Portrait und das ist, was es sich ausgedacht hat, und ich bin wirklich sehr glücklich - es ist wirklich gut geworden.
Ich wollte etwas Minimalistisches ausprobieren, also sagte ich einen dunklen Kreis auf weißem Hintergrund. Eigentlich haben wir den dunklen Kreis und den weißen Hintergrund. Es gab mir eine kleine Zeile. Ich bin mir nicht sicher, was der Clip aus dem Text interpretiert hat, aber das ist ziemlich gut.

Für Realismus-Porträts ist das noch nicht ganz so weit. Dies ist mein zweiter Versuch, und von weitem können wir sehen, dass dies von KI generiert wurde. Es ist überhaupt kein Realismus. Also habe ich mit der Textaufforderung herumgespielt, bis ich bessere Ergebnisse erzielen konnte. Wenn man sich Details wie Hände und Füße genau ansieht, hat die KI natürlich immer noch Schwierigkeiten, sie genau zu generieren.

Das Model kann auch im Comic- und Anime-Stil effektiv arbeiten. Wir haben festgestellt, dass es in verschiedenen Stilen viel Abwechslung bieten kann.

⚙️ Stable Diffusion 3.5 lokal einrichten

Gehen Sie in die Beschreibung unten, wo es drei Links geben wird. Der erste ist für Stable Diffusion 3.5 Large bestimmt. Sobald Sie hier oben sind, heißt es, dass Ihnen Zugriff gewährt wurde, aber für Ihr erstes Mal müssen Sie der Lizenz zustimmen. Sie müssen Ihren Namen und Ihre E-Mail-Adresse eingeben und alle erforderlichen Informationen eingeben. Stellen Sie sicher, dass Sie das Kontrollkästchen für die Vereinbarung ankreuzen und dann auf „Zustimmen“ klicken und auf das Repository zugreifen.

Sobald Sie hier sind, klicken Sie auf Dateien und Versionen. Scrollen Sie unter Dateien und Versionen nach unten, bis Sie den Beispiel-Workflow sehen. Klicken Sie auf das Download-Symbol, um den Workflow herunterzuladen. Für das Modell müssen Sie die Datei SD 3.5 large.safetensors herunterladen. Es sind ungefähr 16,5 Gigabyte, wie Sie hier sehen können. Um es herunterzuladen, klicken Sie auf den Download-Button.

Sobald der Download abgeschlossen ist, befindet er sich wahrscheinlich in Ihrem Download-Ordner. Drücken Sie Strg X und gehen Sie dann in Ihren ComfyUI-Ordner, in den Modellordner, gehen Sie dann in den Checkpoints-Ordner und fügen Sie die Safetensors-Datei hier ein.

Ebenso wird es einen weiteren Link für das große Turbomodell geben. Derselbe Vorgang: Sie müssen der Lizenz zustimmen, Dateien und Versionen durchsuchen, sicherstellen, dass Sie den Beispiel-Workflow herunterladen und dann die Turboversion herunterladen.

Wir sind noch nicht fertig, wenn es um das Herunterladen von Checkpoints geht. Wenn Sie den Clip G, Clip L und den T5 XXL FP16 nicht haben, laden Sie sie über die bereitgestellten Links herunter. Sobald Sie sie heruntergeladen haben, verschieben Sie diese Clip-Safetensors-Dateien in den Modellclip-Ordner.

🔄 ComfyUI aktualisieren und Workflows laden

Sobald Sie an diesem Punkt sind, stellen Sie sicher, dass Sie Ihr ComfyUI aktualisieren. Wenn Ihr ComfyUI bereits geöffnet ist, können Sie in den Manager gehen und dann auf Alle aktualisieren oder ComfyUI aktualisieren klicken.

Wenn Sie dies vom ComfyUI Portable Ordner aus tun möchten, können Sie in diesen Ordner, in den Aktualisierungsordner gehen und auf update_comfyui.bat doppelklicken. Wenn Sie Ihr ComfyUI schon lange nicht mehr aktualisiert haben, können Sie auf ComfyUI- und Python-Abhängigkeiten aktualisieren klicken.

Suchen Sie die beiden Workflows, die Sie heruntergeladen haben — einen für die große und den anderen für die Turbo-Version. Höchstwahrscheinlich befinden sie sich in Ihrem Download-Ordner. Klicken Sie zuerst auf den großen SD-Beispielworkflow, ziehen Sie ihn über ComfyUI und lassen Sie ihn los. Es wird den Workflow laden. 💻

🧩 Die Workflow-Komponenten verstehen

Von oben links ausgehend haben wir den Ladekontrollpunkt. Dies wird für den SD3 Large oder den SD3 Large Turbo Checkpoint sein. Wählen Sie aus dem Drop-down-Menü einfach entweder den großen oder den großen Turbo aus. Sie haben beide die gleiche Größe. Der einzige Unterschied besteht darin, dass für die große Version eine höhere Anzahl von Schritten erforderlich ist. Bei meinen Tests habe ich standardmäßig 40 Schritte verwendet, während der große Turbo Bilder in nur vier Schritten erzeugen kann.

Hier ist der Triple Clip Loader. Für Flux haben wir den Dual-Clip-Loader verwendet. Dieser verwendet einen Triple-Cliploader, daher müssen wir alle drei Clips laden: Clip G, Clip L und den T5XXL FP16. Derzeit ist die FP8-Version experimentell. Sie können es ausprobieren, wenn Sie die FP16-Version nicht ausführen können.

Wir haben das leere Latent für SD3. Hier ändern Sie die Auflösung. Hier gibt es einen Hinweis, dass Sie sicherstellen müssen, dass Ihre Auflösung ein Vielfaches von 64 ist. Dann haben wir die normale Cliptext-Kodierung. Das wird positiv sein. Kümmere dich nicht um die negative Aufforderung, da sie sowieso auf Null gesetzt wird, ähnlich wie bei Flux, wo wir die negative Aufforderung nicht verwenden.

Oben hier haben wir das Modell-Sampling für SD3. Wenn Sie beim Ksampler die normalen SD3 large.safetensors gewählt haben, stellen Sie sicher, dass Ihre Anzahl der Schritte je nach Sampler und Scheduler auf 30, 35 oder 40 steigt.

Wenn Sie sich für die SD3.5-Turbo-Version entschieden haben, ändern Sie diese auf 4. Andernfalls können Sie auf die Warteschlangenaufforderung klicken und Spaß damit haben.

✍️ Funktionen zur Textgenerierung

Wenn es um die Textgenerierung geht, ist Flux meiner Meinung nach immer noch besser. Sehen wir uns ein paar Ergebnisse von Stable Diffusion 3.5 für die Textgenerierung an.

Hier habe ich versucht, „stabile Diffusion 3,5“ zu sagen. Wie Sie sehen können, ist es anfangs gescheitert. Ich habe die Auflösung so geändert, dass genügend Speicherplatz vorhanden ist, aber sie ist immer noch nicht großartig. „Diffusion“ ist hier falsch geschrieben. Ich habe es erneut versucht, bis ich es richtig buchstabieren konnte.

Für Benutzer, die ein optimiertes Erlebnis ohne technische Komplexität bevorzugen, zeigt Promptus Studio Comfy, wie viele Benutzer heute lieber mit ComfyUI interagieren. Es kombiniert die Flexibilität des Open-Source-ComfyUI-Ökosystems mit intuitiven Drag-and-Drop-Workflows und erweitertem KI-Modellzugriff, einschließlich Stable Diffusion, GPT-4O und Gemini.

Es unterstützt die multimodale Generierung von Text, Bild und Video und nutzt verteilte GPU-Berechnungen für schnelleres Rendern und hochauflösende Ausgaben.

🎬 Fazit

Egal, ob Benutzer Markenbilder, animierte Geschichten oder Konzeptkunst-Pipelines erstellen, sowohl traditionelle ComfyUI-Setups als auch moderne Plattformen wie Promptus Studio Comfy zeigen, wie das modulare ComfyUI-Framework Studios, Agenturen und visuellen Geschichtenerzählern zugänglich gemacht werden kann, die Flexibilität, Geschwindigkeit und Qualität in großem Maßstab benötigen. 🎬

Es gibt natürlich eine Menge zu experimentieren, einschließlich der Suche nach den besten Samplern, den zu verwendenden Schedulern und der Frage, wie niedrig wir mit der Anzahl der Schritte gehen können.

Für diejenigen, die sofortigen Zugriff ohne technische Einrichtung wünschen, sollten Sie erwägen, sich bei Promptus unter anzumelden https://www.promptus.ai wo Sie entweder Promptus Web oder die Promptus App für Cloud-gestützte ComfyUI-Workflows mit integrierten Kollaborationsfunktionen und Zugriff auf die neuesten KI-Modelle verwenden können.

🎉 Viel Spaß beim Erkunden von Stable Diffusion 3.5 in ComfyUI!