ComfyUI ControlNet Tutorial: Präzise KI-Bildsteuerung beherrschen

Willkommen zur dritten Folge der ComfyUI Basic Tutorial Series! Heute beschäftigen wir uns mit ControlNet, einer leistungsstarken Technologie, die die KI-Bilderzeugung revolutioniert, indem sie eine präzise Kontrolle über Bilddetails und -struktur ermöglicht. 🎯

Was ist Promptus?

Promptus ist eine herunterladbare und browserbasierte, Cloud-gestützte visuelle KI-Plattform, die eine zugängliche Oberfläche für ComfyUI-Workflows über CosyFlows (eine Schnittstelle ohne Code), Zusammenarbeit in Echtzeit und integrierten Zugriff auf erweiterte Modelle wie Gemini Flash, HiDream und Hunyuan3D bietet.

Promptus Studio Comfy zeigt, wie viele Benutzer heute am liebsten mit ComfyUI interagieren. Es kombiniert die Flexibilität des Open-Source-ComfyUI-Ökosystems mit intuitiven Drag-and-Drop-Workflows und erweitertem KI-Modellzugriff, einschließlich Stable Diffusion, GPT-4O und Gemini. 🚀

Die ControlNet-Technologie verstehen

ControlNet ist eine bahnbrechende Technologie, die eine präzise Steuerung der Bilddetails während der Generierung ermöglicht. Es hilft dabei, die Struktur eines Originalbildes oder der Pose eines Motivs beizubehalten und stellt sicher, dass das Endergebnis Ihrer kreativen Vision entspricht.

Ihren Arbeitsablauf einrichten

Öffnen Sie zunächst Ihren vorherigen Workflow oder laden Sie die JSON-Datei herunter und ziehen Sie sie in die ComfyUI-Oberfläche. Für dieses Tutorial erstellen wir ein Bild eines Kung-Fu-Meisters. Ändern Sie also Ihre Eingabeaufforderung wie folgt:

„Ein Kung-Fu-Meister in traditionellen Gewändern, der in einem Bambuswald steht.“

Wenn Ihr Workflow ein LoRa-Modell für Bilder im Sticker-Stil enthält, können Sie diesen Knoten entweder löschen oder mit der rechten Maustaste klicken und „Bypass“ auswählen, um ihn vorübergehend zu deaktivieren. ⚙️

🔧 Erforderliche Modelle und benutzerdefinierte Knoten installieren

Um ControlNet effektiv nutzen zu können, müssen Sie zusätzliche KI-Modelle herunterladen. Öffnen Sie das Manager-Dialogfeld in der oberen rechten Ecke und klicken Sie dann auf Model Manager. Suchen Sie nach „Controlnet++“ und finden Sie das ProMax-Modell.

Klicken Sie nach der Installation in der unteren linken Ecke auf Aktualisieren. Sie müssen auch den benutzerdefinierten ComfyUI ControlNet Aux Node installieren, der die Funktionen von ComfyUI um benutzerdefinierte Plugins erweitert.

🎛️ Erstellen Sie Ihren ersten ControlNet-Node

Doppelklicken Sie auf einen leeren Bereich und suchen Sie nach „Apply ControlNet“, um ihn zu Ihrem Workflow hinzuzufügen. Dieser Knoten verfügt über zwei orangefarbene Anschlüsse: Der linke Anschluss empfängt Ihre Eingabeaufforderungen, während ControlNet diese Informationen verwendet, um die Bildkomposition entsprechend zu ändern.

Laden Sie das ProMax ControlNet-Modell, indem Sie vom linken grünen Port ziehen, um einen ControlNet Loader-Knoten zu erstellen. Fügen Sie einen Load Image-Knoten hinzu, um ein Referenzbild für die ControlNet-Analyse bereitzustellen. 🎨

🕵️ Analysieren von Bildern mit OpenPose

In ComfyUI sind für die Anwendung von ControlNet und die Bildanalyse separate Knoten erforderlich. Der Apply ControlNet-Knoten wendet Effekte an, während der ComfyUI ControlNet Aux-Knoten die Bildanalyse übernimmt.
Wählen Sie OpenPose für die Posenanalyse und stellen Sie die Auflösung so ein, dass sie Ihrem Referenzbild entspricht (1024 × 1024). Fügen Sie einen Vorschaubildknoten hinzu, um das Analyseergebnis anzuzeigen, und verbinden Sie dann die Bildanalyseausgabe mit dem Apply ControlNet-Knoten.

⚙️ Feinabstimmung der ControlNet-Parameter

Der Apply ControlNet-Knoten enthält drei wichtige Parameter:

• Stärke: Höhere Werte erhöhen den ControlNet-Einfluss
• Start: Wenn ControlNet anfängt zu arbeiten
• Ende: Wenn ControlNet nicht mehr funktioniert

Wenn Sie beispielsweise einen Wert von 0 auf 0,5 setzen, beeinflusst ControlNet nur die erste Hälfte der Generierung, sodass die KI danach die kreative Kontrolle hat.

🌄 Fortgeschrittene Techniken: Tiefenkartierung

Neben OpenPose bietet ControlNet verschiedene Bildanalysetypen, darunter Depth Map, die der KI hilft, die räumliche Tiefe und Struktur zu verstehen und so eine realistischere Bilderzeugung zu ermöglichen.

Um dies zu demonstrieren, erstellen Sie zunächst eine Bergszene im Frühling und verwenden Sie dann ControlNet, um eine Winterversion derselben Landschaft zu generieren. Ändern Sie den Analysemodus in Depth Map und erstellen Sie einen neuen Prompt-Knoten für die Winterszene.

❄️ Saisonale Variationen erstellen

Dieser Workflow ermöglicht es Ihnen, mehrere saisonale Versionen derselben Szene mit einem einzigen Klick zu generieren. ControlNet generiert aus dem Frühlingsbild eine Tiefenkarte, kombiniert sie mit Ihrem Winter-Prompt und erzeugt so eine verschneite Landschaft, die die ursprüngliche Kompositionsstruktur beibehält. 🌨️

🚀 Erste Schritte mit Promptus

Sind Sie bereit, ControlNet und erweiterte ComfyUI Workflows zu erkunden? Melden Sie sich für Promptus an unter https://www.promptus.ai und wählen Sie zwischen Promptus Web für die browserbasierte Erstellung oder der Promptus App für Desktop-Workflows.

Promptus macht die ausgeklügelten Funktionen von ComfyUI für Kreative aller Erfahrungsstufen zugänglich, egal ob Sie Konzeptkunst-Pipelines erstellen, Markenbilder erstellen oder animierte Geschichten entwickeln.

🎉 Viel Spaß beim Experimentieren mit ControlNet in ComfyUI und bringen Sie Ihre KI-Workflows auf das nächste Level!