Trainiere LoRa-Modelle mit Flux in ComfyUI

Das Training benutzerdefinierter LoRa-Modelle mit Flux in ComfyUI eröffnet unglaubliche Möglichkeiten für die KI-Bildgenerierung. Dieser umfassende Leitfaden führt Sie durch den gesamten Prozess, von der Einrichtung bis zum Testen Ihres trainierten Modells.

ComfyUI 0.36 für LoRa Training einrichten

Laden Sie ComfyUI von der Promptus-Website herunter. Wählen Sie die tragbare Windows-Version für eine einfachere Einrichtung. Extrahieren Sie die Dateien nach dem Herunterladen, um Ihr Arbeitsverzeichnis zu erstellen.

ComfyUI Manager installieren

Bevor Sie ComfyUI ausführen, installieren Sie den ComfyUI Manager für eine einfachere Knotenverwaltung:

Navigiere zu deinem ComfyUI-Ordner: Windows → ComfyUI → benutzerdefinierte Knoten
Klicken Sie mit der rechten Maustaste in die Pfadleiste und geben Sie „cmd“ ein, um die Eingabeaufforderung zu öffnen
Klonen Sie das Manager-Repository mit dem in der Dokumentation bereitgestellten Befehl git
Nach der Installation wird in ComfyUI ein neuer Tab „Manager“ angezeigt

Erforderliche benutzerdefinierte Knoten installieren

Starten Sie ComfyUI mit der Nvidia-GPU-Batchdatei. Installieren Sie nach der Ausführung diese wichtigen Knoten über den Manager:

ComfyUI Flux Trainer - Die Kerntrainingsknoten von Kai
RGThree ComfyUI - Zusätzliche Utility-Knoten
kjNodes - Unterstützende Funktionen
WAS Node Suite (optional) — Für die Textgenerierung aus Bildern

Nachdem Sie alle Knoten installiert haben, starten Sie ComfyUI vollständig neu, indem Sie das Fenster schließen und die Batch-Datei erneut starten.

Vorbereitung Ihres Datensatzes

Erstellen Sie einen Ordner mit dem Namen „Training“ in Ihrem ComfyUI-Verzeichnis. Platzieren Sie Ihre Trainingsbilder hier — idealerweise 20-50 Bilder mit einer Auflösung von 1024x1024 für beste Ergebnisse.

Um die Trainingsleistung zu verbessern, sollten Sie erwägen, Textbeschreibungen für jedes Bild mithilfe des BLIP-Untertitel-Workflows zu generieren (optional, aber empfohlen).

Flux-Modelldateien herunterladen

Sie benötigen diese Modelldateien in den richtigen Verzeichnissen:

Flux-Modelldatei → Modelle/Checkpoints/Flux/
CLIP-Modelle → Modelle/clip/
VAE-Datei → Modelle/vae/

Laden Sie diese von den offiziellen Quellen herunter oder verwenden Sie ComfyUI Manager, um fehlende Modelle automatisch zu installieren.

Der Trainingsworkflow wird geladen

Laden Sie den JSON-Basis-Trainingsworkflow aus dem Flux-Trainer-Repository herunter. Ziehen Sie diese Datei per Drag & Drop in Ihren ComfyUI-Arbeitsbereich. Wenn Knoten rot erscheinen, verwenden Sie Manager → Fehlende benutzerdefinierte Knoten installieren.

Konfiguration von Trainingsparametern

Passen Sie im geladenen Workflow die folgenden wichtigen Einstellungen an:

• Datensatzpfad: Verweisen Sie auf den Ordner mit den Trainingsbildern
• Datensatzpfad: Verweisen Sie auf den Ordner mit den Trainingsbildern
• Ausgabename: Wählen Sie einen einprägsamen Namen für Ihre LoRa
• Beschreibung: Füge eine Textbeschreibung hinzu, was du trainierst
• Modellverbindungen: Stellen Sie sicher, dass Flux-Modelle richtig verknüpft sind

Belassen Sie andere Parameter für Ihre erste Trainingseinheit auf den Standardwerten.

Den Trainingsprozess starten

Klicken Sie auf „Run“, um mit dem Training zu beginnen. Der Prozess wird Folgendes zeigen:

Aktueller Schrittfortschritt
Geschätzte verbleibende Zeit
Trainingsverlust im Laufe der Zeit
Vorschau von Bildern in verschiedenen Schritten

Die Trainingszeit variiert je nach Größe und Hardware Ihres Datensatzes. Rechnen Sie mit 3—5 Stunden für 36 Bilder mit einer Auflösung von 1024x1024 auf High-End-Hardware.

Überwachung des Trainingsfortschritts

Schau dir die Grafik mit den Trainingsverlusten an — sie sollte mit der Zeit abnehmen. Ein stabiler, sinkender Verlust weist auf ein erfolgreiches Training hin. Der Workflow bietet in Echtzeit Feedback zur Trainingsleistung.

Testen Sie Ihre trainierte LoRa

Testen Sie nach Abschluss des Trainings Ihre LoRa:

Laden Sie einen grundlegenden Flux-Generierungsworkflow
Verbinde deine trainierte LoRa-Datei
Verwenden Sie einfache Eingabeaufforderungen, die sich auf Ihr Trainingsfach beziehen
Ergebnisse mit und ohne aktiviertes LoRa vergleichen

Das trainierte Modell sollte Bilder generieren, die den Eigenschaften Ihres Datensatzes entsprechen.

Optimierung der Trainingsergebnisse

Für bessere Ergebnisse:

1. Verwenden Sie eine konsistente Bildauflösung in Ihrem gesamten Datensatz
2. Fügen Sie 30-50 verschiedene, aber verwandte Bilder hinzu
3. Generieren Sie Textbeschriftungen für jedes Trainingsbild
4. Vermeiden Sie Übertraining, indem Sie die Verlustkurve überwachen

Häufige Probleme mit Schulungen

Pfadfehler: Verwenden Sie absolute Dateipfade, wenn relative Pfade fehlschlagen
Speicherprobleme: Batchgröße oder Bildauflösung reduzieren
Fehlende Modelle: Installieren Sie die erforderlichen Flux-Komponenten über Manager neu

Bewährte Methoden für das LoRa-Training

Konzentrieren Sie sich bei den Trainingseinheiten auf bestimmte Themen oder Stile. Verwenden Sie verschiedene, aber verwandte Bilder in Ihrem Datensatz. Überwachen Sie die Systemressourcen während des Trainings, um Abstürze zu vermeiden.

Das Training benutzerdefinierter LoRa-Modelle mit Flux in ComfyUI erfordert Geduld und eine korrekte Einrichtung, aber die Ergebnisse können bei speziellen Bildgenerierungsaufgaben bemerkenswert effektiv sein.