%20avif.avif)
Wie man ein benutzerdefiniertes LoRA-Modell lokal mit Stable Diffusion und Flux trainiert
Ein LoRA-Modell lokal zu trainieren bedeutet, ein Stable Diffusion- oder Flux-Modell auf Basis eigener Bilder feinzutunen (Fine-Tuning). Der Prozess läuft vollständig auf der eigenen GPU — ohne Cloud-Dienste, ohne Abonnement und ohne dass Daten Ihren Rechner verlassen.
Das Training dauert bei einem Datensatz von 20–50 Bildern auf einer modernen GPU etwa 3–5 Stunden. Sie benötigen: eine kompatible GPU mit mindestens 12 GB VRAM, Ihre Trainingsbilder in einer Auflösung von 1024×1024 Pixeln, die Flux- oder Stable Diffusion-Basismodell-Dateien und eine lokale KI-App zur Verwaltung des Workflows.
Das lokale Trainieren eines eigenen LoRAs bietet einen entscheidenden Vorteil, den kein Cloud-Tool bieten kann: Ein Modell, das auf Ihr exaktes Motiv trainiert ist und privat auf Ihrer eigenen Hardware läuft — ganz ohne Kosten pro Generierung oder inhaltliche Einschränkungen. Egal, ob Sie einer KI beibringen möchten, einen bestimmten Kunststil zu replizieren, konsistente Charaktere zu generieren oder ein Produkt oder Gesicht nachzustellen: Lokales LoRA-Training ist der richtige Weg.
Dieser Leitfaden deckt den vollständigen Prozess für das Training von LoRA-Modellen mit Flux ab — der derzeit stärksten Open-Source-Architektur für lokales Training —, ausgeführt auf Ihrer eigenen GPU. Bei der Verwendung von Promptus ist keine Python-Einrichtung erforderlich, da die App die Umgebung automatisch verwaltet.
Was Sie vor dem Start benötigen: Hardware- und Softwareanforderungen
Das lokale Trainieren eines LoRA-Modells erfordert eine kompatible NVIDIA-GPU mit mindestens 12 GB VRAM für Flux-basiertes Training. Ein Training mit 8 GB VRAM ist unter Verwendung von Datensätzen mit geringerer Auflösung möglich, allerdings müssen Sie mit längeren Trainingszeiten und qualitativen Kompromissen rechnen. AMD-GPUs werden unter Linux via ROCm unterstützt, erfordern jedoch eine zusätzliche Konfiguration.
GPU-Anforderungen
| GPU | VRAM | Trainingsgeschwindigkeit | Anmerkungen |
|---|---|---|---|
| RTX 4090 / 4080 | 24 GB / 16 GB | Schnellste — ~2,5 Std. | Empfohlen für vollständiges Flux-Training |
| RTX 3090 / 3080 | 24 GB / 10 GB | Gut — ~4 Std. | 3080 erfordert möglicherweise Batch-Größe 1 |
| RTX 4070 / 3070 | 12 GB / 8 GB | Moderat — ~5 Std. | FP8-quantisiertes Flux-Modell verwenden |
| RTX 4060 / 3060 | 8 GB | Langsam — 6+ Std. | Bildauflösung auf 768×768 reduzieren |
Software-Einrichtung
Der einfachste Weg, eine lokale LoRA-Trainingsumgebung einzurichten, ist Promptus. Die App installiert alle Abhängigkeiten — CUDA, Python, die Trainings-Nodes und die Modellverwaltung — in einem einzigen Download. Eine manuelle Einrichtung über Python ist ebenfalls möglich, erfordert jedoch Git und mehrere zusätzliche Installationsschritte.
- Promptus (Windows oder Mac): Ein-Klick-Installation, verwaltet alle Abhängigkeiten automatisch.
- Basis-Flux-Modell-Dateien (
flux1-dev.safetensorsoder die FP8-Variante für weniger VRAM). - CLIP-Text-Encoder:
clip_l.safetensorsundt5xxl_fp8_e4m3fn.safetensors. - VAE-Datei:
ae.safetensors. - Trainingsbilder: 20–50 Bilder in einer Auflösung von 1024×1024 Pixeln (JPG oder PNG).
Wie Sie Ihren Trainingsdatensatz vorbereiten
Die Qualität des Datensatzes bestimmt die Qualität des LoRAs. Ein schlecht vorbereiteter Datensatz — Bilder mit uneinheitlicher Beleuchtung, unterschiedlichen Motiven oder falscher Auflösung — führt zu einem Modell, das inkonsistente oder verschwommene Ergebnisse liefert. Die Zeit in die Vorbereitung des Datensatzes zu investieren, ist der wichtigste Schritt des gesamten Prozesses.
Richtlinien zur Bildauswahl
- Verwenden Sie 20–50 Bilder Ihres Motivs. Weniger als 20 Bilder führen oft zu Untertraining; mehr als 80 Bilder können zu Übertraining (Overfitting) führen, bei dem das Modell das Motiv auswendig lernt, anstatt das zugrundeliegende Konzept zu verstehen.
- Achten Sie auf eine einheitliche Bildauflösung. Alle Bilder sollten exakt 1024×1024 Pixel groß sein. Schneiden und skalieren Sie die Bilder vor dem Training — gemischte Auflösungen verwirren den Trainer.
- Variieren Sie die Komposition, nicht das Motiv. Nutzen Sie verschiedene Winkel, Beleuchtungen, Hintergründe und Bildabstände für dasselbe Motiv. Dadurch lernt das Modell zu generalisieren.
- Entfernen Sie Duplikate und Fast-Duplikate. Zwei fast identische Bilder bieten keinen neuen Informationsgehalt, verschwenden aber wertvolle Trainingszyklen.
- Wählen Sie Ihr Aktivierungswort (Trigger Word). Bestimmen Sie ein eindeutiges Wort, das Ihr LoRA in Prompts aktiviert. Es sollte ein Begriff sein, der in Standard-Prompts selten vorkommt, wie z. B.
mysubject01oderstudioaxyz.
Bildbeschreibungen schreiben (optional, aber empfohlen)
Das Beschreiben (Captioning) Ihrer Trainingsbilder lehrt das Modell die Beziehung zwischen Textbeschreibungen und visuellen Inhalten. Dies verbessert die Prompt-Genauigkeit Ihres fertigen LoRAs. Sie können Beschreibungen automatisch über einen BLIP- oder Florence-Workflow generieren lassen oder sie manuell schreiben.
Jede Beschreibung sollte das Bild präzise beschreiben und Ihr Aktivierungswort enthalten. Beispiel: "mysubject01, eine Frau mit dunklen Haaren und einer roten Jacke, die in einem Wald steht, natürliche Beleuchtung, fotoralistisch."
Setzen Sie das Aktivierungswort in jeder Beschreibung an die erste Stelle. Dadurch wird es am stärksten mit dem Hauptmotiv verknüpft. Allgemeine Beschreibungen zu Umgebung, Licht und Stil am Ende des Textes verbessern die Flexibilität des LoRAs bei späteren, abweichenden Prompts.
Schritt für Schritt: Wie man Stable Diffusion LoRA lokal trainiert
Die folgenden Schritte nutzen Promptus zur Verwaltung der Workflow-Umgebung. Wenn Sie eine manuelle Python-Einrichtung verwenden, sind die Trainingsparameter identisch — lediglich die Benutzeroberfläche zum Laden und Ausführen des Workflows unterscheidet sich.
-
Öffnen Sie Ihren Workspace und laden Sie das Layout. Navigieren Sie zum Reiter "Workflows". Suchen Sie in der Bibliothek nach "LoRA trainer" oder "Flux trainer". Laden Sie den Flux-LoRA-Trainings-Workflow herunter.
-
Installieren Sie die erforderlichen Nodes. Sobald der Workflow geladen ist, werden fehlende Nodes automatisch markiert. Klicken Sie auf "Install Missing Nodes" und starten Sie die Umgebung nach Aufforderung neu.
-
Legen Sie den Datensatz-Pfad fest. Suchen Sie im Trainings-Workflow das Feld Dataset Path und verweisen Sie auf den Ordner mit Ihren Trainingsbildern. Verwenden Sie den vollständigen, absoluten Pfad, keinen relativen — dies verhindert den häufigsten Trainingsfehler.
-
Konfigurieren Sie Ihren Ausgabenamen. Wählen Sie einen eindeutigen Namen für Ihre LoRA-Datei. Dies wird der Dateiname (z. B.
mystyle_v1.safetensors) und sollte das Thema oder den Stil widerspiegeln, den Sie trainieren. -
Verbinden Sie das Flux-Modell. Verknüpfen Sie im Workflow Ihre
flux1-dev.safetensors-Datei mit dem Model-Loader-Node. Verbinden Sie auch die CLIP-Encoder und die VAE-Datei mit den jeweiligen Nodes. Falls Verbindungen als rote gestrichelte Linien erscheinen, fehlt eine Modelldatei im vorgesehenen Ordner. -
Trainingsschritte (Steps) festlegen. Für einen Datensatz mit 30 Bildern sind 1.500 bis 2.000 Schritte ein guter Richtwert. Mehr Schritte verlängern die Trainingszeit, können aber die Qualität bis zu einem gewissen Punkt verbessern — jenseits von ~3.000 Schritten nimmt die Qualität bei kleinen Datensätzen durch Übertraining meist ab.
-
Lernrate (Learning Rate) einstellen. Belassen Sie den Wert für Ihren ersten Trainingslauf auf dem Standardwert (meist 0.0001 oder
1e-4). Passen Sie diesen Wert erst an, nachdem Sie die ersten Ergebnisse analysiert haben. -
Auf Run klicken. Das Training beginnt. Sie sehen den Fortschritt der Schritte, die Verlustwerte (Loss) und in regelmäßigen Abständen gerenderte Vorschaubilder.
Der Trainingsverlust (Training Loss) sollte über die ersten 30–40 % der Schritte kontinuierlich sinken und sich dann einpendeln. Ein konstant sinkender Verlust, der flach ausläuft, ist ideal. Sinkt der Wert weiter, ohne sich je einzupendeln, deutet dies auf Untertraining hin (Schritte erhöhen). Fällt der Loss extrem schnell und steigt danach wieder an, liegt Übertraining vor (Schritte reduzieren oder Datensatz vergrößern).
Die Vorschaubilder sollten bei einem Datensatz von 30 Bildern etwa ab Schritt 800–1.000 Ihrem Trainingsmotiv ähneln. Wenn sie bei Schritt 1.500 noch völlig abstrakt oder fehlerhaft aussehen, überprüfen Sie den Datensatz-Pfad und das korrekte Laden der Textbeschreibungen.
Wie Sie Ihr trainiertes LoRA nach Abschluss des Trainings testen
Nach Abschluss des Trainings wird die LoRA-Datei (eine .safetensors-Datei, typischerweise 50–200 MB groß) im angegebenen Ausgabeordner gespeichert. Laden Sie sie in einen Standard-Bildgenerierungs-Workflow, um sie zu testen.
-
Laden Sie den Core-Generator. Öffnen Sie einen einfachen Text-zu-Bild-Workflow in Ihrer lokalen Anwendungsumgebung.
-
Patch anwenden. Fügen Sie einen LoRA-Loader-Node hinzu und wählen Sie Ihre neu trainierte Datei aus.
-
Gewichtungsparameter einstellen. Stellen Sie die LoRA-Stärke (Strength) für den Anfang auf 0,8 ein. Werte nahe 1,0 wenden das LoRA extrem stark an; Werte um 0,4–0,5 mischen es subtiler mit dem Basismodell.
-
Schreiben Sie einen Test-Prompt mit Ihrem Aktivierungswort. Nutzen Sie die Struktur:
[Aktivierungswort], [Beschreibung des gewünschten Bildinhalts]. Testen Sie 3–4 verschiedene Prompts, um die Flexibilität des LoRAs zu prüfen. -
Leistung evaluieren. Vergleichen Sie die Ergebnisse mit aktiviertem und deaktiviertem LoRA. Ihr trainiertes Motiv oder Ihr Stil sollte im aktiven Zustand deutlich erkennbar sein und im deaktivierten Zustand vollständig verschwinden.
Wenn die Ergebnisse nicht Ihren Erwartungen entsprechen, liegen meist folgende Fehler vor: Die LoRA-Stärke ist zu niedrig (auf 0,9–1,0 erhöhen), das Aktivierungswort fehlt im Prompt (explizit an den Anfang setzen) oder es liegt ein Untertraining vor (mit mehr Schritten oder mehr Bildern erneut trainieren).
Fehlerbehebung: LoRA wird nicht angezeigt oder funktioniert nicht
Dass ein LoRA nicht in den Generierungsergebnissen oder in der Auswahlbox erscheint, ist der am häufigsten gemeldete Fehler. Dies hat fast immer eine von vier Ursachen.
Die LoRA-Datei befindet sich im falschen Ordner
Der LoRA-Loader sucht nach Dateien in einem ganz bestimmten Verzeichnis — standardmäßig unter models/loras/. Wenn Ihre Datei woanders gespeichert wurde, wird sie nicht im Auswahlmenü aufgeführt. Verschieben Sie die .safetensors-Datei in den korrekten loras-Ordner und aktualisieren Sie die Dateiliste.
Das Aktivierungswort fehlt im Prompt
Wenn Sie beim Training Beschreibungen mit einem Aktivierungswort verwendet haben, muss dieses Wort exakt so im Generierungs-Prompt stehen, damit das LoRA anspringt. Ohne das Wort hat das LoRA oft kaum sichtbare Auswirkungen. Setzen Sie Ihr Aktivierungswort direkt an den Anfang des Prompts.
Die LoRA-Stärke ist zu niedrig eingestellt
Eine LoRA-Stärke unter 0,5 führt oft dazu, dass das Bild dem reinen Basismodell entspricht und das LoRA ignoriert wird. Erhöhen Sie die Stärke auf 0,8–1,0, bevor Sie davon ausgehen, dass das Training fehlerhaft war.
Inkompatibilität der Modellarchitektur
LoRAs, die auf Flux-Modellen trainiert wurden, müssen zwingend mit Flux-Basismodellen verwendet werden. Ein Flux-LoRA kann nicht in einen Stable Diffusion 1.5- oder SDXL-Workflow geladen werden — die Architekturen sind inkompatibel. Stellen Sie sicher, dass das Basismodell im Generierungs-Workflow exakt dem Modell des Trainingslaufs entspricht.
- Dateipfad: Befindet sich Ihre
.safetensors-Datei im Ordnermodels/loras/? - Aktivierungswort: Steht Ihr Aktivierungswort exakt geschrieben am Anfang des Prompts?
- Stärke: Ist die LoRA-Stärke auf mindestens 0,7 eingestellt?
- Modell-Übereinstimmung: Laden Sie das LoRA in denselben Modelltyp, auf dem es trainiert wurde?
- Aktualisierung: Haben Sie die Dateiliste im Workflow aktualisiert, nachdem Sie die Datei verschoben haben?
Häufig gestellte Fragen (FAQ)
Die Trainingszeit hängt von Ihrer GPU, der Datensatzgröße und der Anzahl der Schritte ab. Auf einer RTX 4090 dauert ein Datensatz mit 30 Bildern bei 2.000 Schritten etwa 2,5 bis 3 Stunden. Auf einer RTX 3080 müssen Sie mit 4 bis 5 Stunden rechnen. Kleinere GPUs (RTX 3060/4060 mit 8 GB VRAM) benötigen oft über 6 Stunden. Das Training läuft im Hintergrund und erfordert keine aktive Aufmerksamkeit.
Ja. Sobald die Basismodell-Dateien und die Trainingssoftware heruntergeladen sind, läuft das gesamte LoRA-Training lokal auf Ihrer GPU, ohne dass eine Internetverbindung erforderlich ist. Es werden keine Prompts, Bilder oder Modelldaten an externe Server übertragen. Dies ist ein wesentlicher Vorteil gegenüber Cloud-basierten Fine-Tuning-Diensten.
Die minimale effektive Datensatzgröße für ein LoRA beträgt etwa 15–20 Bilder. Darunter ist das Modell meist untertrainiert und liefert inkonsistente Ergebnisse. Der optimale Bereich liegt bei 25–50 Bildern — variiert in Winkel, Licht und Komposition, aber konsistent im Motiv. Über 80 Bilder bringen oft abnehmende Erträge, es sei denn, der Datensatz ist extrem vielseitig.
Flux ist eine neuere, qualitativ hochwertigere Architektur, die fotorrealistischere Ergebnisse liefert und komplexen Prompts präziser folgt. Flux-LoRAs erfordern jedoch mehr VRAM (mindestens 12 GB empfohlen) und längere Trainingszeiten. Stable Diffusion 1.5-LoRAs können bereits auf 6–8 GB VRAM trainiert werden und sind schneller fertig, liefern jedoch eine geringere Auflösung und weniger Realismus. Für neue Projekte wird Flux empfohlen, sofern Ihre Hardware dies unterstützt.
Die häufigsten Gründe dafür sind: zu wenige Trainingsschritte (Untertraining), ein fehlendes oder falsch geschriebenes Aktivierungswort im Prompt, eine zu geringe LoRA-Stärke oder ein Datensatz mit zu starken Unterschieden zwischen den Bildern. Erhöhen Sie die Schritte auf 2.500–3.000, stellen Sie sicher, dass Ihr Aktivierungswort im Prompt enthalten ist, und setzen Sie die LoRA-Stärke auf 0,85–1,0.
Ja. Das LoRA-Training auf Apple Silicon (M1, M2, M3, M4) wird über das MPS-Backend anstelle von CUDA unterstützt. Das Training ist auf Apple Silicon deutlich langsamer als auf einer vergleichbaren NVIDIA-GPU, aber voll funktionsfähig. Rechnen Sie mit Trainingszeiten, die etwa 2- bis 3-mal länger sind als bei einer äquivalenten NVIDIA RTX-Karte. Promptus unterstützt das Mac-Training ohne zusätzliche Konfiguration.
Das Fazit: Lokales LoRA-Training lohnt sich
Das lokale Trainieren eines benutzerdefinierten LoRA-Modells gibt Ihnen die volle Kontrolle: Ein Modell, das vollständig Ihnen gehört, auf Ihren Daten trainiert wurde, auf Ihrer Hardware läuft und keine laufenden Kosten verursacht. Die investierte Zeit für die Ersteinrichtung zahlt sich durch unbegrenzte Bildgenerierungen aus einem exakt für Sie gebauten Modell schnell aus.
Der schnellste Weg zum Start ist der Download von Promptus. Die Anwendung installiert die komplette lokale Trainingsumgebung in einem Schritt — Modelle, Nodes und Workflows inklusive. Von dort aus können Sie den Schritten dieses Guides direkt und ohne Befehlszeile folgen.
Übernehmen Sie die volle Kontrolle über Ihr generatives Ökosystem. Erstellen Sie spezialisierte Patches privat, sicher und komplett offline auf Ihrem eigenen Rechner.
Promptus Kostenlos Testen →