WAN-Videoleitfaden zur lokalen KI-Generierung

Promptus bietet native Unterstützung für WAN-Video und bietet leistungsstarke KI-Grundlagen für die Videoerstellung. Diese Integration bietet sowohl 1,3 B-Modelle für Karten mit niedrigem VRAM-Wert als auch 14B-Modelle für Hochleistungs-Setups, wobei GGUF-Optionen verfügbar sind. Erfahren Sie, wie Sie diese nativen Tools zur Videogenerierung beherrschen.

📽️ Erste Schritte mit WAN-Videovorlagen

ComfyUI enthält fünf integrierte WAN-Videovorlagen, auf die über das Workflow-Menü zugegriffen werden kann. Navigieren Sie zu den Vorlagen und wählen Sie Video aus. Ganz oben finden Sie diese neuen Optionen: Text zu Video, Bild zu Video, Video steuern, Übermalen und erstes Bild letztes Bild.

Wenn Vorlagen nicht sichtbar sind, aktualisieren Sie Ihre ComfyUI Version über den ComfyUI Manager. In älteren Versionen fehlen diese nativen Funktionen.

🎛️ Modellauswahl und Einrichtung

Beim Öffnen von Workflows wählen Sie zwischen Modellgrößen. Das 1.3B-Modell eignet sich perfekt für Karten mit niedrigerem VRAM-Speicher, sodass größere 32-GB-Downloads vermieden werden. Benutzer mit mehr als 24 GB VRAM können das gesamte 14B-Modell trotz seiner Größe nutzen.

GGUF-Dateien bieten verschiedene Größenoptionen, erfordern jedoch benutzerdefinierte Loader und eine manuelle Platzierung in Ihrem ComfyUI-Modellverzeichnis.

Generierung von Text zu Video 📝➡️🎞️

Der Text-to-Video-Workflow wandelt Eingabeaufforderungen in animierte Sequenzen um. Geben Sie Ihre Beschreibung in das Eingabeaufforderungsfeld ein — das System verarbeitet Cartoon-Stile und realistische Szenen gleichermaßen gut.

Der WAN-Video-Knoten steuert Breite, Höhe und Frame-Anzahl. Das 14B-Modell unterstützt sowohl 480p- als auch 720p-Auflösungen, wobei 1280 x 720 hervorragende Ergebnisse liefern.

⚡ Geschwindigkeitsoptimierung mit Laura

Die COVID Laura verhält sich wie Hyper oder Turbo Laura speziell für WAN 2.1. Anstelle von 20 Schritten wird die Generierung in 2-4 Schritten abgeschlossen. Dies ist zwar nicht so schnell wie LTXV, bietet jedoch erhebliche Geschwindigkeitsverbesserungen.

Vier Schritte bei 720p dauern auf RTX 3090 ungefähr 6 Minuten. Niedrigere Auflösungen wie 480x864 reduzieren dies auf 2 Minuten.

🛠 Behebung anfänglicher Frame-Probleme

Frühe Frames zeigen manchmal blockartige Artefakte. Das Umschalten auf den DDIM-Sampler mit dem DDIM Uniform Scheduler behebt dieses Problem. Reduzieren Sie die Stärke von Laura von 0,7 auf 0,5 und erhöhen Sie die Schritte auf 6. Diese Konfiguration verhindert Flackern bei gleichbleibender Qualität.

Konvertierung von Bild zu Video 🖼️➡️🎞️

Der Bild-zu-Video-Workflow akzeptiert Referenzbilder mit festem Hintergrund. WAN Video verwendet diese als Objekt- oder Hintergrundreferenz und nicht als Stiltraining. Das Hinzufügen eines Knotens zum Entfernen im Hintergrund verbessert die Ergebnisse erheblich.

Die Stärkeeinstellungen im WAN-Video-Knoten wirken sich auf die Einhaltung des Referenzbildes aus. Höhere Werte sorgen für eine größere Ähnlichkeit mit dem Original, während niedrigere Werte mehr Bewegung und Transformation ermöglichen.

🎮 Videofunktionen steuern

Control Video kombiniert Eingabebilder und Videos mithilfe einer Vorverarbeitung wie der Canny-Kantenerkennung. Diese Vorlage eignet sich hervorragend für die Übertragung von Gesichtsausdrücken und Bewegungen aus Quellvideos auf neue Charaktere.

Der Video Helper Suite-Knoten bietet bessere Steuerelemente für die Größenänderung als native Optionen, einschließlich Funktionen zum Zuschneiden, Ändern der Größe und Frame-Load-Cap-Funktionen.

🎬 Funktionen zum Ausmalen von Videos

Outpainting erweitert die Grenzen des Videos, indem es das vorhandene Filmmaterial mit Polsterung umgibt. Benutzerdefinierte Knoten führen Breitenberechnungen automatisch durch. Diese Funktion überlagert und verlängert gleichzeitig die Videodauer über die ursprüngliche Länge hinaus.

🔄 Erste und letzte Frame-Animation

Diese Vorlage sorgt für fließende Übergänge zwischen zwei Bildern, auch bei unterschiedlichen Seitenverhältnissen. Das System interpoliert zwischen Anfangs- und Endframes, perfekt für Transformationssequenzen.

💾 GGUF-Modellleistung

GGUF-Modelle erfordern kundenspezifische Lader, bieten jedoch eine vergleichbare Geschwindigkeit wie Standardmodelle. Die 14B Q5-Variante behält die Qualität bei und bietet gleichzeitig Flexibilität für verschiedene Hardwarekonfigurationen.

🌟 Erweiterte Funktionen und Erweiterungen

WAN-Video bietet zusätzliche Funktionen, einschließlich Block-Swap für Karten mit niedrigerem VRAM-Wert. Diese Erweiterung bietet erweiterte Funktionen, die über die nativen ComfyUI-Funktionen hinausgehen.

Die WAN-Videointegration bringt professionelle Videogenerierung direkt in ComfyUI mit KI-Grundlagen, die die Erstellung von Inhalten demokratisieren. Von einfachen Textanfragen bis hin zu komplexen Workflows zur Steuerung von Videos bieten diese Tools beispiellose kreative Möglichkeiten. Experimentieren Sie mit verschiedenen Modellen, Einstellungen und Vorlagen, um Ihren optimalen Arbeitsablauf zu finden.

🎉 Viel Spaß beim Erkunden WAN-Video-KI in Promptus!