WAN-Video in ComfyUI für KI-Videogenerierung

ComfyUI bietet jetzt native Unterstützung für WAN-Videomodelle und bietet sowohl 1.3B-Modelle für Low-VRAM-Karten als auch 14B-Modelle für High-End-Systeme. Diese KI-Grundlagen machen die Videogenerierung für Entwickler mit unterschiedlichen Hardwaresetups zugänglich. Für zusätzliche Flexibilität sind auch GGUF-Formate verfügbar.

WAN-Video-Workflow-Vorlagen

Um auf die WAN-Videofunktionen zuzugreifen, navigieren Sie zum Workflow-Menü und klicken Sie auf „Vorlagen durchsuchen“. Wählen Sie die Videokategorie aus, um fünf neue WAN-Videovorlagen zu finden: Text zu Video, Bild zu Video, Kontrollvideo, Outpainting und erstes Bild letztes Bild.

Wenn Sie diese Vorlagen nicht sehen, aktualisieren Sie Ihre ComfyUI Version mit dem ComfyUI Manager. Klicken Sie auf die Schaltfläche „ComfyUI aktualisieren“, um auf die neuesten Funktionen zuzugreifen.

Deine Modelle einrichten

Beim Öffnen von Workflows werden Sie aufgefordert, die entsprechenden Modelle herunterzuladen. Wählen Sie für Karten mit begrenztem VRAM das 1,3 B-Modell und überspringen Sie den größeren 32-GB-Download. Wenn Sie über 24 GB oder mehr VRAM verfügen, läuft die 32-GB-Datei trotz ihrer Größe problemlos.

GGUF-Dateien sind in verschiedenen Größen erhältlich, erfordern jedoch einen benutzerdefinierten Loader und einen manuellen Download in Ihr ComfyUI-Modellverzeichnis.

Generierung von Text zu Video

Laden Sie Ihr ausgewähltes Modell mit der Option „Modelle laden“. Das spezielle verfügbare LoRa funktioniert wie Hyper- oder Turbo-LoRAS, jedoch für WAN 2.1, wodurch die Schritte von 20 auf nur 2 Schritte reduziert werden.

Geben Sie Ihre Textaufforderung in das dafür vorgesehene Feld ein. Der WAN-Videoknoten verarbeitet die Einstellungen für Breite, Höhe und Bildanzahl. Das 14B-Modell unterstützt sowohl 480p- als auch 720p-Auflösungen.

Verwenden Sie die folgenden Einstellungen, um optimale Ergebnisse ohne Artefakte zu erzielen:
- Sampler: DDIM
- Planer: DDIM-Uniform
- LoRa-Stärke: 0,5
- Schritte: 6

Konvertierung von Bild zu Video

Für diesen Arbeitsablauf ist ein Referenzbild zusammen mit Ihrer Textaufforderung erforderlich. WAN-Video eignet sich am besten für Bilder mit einfarbigen Hintergründen oder sauberen Hintergrundbildern.

Verwenden Sie einen Knoten zum Entfernen des Hintergrunds, um Ihr Referenzbild zu reinigen. Passen Sie den Stärkeparameter im WAN-Videoknoten an, um zu steuern, wie genau die Ausgabe Ihrem Eingabebild entspricht:
- Höhere Stärke (1,0): Näher am Originalbild, weniger Bewegung
- Geringere Stärke (0,67): Mehr Bewegung, mögliche Probleme beim ersten Bild

Videofunktionen steuern

Dieser erweiterte Arbeitsablauf akzeptiert sowohl ein Eingabebild als auch ein Video. Das Video wird mit Canny Edge Detection oder anderen Präprozessoren vorverarbeitet. Der Canny-Ausgang dient als Kontrollvideo und ermöglicht eine präzise Bewegungssteuerung unter Beibehaltung der Gesichtszüge und Gesichtsausdrücke.

Funktionen zum Übermalen von Videos

Die Outpainting-Vorlage erweitert die Videoränder, indem das Originalmaterial mit Polsterung versehen wird. Verwenden Sie benutzerdefinierte Knoten für die automatische Breitenberechnung und nicht für manuelle Berechnungen. Mit dieser Funktion können Sie das Video gleichzeitig übermalen und die Videodauer verlängern.

Erste und letzte Frame-Generation

Diese Vorlage erstellt Videos mit nur zwei Bildern - eines für den Anfang und eines für das Ende. Verschiedene Seitenverhältnisse funktionieren einwandfrei, da das System die Größe an die von Ihnen angegebenen Videoabmessungen anpasst.

GGUF-Modelle verwenden

GGUF-Modelle benötigen einen benutzerdefinierten GGUF-Loader, behalten jedoch ähnliche Rendergeschwindigkeiten wie Standardmodelle bei. Verwenden Sie dieselben Einstellungen wie bei normalen Arbeitsabläufen und passen Sie die Parameter an, um Artefakte zu minimieren.

Erweiterte Optionen

Weitere Funktionen wie Block-Swap für Karten mit niedrigerem VRAM-Wert finden Sie im WAN 2.2-, Wan 2.5- und Wan 2.1-Video von Kiji, das erweiterte Funktionen bietet, die über die native ComfyUI-Implementierung hinausgehen.

Die WAN-Videointegration in ComfyUI bietet leistungsstarke KI-Videogenerierungsfunktionen für verschiedene Hardwarekonfigurationen. Die fünf Vorlagen-Workflows decken die meisten Anforderungen an die Videoerstellung ab, von einfachen Text-to-Video-Workflows bis hin zu fortschrittlichen Steuerungsmethoden.

Mit der richtigen Optimierung der Einstellungen können Sie qualitativ hochwertige Videos erstellen und gleichzeitig häufige Artefakte wie das Blockieren des ersten Bilds minimieren.