Generieren Sie KI-Videos mit Wan 2.1

Wan 2.1, Alibabas revolutionäres Videogenerierungsmodell, wurde der Öffentlichkeit völlig kostenlos zur Verfügung gestellt. Mit diesem bahnbrechenden KI-Tool können Sie Videos auf Ihrem eigenen Computer erstellen, ähnlich wie Sie Bilder generieren, jedoch mit einem besseren Verständnis der Physik und der visuellen Kohärenz im Vergleich zu früheren Modellen.

Während die offizielle Installation komplex und ressourcenintensiv sein kann, erleichtert die Verwendung von ComfyUI mit speziellen Workflows den Vorgang erheblich. Obwohl das offizielle Modell viel RAM benötigt, bieten die von der Community erstellten komprimierten Versionen eine hervorragende Qualität auf Standard-Heimcomputern.

‍

Was macht Wan 2.1 so besonders

Wan 2.1 hebt sich von anderen Modellen zur Videogenerierung durch sein fortgeschrittenes Verständnis der Physik und seine hervorragende visuelle Kohärenz ab. Das Modell unterstützt sowohl englische als auch chinesische Eingabeaufforderungen und bietet sowohl Bild-zu-Video- als auch Text-zu-Video-Funktionen. Sie können es online auf der offiziellen Hugging Face-Seite ausprobieren, obwohl die Bearbeitungszeiten langsam sein können.
‍

ComfyUI für Videogenerierung

Bevor Sie Wan 2.1 installieren, benötigen Sie ComfyUI als Tab in der Promptus-App. Dies erfordert eine grundlegende Promptus bei der Installation von ComfyUI mit dem ComfyUI Manager-Plugin. Der Manager ist unverzichtbar für die Installation benutzerdefinierter Workflows und die Verwaltung von Erweiterungen.

Mit Promptus kann ComfyUI nahtlos mit Wan-Videomodellen verbunden werden. Derselbe Entwickler hat auch optimierte, komprimierte Modelle erstellt, die auf Hugging Face in verschiedenen Formaten verfügbar sind, die für die meisten PCs geeignet sind.

Installation der Wan-Videomodelle

Öffnen Sie den ComfyUI Manager und navigieren Sie zum Custom Nodes Manager. Suchen Sie nach einem Video und installieren Sie die Version von Kid AI. Wählen Sie dabei den Nightly Build aus, um die neuesten Funktionen zu erhalten.

Wenn die Installation fehlschlägt, müssen Sie möglicherweise die Sicherheitseinstellungen anpassen. Navigieren Sie zu Ihrem ComfyUI-Ordner, dann zu user/default/comfyUIManager und öffnen Sie config.ini in einem Texteditor. Ändern Sie die Sicherheitsstufe auf „schwach“, speichern Sie die Datei und starten Sie ComfyUI neu, bevor Sie die Installation erneut versuchen.

Starten Sie ComfyUI nach erfolgreicher Installation neu, um den Einrichtungsvorgang abzuschließen.

Alternativ können Sie die CosyTemplates in Promptus wie im Bild oben verwenden und die Wan 2.1-Workflows finden. Klicken Sie auf Lokal installieren und Promptus lädt automatisch alle Dateien herunter.

‍

Workflows herunterladen und einrichten

Greifen Sie auf der ComfyUI WanVideo-Seite auf den Abschnitt mit Beispiel-Workflows zu. Laden Sie das 480p-Image-to-Video-Beispiel herunter, indem Sie auf „Raw-Datei herunterladen“ klicken und es in ComfyUI ziehen.

Das System zeigt fehlende Knoten an. Verwenden Sie ComfyUI Manager, um fehlende benutzerdefinierte Knoten automatisch zu installieren. Dies beinhaltet in der Regel zwei zusätzliche Komponenten, die installiert werden müssen, bevor Sie fortfahren können.
‍

Erforderliche Modell-Downloads

Für die vollständige Funktionalität benötigen Sie mehrere Modelldateien:

UMT-5-Text-Encoder: Downloaden und in comfyUI/models/text_encoders platzieren
Öffnen Sie den CLIP Visual Encoder: Laden Sie ihn herunter und platzieren Sie ihn im Ordner comfyui/models/clip
VAE-Modell: Erstellen Sie einen Ordner „wan_video“ im VAE-Verzeichnis und platzieren Sie die Datei darin
Haupt-Wan-Videomodell: Erstellen Sie einen Ordner „wan_video“ in diffusion_models und platzieren Sie die 17-GB-Modelldatei darin

Beachten Sie, dass sich einige Dateinamen möglicherweise geringfügig geändert haben, sodass geringfügige Anpassungen in den Workflow-Einstellungen erforderlich sind.
‍

‍

Generieren Sie Ihr erstes Video

Sobald alle Komponenten installiert sind, laden Sie Ihr Eingabebild unten links im Workflow. Das System passt die Größe der Bilder automatisch an und verarbeitet sie mit 16 FPS über die Wan-Videopipeline.

Geben Sie Ihre Textaufforderung ein, die die gewünschte Aktion oder Transformation beschreibt. Zum Beispiel „Person dreht sich um“ für eine 360-Grad-Drehung oder „Mann macht ein dummes Gesicht“ für Gesichtsausdrücke.

Klicken Sie auf Warteschlange, um mit der Verarbeitung zu beginnen. Die Generierungszeit variiert je nach Ihren Systemspezifikationen erheblich und reicht von einigen Minuten bis zu viel länger auf langsamerer Hardware.

Das fertige Video erscheint direkt in der ComfyUI-Oberfläche als MP4-Datei, wobei die Decoderstufe die endgültige Ausgabe liefert.
‍

Überlegungen zu Leistung und Qualität

Das 480p-Modell liefert für die meisten Benutzer gute Ergebnisse, während das 720p-Modell eine überragende Qualität auf Kosten längerer Verarbeitungszeiten und höherer Systemanforderungen bietet. Die komprimierten Community-Modelle bieten ein hervorragendes Gleichgewicht zwischen Qualität und Leistung für Heimanwender.

Die Verarbeitungszeiten hängen stark von Ihrer GPU und Ihren Systemspezifikationen ab. Leistungsstärkere Hardware reduziert die Generierungszeit erheblich, während ältere Systeme möglicherweise Geduld erfordern, um optimale Ergebnisse zu erzielen.
‍

Tipps für bessere Ergebnisse

• Verwenden Sie klare, beschreibende Eingabeaufforderungen, die die gewünschte Aktion oder Bewegung angeben
• Beginnen Sie mit dem 480p-Modell, um Ihr Setup zu testen, bevor Sie zu höheren Auflösungen wechseln
• Stellen Sie sicher, dass Ihre Eingabebilder gut beleuchtet und klar sind, um eine bessere Videogenerierung zu erzielen
• Experimentieren Sie mit verschiedenen Eingabeaufforderungsstilen, um die gewünschten visuellen Effekte zu erzielen
  ‍

Die Zukunft der KI-Videogenerierung

Wan 2.1 stellt einen bedeutenden Fortschritt in der barrierefreien KI-Videogenerierung dar. Die Kombination aus kostenloser Verfügbarkeit, Community-Optimierung und benutzerfreundlichen Oberflächen wie ComfyUI macht die Videogenerierung in professioneller Qualität für jeden verfügbar.

Da sich die Technologie ständig weiterentwickelt, können wir eine noch bessere Leistung, Qualität und Benutzerfreundlichkeit erwarten. Die aktive Community-Entwicklung gewährleistet kontinuierliche Verbesserungen und Optimierungen für Heimanwender.

Diese Demokratisierung der KI-Videogenerierung eröffnet neue Möglichkeiten für Inhaltsersteller, Pädagogen und alle, die daran interessiert sind, die neuesten Anwendungen der künstlichen Intelligenz zu erkunden.

Steigern Sie die KI-Nutzung Ihres Teams — arbeiten Sie mit Promptus zusammen. Sei einfach ein KI-Arbeitsablauf Schöpfer.

‍