Der Beste AI Bildgenerator: FLUX nunchaku für ultraschnelle Bildgenerierung

Willkommen zu den neuesten Nachrichten über fortschrittliche AI-Technologien! 【closerAI ComfyUI】 Das FLUX-Ökosystem hat das Zeitalter der Sekundenausgabe erreicht! Der stärkste Beschleuniger nunchaku im Test: Sekundenschnelle Bildausgabe + dramatischer Rückgang des Speicherbedarfs! Hallo zusammen, ich bin Jimmy. In dieser Episode stelle ich ein bahnbrechendes Projekt vor: das FLUX-Modell. Wir alle wissen, dass es sehr speicherintensiv ist. Nur um es zu betreiben, benötigt meine 8 GB Grafikkarte etwa 1,5 bis 2 Minuten, und das ist ohne zusätzliche Optimierungen wie LORA, fill, redux und anderer Kontrollen. Bei Hinzufügung dieser Kontrollen steigt die benötigte Zeit sogar noch mehr. Obwohl die Bildqualität des FLUX-Modells besser ist als die anderer Modelle, bleibt die lange Generierungszeit ein Schmerzpunkt. Es gibt bereits Beschleunigungslösungen wie teacha und sagettention, jedoch gibt es noch Raum für Verbesserung in der Effizienz, um als Produktivitätswerkzeug zu fungieren. Nun ist eine neue technische Richtung aufgetaucht: die 4-Bit Diffusionsmodell-Inferenzengine nunchaku. Die kürzlich veröffentlichte Version 0.2 hat das FLUX-Modell auf Geschwindigkeiten von Sekundenausgaben gebracht, wobei die Bildqualität kaum von der des Originalmodells abweicht.

comfyUI-nunchaku
Nunchaku ist eine 4-Bit Diffusionsmodell-Inferenzengine, entwickelt vom MIT Han Lab, die speziell zur Optimierung generativer AI-Modelle wie Stable Diffusion und Flux konzipiert wurde. Zu den technologischen Durchbrüchen gehören: die SVDQuant Quantisierungstechnik. Durch die Anwendung von Singulärwertzerlegung (SVD) und Kernel Fusion wird das Modellgewicht und der Aktivierungswert auf 4 Bit komprimiert, was zu einer Reduzierung des Speichers um das 3,6-fache führt (so kann ein 16 GB-RAM Rechner das ursprünglich 50 GB benötigende Flux.1-dev Modell ausführen). Dieses Verfahren löst das Problem der Bildunschärfe bei traditioneller 4-Bit Quantisierung; die LPIPS-Qualitätsbewertung liegt nur bei 0,326 (nahe am Originalwert von 0,573), was für das menschliche Auge kaum zu unterscheiden ist.

Multimodale Ökosystemkompatibilität
Nunchaku unterstützt perfekt das Flux-Modell, LoRA, ControlNet und Multi-GPU-Architekturen (NVIDIA Ampere/Ada/A100). Anwendungen wie Bildgenerierung, ControlNet-Neuzeichnung und Bildreparatur sind um 8,7-mal schneller.

Hardware-Optimierung auf der Ebene
Optimiert für die NVIDIA CUDA-Architektur, unterstützt es FP16/FP8 gemischte Präzisionsberechnungen, sodass eine 16GB-Grafikkarte in der Lage ist, Bilder in 3 Sekunden zu generieren (das Original benötigt 111 Sekunden).

ComfyUI Knoten: https://github.com/mit-han-lab/ComfyUI-nunchaku
Räderadresse: https://huggingface.co/mit-han-lab/nunchaku/tree/main

Am 5. April wurde Version 0.2.0 veröffentlicht! Diese Version führt die Unterstützung für mehrere LoRA und ControlNet ein und verbessert die Leistung dank FP16 Aufmerksamkeit und First-Block Cache. Außerdem wurde die Kompatibilität für FLUX.1-redux um die 20er Serie GPU erweitert.

Installationsanleitung

1. Laden Sie die Knoten herunter und platzieren Sie sie im Verzeichnis comfyUI/custom_nodes.

2. Installieren Sie die Räder von der oben angegebenen Adresse. Verwenden Sie einfach PIP zur Installation. Stellen Sie sicher, dass Sie eine PyTorch-Version über 2.5 haben. Wenn nicht, aktualisieren Sie sie, aber denken Sie daran, Ihre Python-Pakete im Voraus zu sichern, um auf der sicheren Seite zu sein. Die Räder sollten der von Ihnen verwendeten Version entsprechen.
   

3. Laden Sie das Modell herunter und platzieren Sie es im Verzeichnis comfyUI/models/unet.
   

Neustart von ComfyUI
Es gibt einen Workflow im Knotenpaket, aber wenn Sie direkt diesen Workflow zur Generierung von Bildern verwenden, kann die Bildqualität instabil sein, und Sie werden feststellen, dass sie relativ schlecht ist. Außerdem benötigt das Laden des Modells eine gewisse Zeit, die aber im akzeptablen Rahmen liegt. Sobald das Modell geladen ist, wird das Generieren von Bildern nach dem Zugreifen oder Ändern der Parameter schnell.

Ich habe mit dem optimierten Workflow in 23 Sekunden ein Bild generiert. Der Workflow hat keine großen Mängel und ist 4-mal schneller als FLUX bei ähnlicher Qualität. Auch wenn es sich um ein beschleunigtes, 4-Bit quantisiertes Modell handelt, gibt es dennoch einen gewissen Qualitätsverlust.

Hier möchte ich einige Optimierungsansätze teilen. Diese sollen als Referenz dienen. In früheren Posts haben wir die Upscaling- und Reparaturansätze für FLUX vorgestellt: 【closerAI ComfyUI】 Mächtig! Neue Ideen für Upscaling und Reparatur! Ein Werkzeug, das Effizienz und Qualität vereint! Ein unverzichtbares hochauflösendes Upgrading für FLUX-Bilder.

Wichtige Idee: Nutzung des kl_optimal-Ansatzes zur hocheffizienten Reparatur in Kombination mit nunchaku. Wir bei closerAI haben basierend darauf einen Superbeschleunigungs-Workflow zur Bildgenerierung mit FLUX nunchaku entwickelt, wie im folgenden Bild.

Oben sind Bilder dargestellt, die nur auf Basis der Originalgröße und unter Berücksichtigung des Stils erzeugt wurden. Unsere Workflow-Idee ist wie folgt:

1. Nunchaku FLUX als Basis-Workflow für die erste Sampling-Bilderzeugung. Hier verwenden wir das SVDQ-int4-flux.1-dev Modell mit den folgenden Einstellungen:
   
   

2. Anschließen des kl_optimal für die zweite Sampling-Bilderzeugung.
   
   

Was tun, wenn die lokale Rechenleistung nicht ausreicht?
Falls Ihre lokale Ausrüstung unzureichende Rechenleistung hat, empfehle ich, ComfyUI online zu nutzen, um die Erfahrung zu machen: runninghub.cn

Die Adresse für die nunchaku FLUX Workflow-Erfahrung ist: https://www.runninghub.cn/ai-detail/1910201953526448130
Registrierung: https://www.runninghub.cn/?utm_source=kol01-RH151 Durch diesen Link erhaltet ihr beim ersten Mal 1000 Punkte und täglich 100 Punkte für das Einloggen.

Abschließend gesagt: Die Vorteile von nunchaku FLUX sind die ultra-hohe Bildgenerierungsgeschwindigkeit, die das ursprüngliche Geschwindigkeitsproblem von FLUX löst. Gleichzeitig entwickelt sich sein Ökosystem weiter und unterstützt FLUX mit Funktionen wie fill, redux, controlnet, mehrere LoRA usw. Es kann bis zu einem gewissen Grad FLUX in der Bilderzeugung ersetzen. Ich empfehle die Verwendung. Für produktive Anwendungen ist die Bildgrundlage vollkommen ausreichend.

Dies ist eine Einführung in den Superbeschleunigungs-Workflow von FLUX nunchaku, entwickelt vom closerAI-Team. Ihr könnt den Workflow anhand dieser Ideen ausprobieren. Natürlich könnt ihr auch die entsprechenden Workflows auf unserer closerAI- Mitgliedswebsite abrufen (siehe den Originaltext).

Vielen Dank, dass ihr meinen Artikel gelesen habt!