Meilleur Générateur d'Images AI : Accélérez votre Flux avec Nunchaku

Pour plus d'informations sur les dernières technologies AI, suivez-nous : 【closerAI ComfyUI】. L'écosystème FLUX entre dans l'ère de la génération d'images en une seconde ! Le test du puissant accélérateur Nunchaku : génération d'images en une seconde + réduction de la mémoire vidéo par trois ! Cela devient un outil de productivité. Bonjour à tous, je suis Jimmy. Dans cet épisode, je vais vous présenter un projet incroyable, le modèle FLUX. Nous savons tous qu'il nécessite beaucoup de mémoire vidéo. Pour faire fonctionner le texte en images et les images en images avec quelques optimisations, avec ma carte graphique de 8 Go, cela prend environ 1,5 à 2 minutes, même sans LORA, fill, redux, et d'autres contrôles. Voici un aperçu des contrôles supplémentaires, le temps nécessaire sera encore plus long. Bien que la qualité des images générées soit meilleure que celle d'autres modèles, le temps de génération est son point faible. Bien qu'il existe des solutions d'accélération comme teacha, sagettention, etc., il y a encore des lacunes en tant qu'outil de productivité. Un nouveau progrès technologique est maintenant disponible : le moteur d'inférence de modèle de diffusion à 4 bits, Nunchaku. La version 0.2 a été récemment lancée et a déjà porté FLUX à une vitesse de génération d'images de niveau seconde, avec une qualité d'image très similaire au modèle originel.

ComfyUI-Nunchaku est un moteur d'inférence de modèle de diffusion à 4 bits développé par le MIT Han Lab, conçu spécifiquement pour optimiser des modèles génératifs AI tels que Stable Diffusion et Flux. Ses percées technologiques incluent : la technologie de quantification SVDQuant. Grâce à la décomposition en valeurs singulières et à la fusion de noyaux, les poids du modèle et les valeurs d'activation sont compressés à 4 bits, réduisant l'occupation de la mémoire vidéo par 3,6 fois (par exemple, un modèle Flux.1-dev qui nécessitait auparavant 50 Go de mémoire vidéo peut maintenant fonctionner sur une carte de 16 Go). Résolvant le problème de flou des images quantifiées à 4 bits, l'indicateur de qualité LPIPS est seulement de 0,326 (proche de l'original à 0,573), ce qui est indistinguable à l'œil nu. Compatibilité avec un écosystème multimodal. Prend en charge parfaitement les modèles Flux, LoRA, ControlNet et les architectures multi-GPU (NVIDIA Ampere/Ada/A100). Pour générer des images à partir de texte, redessiner avec ControlNet, réparer, etc., la vitesse a été multipliée par 8,7. Optimisation au niveau matériel. Optimisé pour l'architecture NVIDIA CUDA, prend en charge le calcul en précision mixte FP16/FP8, permettant de générer une image en 3 secondes sur une carte de 16 Go (contre 111 secondes pour l'original).

ComfyUI Node : ComfyUI-nunchaku
Adresse de la roue : nunchaku

Version 0.2.0 publiée le 5 avril ! Cette version introduit la prise en charge de plusieurs LoRA et ControlNet, et améliore les performances avec l'attention FP 16 et le cache First-Block. La compatibilité avec les GPU de la série 20 a également été ajoutée pour FLUX.1-redux. Instructions d'installation : 1. Téléchargez le nœud et placez-le dans comfyUI/custom_nodes. 2. Installez la roue à partir du lien ci-dessus. Une installation PIP directe est possible. Assurez-vous d'avoir la version de PyTorch 2.5 ou supérieure, si ce n'est pas le cas, effectuez une mise à jour, mais n'oubliez pas de sauvegarder vos paquets python au préalable. Assurez-vous que le téléchargement de la roue est conforme à votre version.

3. Téléchargez le modèle. Placez le modèle dans comfyUI/models/unet.

Redémarrez ComfyUI pour une expérience et une optimisation. L’ensemble de son paquet de nœuds comprend un flux de travail, mais si vous utilisez directement son flux de travail pour générer des images, la qualité des images générées peut être instable, et vous aurez l’impression qu’elle est légèrement inférieure. De plus, le chargement des modèles nécessite un certain temps, mais reste dans des limites acceptables. Une fois le modèle chargé, et après avoir tiré une carte ou modifié des paramètres, la génération d'images devient très rapide.

J'ai utilisé un flux de travail optimisé pour générer des images en 23 secondes. Son flux de travail ne nécessite pas beaucoup de commentaires, il est 4 fois plus rapide que FLUX, avec une qualité comparable. Cependant, en raison de l'accélération et de la quantification à 4 bits du modèle, il y a des pertes, même si elles sont minimes. Ici, je vais principalement parler de quelques idées d'optimisation que nous avons utilisées. Elles sont à titre de référence. Nous avons précédemment introduit un plan d'agrandissement et de réparation pour FLUX : 【closerAI ComfyUI】. Puissant ! Nouvelle approche pour l'agrandissement et la réparation ! Un outil qui allie efficacité et qualité ! Un plan d'agrandissement haute définition indispensable pour les images générées par FLUX, à apprendre sérieusement. L'élément clé est d'utiliser l'approche de réparation haute définition du planificateur kl_optimal associée à Nunchaku.

Nous, chez closerAI, avons construit un flux de travail super accéléré pour FLUX nunchaku, comme illustré ci-dessous :






Les images ci-dessus sont des images générées de base sans amplifications ni combinaisons avec LORA, basées uniquement sur la taille originelle et en tenant compte de leur style. Notre logique de flux de travail est la suivante :

1. Utilisez le flux de travail de génération d'images texte nunchaku FLUX de base pour la première image générée. Ici, j'utilise le modèle SVDQ-int4-flux.1-dev, d'autres paramètres de référence sont illustrés ci-dessous :
   
   
2. Intégrer kl_optimal pour une seconde génération d'image.
   
   
   
   Que faire si la puissance de calcul locale est insuffisante ? Si vous n'avez pas de bonnes capacités de calcul sur votre équipement local, je recommande d'utiliser ComfyUI en ligne pour une expérience pratique : runninghub.cn
   Le lien pour l'expérience du flux de travail Nunchaku FLUX est : runninghub.cn/ai-detail/1910201953526448130
   Lien d'inscription : runninghub.cn
   Avec ce lien, la première inscription vous donne 1000 points, et en vous connectant chaque jour, vous obtenez 100 points.

Dernières réflexions : Les avantages de Nunchaku FLUX incluent une génération d'images ultra-rapide, résolvant ainsi la problématique de la lenteur de génération d'images de FLUX. De plus, son écosystème s'est progressivement amélioré, prenant en charge le fill, redux, controlnet, plusieurs LoRA, etc. Dans une certaine mesure, cela peut remplacer FLUX pour la génération d'images. Je recommande vivement de l'essayer. Pour la productivité, générer des images de base est largement suffisant.

Ceci est une introduction du flux de travail de génération d'images super accéléré FLUX nunchaku développé par l'équipe closerAI. Vous pouvez essayer de construire en fonction de cette logique de flux de travail. Bien sûr, vous pouvez également obtenir le flux de travail correspondant sur notre site membre closerAI (voir l'article original). Merci d'avoir lu mon article, si cela vous a plu, n'hésitez pas à liker, partager, ou commenter ! À la prochaine !