FLUX nunchaku: ¡El Mejor Generador de Imágenes de IA con Velocidad en Tiempo Real!

Más noticias sobre tecnología de IA, síguenos: 【closerAI ComfyUI】 ¡La ecología FLUX entra en la era de la salida instantánea! Prueba del acelerador más potente, nunchaku: ¡generación de imágenes en segundos + reducción del uso de memoria gráfica en 3 veces! Se ha convertido en una herramienta de productividad. Hola a todos, soy Jimmy. En esta ocasión, les presento un proyecto explosivo, el modelo FLUX. Todos sabemos que consume mucha memoria gráfica; al ejecutar sus funciones de generación de imágenes y algunas optimizaciones de aceleración, mi tarjeta gráfica de 8GB requiere aproximadamente entre 1.5 y 2 minutos, y eso sin añadir LORA, fill, redux y otros controles. A continuación, si se añaden controles, el tiempo requerido sería aún mayor. Aunque la calidad de las imágenes generadas es mejor que la de otros modelos, el tiempo de generación es su punto débil. Existen soluciones de aceleración como teacha y sagettention, pero en términos de productividad, aún hay algo de deficiencia en eficiencia. Ahora, ha surgido una nueva dirección tecnológica, el motor de inferencia del modelo de difusión de 4 bits nunchaku. La versión 0.2 recién lanzada ha llevado a FLUX a una velocidad de salida en segundos, y la calidad de las imágenes generadas no difiere mucho de la del modelo original.

Introducción a ComfyUI-nunchaku

Nunchaku es un motor de inferencia del modelo de difusión de 4 bits desarrollado por el Laboratorio Han del MIT, diseñado específicamente para optimizar modelos de IA generativa como Stable Diffusion y Flux. Los avances tecnológicos clave incluyen:

• Tecnología de cuantificación SVDQuant. A través de la descomposición en valores singulares (SVD) y la fusión de núcleos, los pesos del modelo y los valores de activación se comprimen a 4 bits, reduciendo el uso de memoria en 3.6 veces (un modelo FLUX.1-dev que originalmente requería 50GB puede ejecutarse con 16GB de memoria). Soluciona el problema de difuminado en la cuantificación tradicional de 4 bits, con un índice de calidad LPIPS de solo 0.326 (cercano al original de 0.573), indistinguible a simple vista.

• Compatibilidad en el ecosistema multimodal. Soporta a la perfección los modelos Flux, LoRA, ControlNet y arquitecturas de múltiples tarjetas gráficas (NVIDIA Ampere/Ada/A100). Velocidad incrementada en un 8.7 veces para funciones como generación de imágenes, redibujo y reparaciones con ControlNet.

• Optimización a nivel de hardware. Optimizado para la arquitectura NVIDIA CUDA, soporta cálculos de precisión mixta FP16/FP8, logrando generar imágenes en 3 segundos (la versión original requería 111 segundos).

Nodos ComfyUI: https://github.com/mit-han-lab/ComfyUI-nunchaku
Dirección del wheel: https://huggingface.co/mit-han-lab/nunchaku/tree/main

El 5 de abril se lanzó v0.2.0. Esta versión introdujo soporte para múltiples LoRA y ControlNet, y mejoró el rendimiento utilizando atención FP16 y First-Block Cache. También se añadió compatibilidad con la serie 20 de GPU para FLUX.1-redux.

Instalación

1. Descargue el nodo y colóquelo en la carpeta comfyUI/custom_nodes.
2. Instale el wheel desde el enlace mencionado. Realice la instalación directamente con PIP. Recuerde que debe tener la versión de pytorch 2.5 o superior, si no la tiene, solo actualice, pero asegúrese de hacer una copia de seguridad de los paquetes de Python por si acaso. Descargue el wheel correspondiente a su versión.

3. Descargue el modelo. Coloque el modelo en comfyUI/models/unet.

Reinicie ComfyUI para experimentar con la optimización. Su paquete de nodos incluye flujos de trabajo, pero si utiliza directamente su flujo de trabajo para generación de imágenes, la calidad de las imágenes generadas puede ser inestable, y parecerá que todavía hay cierta deficiencia. Al cargar el modelo se requiere un tiempo, pero se encuentra dentro de un rango aceptable. Después de cargar el modelo y realizar alguna modificación de parámetro, la generación de imágenes sucede de manera muy rápida.

Utilicé un flujo de trabajo optimizado y obtuve imágenes en 23 segundos. Su flujo de trabajo es más rápido que FLUX en un 4 veces, con calidad comparable. Sin embargo, debido al acelerador y al modelo cuantificado a 4 bits, hay una ligera pérdida de calidad. Aquí hablaré sobre algunas ideas de optimización que utilizamos para su uso. Solo como referencia.

En publicaciones anteriores presentamos soluciones de ampliación y reparación para FLUX: 【closerAI ComfyUI】 ¡Poderoso! Nuevas ideas de ampliación y reparación, ¡una herramienta que combina eficiencia y calidad! ¡Indispensable para FLUX!

Enfoque para la Generación de Imágenes

La clave aquí es combinar el enfoque de reparación HD de kl_optimal con nunchaku. En closerAI hemos construido un flujo de trabajo de superaceleración FLUX nunchaku, como se muestra a continuación:

Lo anterior son imágenes generadas sin algunas ampliaciones y sin LORA, simplemente basadas en el tamaño original y estilo de referencia. Nuestro flujo de trabajo es el siguiente:

1. Flujo de trabajo básico de generación de imágenes de nunchaku FLUX como primer muestreo. Aquí usamos su modelo SVDQ-int4-flux.1-dev, con otras configuraciones de referencia a continuación:

2. Integre kl_optimal para el segundo muestreo de imágenes.

¿Qué hacer si no tienes suficiente capacidad de cómputo local?

Si no cuentas con un dispositivo local con suficiente capacidad de cómputo, te recomendamos utilizar ComfyUI en línea para experimentar: runninghub.cn

¡Dirección para experimentar el flujo de trabajo nunchaku FLUX: https://www.runninghub.cn/ai-detail/1910201953526448130
Registro: https://www.runninghub.cn/?utm_source=kol01-RH151 a través de este enlace, ¡obtén 1000 puntos al registrarte la primera vez y 100 puntos por inicio de sesión diario!

En resumen, las ventajas de nunchaku FLUX son su ultra alta velocidad de generación de imágenes, solucionando el problema de la lentitud de FLUX. Además, su ecosistema está mejorando gradualmente, soportando las funciones fill, redux, controlnet y múltiples LORA. En cierta medida, puede sustituir a FLUX para la generación de imágenes. Te recomendamos su uso. Como herramienta de productividad, es más que suficiente para la generación de imágenes base.

Esta ha sido la presentación del flujo de trabajo superacelerado de generación de imágenes FLUX nunchaku desarrollado por el equipo de closerAI. Les invitamos a probar construir su propio flujo de trabajo. También pueden encontrar el flujo de trabajo correspondiente en nuestro sitio de miembros de closerAI (ver el texto original).

¡Gracias por leer mi artículo! Si te ha gustado, no olvides dar un like, compartir y comentar. ¡Hasta la próxima!