Gerador de Imagens AI: FLUX e Nunchaku - O Melhor Gerador de Imagens AI

Mais informações sobre as últimas inovações em tecnologia AI, siga-nos: 【closerAI ComfyUI】. A ecologia FLUX entra na era da geração em segundos! O acelerador mais poderoso, Nunchaku, foi testado e mostrou qualidade de imagem em segundos e redução de consumo de VRAM em 3 vezes! Já se tornou uma ferramenta de produtividade. Olá, eu sou o Jimmy. Nesta edição, apresento um projeto explosivo, o modelo FLUX. Nós sabemos que ele consome muita VRAM, rodando apenas para gerar imagens leva cerca de 1.5 a 2 minutos com minha placa de vídeo de 8GB, e isso sem adicionar LORA, fill, redux e outros controles. Com o uso de controles, o tempo necessário se torna ainda maior. Embora a qualidade das imagens geradas seja superior a de outros modelos, o tempo de geração é sua principal desvantagem. Mesmo com soluções de aceleração, como teacha e sagettention, ainda há deficiências em termos de produtividade. Agora, uma nova direção tecnológica surgiu: o motor de inferência de modelo de difusão de 4 bits Nunchaku. Recentemente, a versão 0.2 foi lançada e já trouxe o FLUX para velocidades de saída em segundos, com qualidade de imagem quase idêntica ao modelo original.

A apresentação do comfyUI-nunchaku: o Nunchaku foi desenvolvido pelo MIT Han Lab como um motor de inferência de modelo de difusão de 4 bits, projetado para otimizar modelos generativos de AI, como Stable Diffusion e Flux. Seus principais avanços tecnológicos incluem: a tecnologia de quantização SVDQuant, que, através da decomposição de valores singulares e fusão de núcleos, comprime os pesos do modelo e os valores de ativação para 4 bits, reduzindo o consumo de VRAM em 3.6 vezes (por exemplo, um modelo Flux.1-dev que requer 50GB de VRAM pode rodar em 16GB). Isso resolve o problema tradicional de desfoque de imagens em quantização de 4 bits, com um índice de qualidade LPIPS de apenas 0.326 (próximo do original que é 0.573), sem diferença aparente para os olhos. Ele é compatível com um ecossistema multimodal, suportando perfeitamente os modelos Flux, LoRA, ControlNet e arquiteturas multi-GPU (NVIDIA Ampere/Ada/A100). A geração de imagens a partir de texto, reinterpretação do ControlNet, reparos, etc., teve um aumento de velocidade de 8.7 vezes. Otimização a nível de hardware: otimizado para a arquitetura NVIDIA CUDA, suporta cálculos de precisão mista FP16/FP8, permitindo uma geração de 3 segundos com placa de 16GB (o modelo original requer 111 segundos) comfyui nodes: https://github.com/mit-han-lab/ComfyUI-nunchaku. Endereço dos componentes: https://huggingface.co/mit-han-lab/nunchaku/tree/main

Lançamento da versão 0.2.0 em 5 de abril! Esta versão introduziu suporte a múltiplos LoRA e ControlNet, utilizando o FP 16 attention e Cache do Primeiro Bloco para melhorar o desempenho. Também adicionou compatibilidade com GPU da série 20 para FLUX.1-redux. Para instalação: 1. Baixe os nós e coloque na pasta comfyUI/custom_nodes. 2. Instale os componentes do link acima, utilizando PIP. Lembre-se de que a versão do PyTorch deve ser maior que 2.5; se não for, atualize, mas faça um backup dos pacotes Python para evitar imprevistos. Baixe a versão que é compatível com a sua.

3. Baixe o modelo. O modelo deve ser colocado na pasta comfyUI/models/unet

Reinicie o comfyUI para experimentar e otimizar. O pacote de nós já inclui fluxos de trabalho, mas se você usar o fluxo de trabalho padrão para gerar imagens, a qualidade pode ser instável, e você sentirá que ainda há uma leve diferença. O tempo necessário para carregar o modelo é aceitável, e após o carregamento, a geração de imagens se torna rápida quando você ajusta os parâmetros.

Eu usei o fluxo de trabalho otimizado e consegui gerar imagens em 23 segundos. O fluxo de trabalho não tem muito para comentar, mas é 4 vezes mais rápido que o FLUX com qualidade muito semelhante. Contudo, devido à aceleração e ao modelo quantizado em 4 bits, houve alguma perda, embora não seja significativa. Aqui, gostaria de compartilhar algumas ideias e insights sobre nossas otimizações para referência. Anteriormente, apresentamos um plano de ampliação e reparo do FLUX: 【closerAI ComfyUI】 incrível! Novas ideias para ampliação e reparo! Uma ferramenta que une eficiência e qualidade! Um plano de ampliação em alta definição essencial para gerar imagens com o FLUX, vale a pena aprender! O ponto principal: utilizar a ideia de reparo em alta definição do scheduler kl_optimal em combinação com o Nunchaku. Nós da closerAI construímos um fluxo de trabalho de super aceleração FLUX Nunchaku, conforme ilustrado na imagem abaixo:

As imagens acima foram geradas sem ampliação ou combinação LORA, apenas baseadas no tamanho da imagem original e referência ao seu estilo. Nossa lógica de fluxo de trabalho é a seguinte: 1. Um fluxo de trabalho básico de geração de imagens Nunchaku FLUX como a primeira amostragem. Aqui usamos o modelo SVDQ-int4-flux.1-dev, com outras configurações conforme mostrado na imagem abaixo:

2. Integração com o kl_optimal para uma segunda amostragem de geração de imagens.

O que fazer se o poder de cálculo local não for suficiente? Se você não tem um bom poder de cálculo no seu dispositivo local, recomendo usar o comfyUI online para experimentar: runninghub.cn

O endereço para experimentar o fluxo de trabalho Nunchaku FLUX é: https://www.runninghub.cn/ai-detail/1910201953526448130. Registro: https://www.runninghub.cn/?utm_source=kol01-RH151. Usando este link ao se registrar, você ganha 1000 pontos na primeira vez e recebe 100 pontos diários ao fazer login.

Em resumo: as vantagens do Nunchaku FLUX incluem geração de imagens ultra-rápida, resolvendo o ponto fraco da lentidão na geração de imagens do FLUX. Além disso, seu ecossistema está se tornando cada vez mais completo, suportando fill, redux, controlnet e múltiplos LoRA do FLUX. Em certa medida, pode substituir o FLUX para a geração de imagens. Recomendo fortemente seu uso. Para fins produtivos, a geração de imagens de fundo é completamente suficiente. Este foi o fluxo de trabalho super acelerado FLUX Nunchaku, desenvolvido pela equipe closerAI, que todos podem usar para tentar construir seus próprios fluxos de trabalho. Claro, você também pode obter fluxos de trabalho correspondentes em nosso site de membros closerAI (veja o texto original). Se você gostou deste artigo, não esqueça de curtir, comentar e compartilhar! Se quiser receber as atualizações rapidamente, me dê uma estrela ⭐. Obrigado por ler meu artigo e até a próxima.