最強のAI画像生成器: nunchakuによるFLUXモデルの超高速出力

最先端のAIテクノロジーの情報をお見逃しなく：【closerAI ComfyUI】FLUXエコシステムは秒間出力の時代に突入しました！最強のアクセラレーターnunchakuの実測：秒単位での画像生成+メモリ使用量が3倍に減少！生産性ツールとしての地位を確立しました。こんにちは、Jimmyです。今回は爆発的なプロジェクト、FLUXモデルを紹介します。私たちが知っているように、FLUXはメモリを多く消費します。単に画像生成を行うだけでも、私の8GBのグラフィックカードでは基本的に1.5〜2分ほどかかりますし、LORA、fill、redux、その他の制御を加えた場合、さらに時間がかかります。以下に制御を加えると、必要な時間はさらに長くなります。生成された画像の品質は他のモデルよりも高いですが、生成時間が長いのが問題点です。加速のための手段もありますが、teachaやsagettentionなど、効率性に関しては依然として不十分です。現在、新しい技術方向である4ビット拡散モデル推論エンジンnunchakuが登場しました。最近リリースされた0.2バージョンでは、FLUXの出力速度を秒単位に推進し、生成された画像の品質は元のモデルにほぼ匹敵します。

comfyUI-nunchakuの紹介nunchakuはMIT Han Labによって開発された4ビット拡散モデル推論エンジンで、Stable DiffusionやFluxなどの生成AIモデルの最適化を目的に設計されています。そのコア技術の突破口には、SVDQuant量子化技術が含まれています。低ランク分解（SVD）とカーネル融合により、モデルの重みと活性化値を4ビットに圧縮し、メモリ消費は3.6倍減少します（例えば、16GBのメモリで50GBのFlux.1-devモデルを実行可能）。従来の4ビット量子化による画像のぼやけ問題を解決し、LPIPS品質指標はわずか0.326（オリジナルは0.573に近い）で、肉眼では差がありません。マルチモーダルエコシステムとの互換性も完璧で、Fluxモデル、LoRA、ControlNet及び複数のグラフィックスカードアーキテクチャ（NVIDIA Ampere/Ada/A100）を完全にサポートします。画像生成、ControlNetの再描画、修正などの速度は8.7倍向上しています。ハードウェアレベルの最適化が施されており、NVIDIA CUDAアーキテクチャに最適化されています。FP16/FP8混合精度計算をサポートし、16Gのグラフィックスカードで3秒で生成を実現（オリジナルは111秒必要）。

comfyuiノード：https://github.com/mit-han-lab/ComfyUI-nunchaku
ホイールアドレス：https://huggingface.co/mit-han-lab/nunchaku/tree/main
4月5日、v0.2.0がリリースされました！このバージョンは複数のLoRAおよびControlNetのサポートを導入し、FP16アテンションとファーストブロックキャッシュを使用して性能を向上させています。また、FLUX.1-reduxには20シリーズGPUの互換性も追加されました。導入方法は以下の通りです。

1. ノードをダウンロードし、comfyUI/custom_nodesに配置します。
2. ホイールをインストールします。上記のアドレスから直接PIPでインストールできます。PyTorch2.5以上のバージョンが必要ですので、バージョンが足りない場合はアップグレードしてください。ただし、念のためにPythonパッケージのバックアップを取っておくことを忘れないでください。ホイールのダウンロードは、ご自身のバージョンに一致するものを選んでください。
   
3. モデルをダウンロードします。モデルはcomfyUI/models/unetに配置してください。
   comfyUIの再起動体験と最適化プランそれには作業フローが含まれていますが、直接その作業フローを使用して生成した場合、生成された画像の品質は不安定になり、少し劣ると感じるでしょう。また、モデルのロードには一定の時間が必要で、許容範囲内で待つことができます。モデルがロードされた後に再サンプリングやパラメータを修正すれば、生成速度は飛躍的に向上します。
   

最適化されたワークフローを使って23秒で画像を生成しました。その作業フローについてはFLUXに比べて4倍早く、品質もほぼ同等です。ただし、加速のために4ビット量子化したモデルは、わずかな損失がありますが、大きな損失ではありません。ここでは、私たちがこのモデルを使用しているいくつかの最適化のアイデアと知見を紹介します。参考にしてください。以前の投稿ではFLUXの拡大修復ソリューションについて紹介しました：【closerAI ComfyUI】強力！拡大修復の新しいアイデア！効率と品質を兼ね備えた神器！FLUX生成を必要とする高画質の拡大ソリューションは覚えておく必要があります。重要なポイントは、スケジューラーkl_optimalを使用して高画質の修復メソッドとnunchakuを組み合わせることです。私たちcloserAIはこれを基にFLUX nunchakuスーパーアクセラレータの生成ワークフローを構築しました。以下の図を参照してください：






上記は拡大修復やLORAを使用していない生成画像で、元の画像サイズとそのスタイルを参考にして生成されました。ワークフローの流れは以下の通りです。

1. nunchaku FLUXの基本的な画像生成ワークフローを最初のサンプリング画像生成として使用します。ここではSVDQ-int4-flux.1-devモデルを使用し、他の設定は以下の図の通りです：
   
   
2. kl_optimalを接続して二次サンプリング画像を生成します。
   
   
   
   ローカルでの計算能力が不足している場合は、オンラインのcomfyUIを推奨します：runninghub.cn
   
   runninghub.cn nunchaku FLUXワークフロー体験アドレス：https://www.runninghub.cn/ai-detail/1910201953526448130
   登録アドレス：https://www.runninghub.cn/?utm_source=kol01-RH151
   このリンクを通じて初回登録時には1000ポイントがもらえます。毎日ログインすると100ポイントが付与されます。

最後に一言：nunchaku FLUXの利点は、超高速な画像生成で、FLUXの遅い出力の痛点を解消しました。同時に、そのエコシステムも徐々に拡充され、FLUXのfill、redux、controlnet、複数のLoRAに対応しています。一定程度までFLUXを代替して画像生成に使用できるようになります。ぜひ試してみることをお勧めします。生産性ツールとして、基本的な画像生成には十分です。以上がcloserAIチームによって制作されたstable diffusion comfyUI closerAIが開発したFLUX nunchakuスーパーアクセラレータの画像生成ワークフローについての紹介です。皆さんはこのワークフローに従って試してみることができます。もちろん、私たちcloserAI会員サイトからも対応するワークフローを入手できます。以上、ここまでお読みいただきありがとうございました。良いと感じたら、いいね、フォロー、シェアをお願いします！最新の情報を受け取るには、私に星マーク⭐をつけてください～ありがとうございます。次回お会いしましょう。