أفضل مولد صور AI: تحسين FLUX مع نونتشاكو

مرحباً، أنا جيمي. في هذه الحلقة، سأقدم مشروعًا مثيرًا وهو نموذج FLUX. كما نعلم، يتطلب FLUX ذاكرة وصول عشوائي كبيرة؛ فعند تشغيله لإنشاء صورة عبر النصوص وتعديل الصور، يحتاج إلى 1.5 إلى 2 دقيقة على بطاقة رسومات بسعة 8 جيجابايت، وهذا دون استخدام LORA أو fill أو redux أو غيرها من عناصر التحكم. كلما أضفنا عناصر تحكم، كلما زاد الوقت المطلوب. على الرغم من أن جودة الصور التي ينتجها FLUX أفضل من نماذج أخرى، إلا أن الوقت الطويل الذي يستغرقه في الإنتاج هو نقطة ضعفه. على الرغم من وجود حلول تسريع مثل teacha وsagettention، إلا أن الإنتاجية لا تزال تحتاج إلى تحسين.

اليوم، ظهر توجه تقني جديد يتمثل في محرك الاستدلال النموذجي نونتشاكو. أصدرت مؤخرًا الإصدار 0.2، والذي دفع FLUX إلى سرعة إنتاجية تصل إلى ثوانٍ قليلة، مع جودة صورة تتقارب من النموذج الأصلي.

معلومات عن comfyUI-nunchaku: نونتشاكو هو محرك استدلال نموذج 4 بت تم تطويره في مختبر هان بجامعة ماساتشوستس للتكنولوجيا، مصمم لتحسين نماذج AI مثل Stable Diffusion وFlux. تشمل الابتكارات التكنولوجية الرئيسية فيه تقنية SVDQuant. من خلال استخدام تحليل القيمة المنفردة ودمج النواة، تم تقليل وزن النموذج والقيم النشطة إلى 4 بت، مما يقلل من استهلاك الذاكرة بنسبة 3.6 مرة (بمعنى أن نموذج Flux.1-dev الذي يحتاج إلى 50 جيجابايت يمكن تشغيله على بطاقة بسعة 16 جيجابايت). هذه التقنية تحل مشكلة وضوح الصور في الاستدلال 4 بت، حيث بلغت قيمة مؤشر LPIPS 0.326 (قريبة جدًا من 0.573 للطراز الأصلي) مع عدم وجود اختلاف ملحوظ.

يدعم نونتشاكو البيئة متعددة الوسائط بشكل كامل. يدعم نماذج Flux وLoRA وControlNet والهياكل متعددة البطاقات (NVIDIA Ampere/Ada/A100). تم تحسين سرعة إنتاج الصور والنماذج المعدلة بنسبة 8.7 مرة. كما تم تحسين الأداء على مستوى الأجهزة، مما يسمح بالحسابات بدقة مختلطة FP16/FP8، حيث يمكن لبطاقة 16 جيجابايت إنتاج صورة في 3 ثوانٍ (بينما كان يتطلب النسخة الأصلية 111 ثانية).

انتظروا، لقد صدر الإصدار v0.2.0 في 5 أبريل! قدمت هذه النسخة دعمًا لعدة LoRA وControlNet، واستخدمت نظام FP16 لزيادة الأداء. كما تم دعم بطاقة الرسومات من سلسلة 20 لنموذج FLUX.1-redux.

بالنسبة للتثبيت:

1. قم بتنزيل النود وضعه في comfyi/custom_nodes.

2. قم بتثبيت العجلة عبر PIP. تأكد من استخدام إصدار PyTorch 2.5 أو أعلى، وإذا لم يكن لديك، يمكنك الترقية بعد التأكد من عمل نسخ احتياطية.

3. قم بتنزيل النموذج وضعه في comfyi/models/unet.

عند إعادة تشغيل comfyUI، قد تكون جودة الصورة غير مستقرة إذا استخدمت سير العمل مباشرة. لكن بعد تحميل النموذج، ستزداد سرعة الإنتاج بشكل كبير.

لقد قمت بتشغيل سير العمل المحسن في 23 ثانية لإنتاج الصورة. كانت سرعة الإنتاج أسرع أربع مرات من FLUX مع الحفاظ على الجودة.

نشارك معكم أفكارنا حول كيفية تحسين استخدام نونتشاكو.

لقد قدمنا سابقًا حلولًا للتكبير والإصلاح بواسطة FLUX.

نموذج سير العمل الذي قمنا ببنائه باستخدام نونتشاكو وفكرتنا تطبق على الصورة كما يلي:

نحن نبني سير العمل باستخدام نموذج SVDQ-int4-flux.1-dev.

ماذا إذا كانت قدرات الأجهزة المحلية غير كافية؟ يمكنك استخدام comfyUI عبر الإنترنت لتجربة أداءه.

أخيرًا، تتميز نونتشاكو بسرعات إنتاج عالية، مما يعالج مشكلة سرعة إنتاج FLUX. ونموذجه البيئي يتطور باستمرار. يُوصى بشدة باستخدامه كأداة إنتاجية.

يسعدنا أن نشارك معكم سير العمل المحسن الخاص بنا، ونشجعكم على تجربته.