Jika Anda bekerja di bidang VFX dan ingin membawa alur kerja gambar generatif Anda ke tingkat berikutnya, ComfyUI adalah suatu keharusan. Pendekatan berbasis node, modularitas, dan kekuatan yang ditambahkan FLUX Hal ini menjadikannya lingkungan yang ideal untuk mengeksplorasi segala hal mulai dari text2img fidelitas tinggi hingga alur kerja kompleks dengan pelatihan ControlNet, IP-Adapter, atau LoRA. ComfyUI untuk VFX: Instalasi dan alur kerja FLUX dijelaskan.
Dalam panduan ini Anda akan menemukan, dengan cara yang terorganisir, semua yang Anda butuhkan: apa itu alur kerja di ComfyUI, cara menyimpan dan membagikannya, cara menginstal FLUX langkah demi langkah, perangkat keras apa yang Anda butuhkan, dan penjelasan yang jelas tentang alur yang paling sering digunakan (Txt2Img, Img2Img, Inpainting, LoRA, ControlNet, NF4, IPAdapter dan penskalaan laten). Anda juga akan melihat alternatif seperti FP8, NF4, atau GGUF untuk mengurangi VRAMSumber daya untuk menggunakan Flux di cloud, dan instalasi ComfyUI yang dioptimalkan untuk Windows dengan kiat-kiat praktis.
Apa alur kerja di ComfyUI?
Alur kerja adalah representasi visual dari proses pembuatan yang Anda buat dengan menggabungkan node. Anda dapat membayangkannya sebagai papan potongan tipe LegoSetiap node menjalankan suatu fungsi (memuat model, mengodekan teks, mengambil sampel, mendekode, dsb.) dan koneksinya menggambarkan jalur yang diikuti informasi hingga gambar akhir diperoleh.
Ekosistemnya sangat besar: gambar diam, video, audio, dan bahkan 3D Mereka dapat hidup berdampingan berkat komunitas sumber terbuka. Kelemahannya adalah adanya kurva pembelajaran, karena penting untuk memahami fungsi setiap komponen dan cara menggabungkannya secara efektif untuk menghindari kemacetan atau hasil yang tidak konsisten.
Untuk memulai dengan cepat, sebaiknya melihat alur resmi dan dasar (text2img dan img2img) lalu beralih ke node yang lebih kompleks. Dokumentasi komunitas dan contoh resmi ComfyUI Mereka sering diperbarui, jadi mudah untuk melanjutkan atau meninjau alur kerja yang berubah dengan versi baru.
Satu detail penting: ComfyUI dapat menanamkan alur kerja dalam gambar akhir (PNG) itu sendiri sebagai metadata. Ini memungkinkan Anda untuk hanya membagikan gambar dan mengambil keseluruhan grafik. menyeretnya kembali ke antarmuka.
Cara belajar dan berkembang dengan alur kerja
Saran saya adalah memulai dengan contoh sederhana yang dipublikasikan di sumber daya tipe wiki dan galeri komunitas. Perkembangan yang logis adalah: Txt2Img, Img2Img, lalu ControlNet atau LoRASaat Anda memahami masukan, keluaran, dan bagaimana perencana memengaruhi pengambilan sampel, akan menjadi hal yang alami untuk menggabungkan simpul panduan, masker, dan kondisi tambahan.
Jika Anda ingin melihat berbagai topologi, ada repositori aliran publik dan halaman dengan contoh yang dapat direproduksi tempat Anda dapat mengunduh gambar dengan metadata atau file .json. Merupakan praktik yang baik untuk mengimpor, menjalankan apa adanya, dan kemudian mengulangi parameter untuk memahami dampak setiap blok tanpa merusak keseluruhannya.
Pada platform cloud, Anda juga akan menemukan lingkungan yang telah dikonfigurasikan sebelumnya untuk menjalankan jaringan tanpa bergelut dengan dependensi lokal. Keuntungannya adalah mereka memuat node dan model yang berat terlebih dahuluNamun, disarankan untuk memeriksa versi dan VRAM yang tersedia untuk memastikan hasilnya memenuhi harapan.
Menyimpan, mengimpor, dan mengekspor alur kerja di ComfyUI
ComfyUI mendukung dua metode penyimpanan utama: gambar dengan metadata (PNG) atau file JSON Grafik. Yang pertama paling mudah dibagikan di forum; yang kedua memberi Anda kendali eksplisit atas berkas, yang berguna untuk pembuatan versi.
Untuk mengimpor, cukup seret file PNG atau Json ke antarmuka, atau gunakan pintasan Ctrl (Perintah) + O. Untuk mengekspor, Anda dapat menyimpan gambar yang dihasilkan atau menggunakan menu Ekspor untuk JSON.Berhati-hatilah jika Anda mengompres atau mentransfer gambar: beberapa metode kompresi dan saluran tertentu menghapus metadata, yang akan menyebabkan Anda kehilangan alur kerja yang tertanam.
Karena evolusi ComfyUI yang konstan, Tidak semua file JSON lama berfungsi di versi baru.Jika terjadi kesalahan, buka alirannya, ganti node yang usang, atau instal ulang dependensi dengan versi yang kompatibel; menggunakan ComfyUI-Manager membuatnya jauh lebih cepat untuk mendeteksi dan menyelesaikan komponen yang hilang.
FLUX di ComfyUI: apa itu dan mengapa itu penting
FLUX.1 adalah keluarga model dari Black Forest Labs yang difokuskan pada konversi teks ke gambar dengan ketelitian tinggi. Arsitektur hibridanya dengan sekitar 12 miliar parameter Ia dioptimalkan untuk kepatuhan cepat, penanganan pemandangan kompleks, dan pembuatan teks terbaca dalam gambar, suatu tugas yang sering kali gagal dilakukan oleh model lain.
Keuntungan lainnya: keserbagunaannya. Dari fotorealisme hingga gaya artistikFLUX.1 menonjol karena konsistensi dan detail visualnya, termasuk rendering tangan, titik lemah klasik dalam grafis generatif. Tidak mengherankan jika dibandingkan dengan solusi seperti Stable Diffusion atau Midjourney, FLUX.1 unggul dalam hal kemudahan penggunaan dan kualitas.
Black Forest Labs didirikan oleh Robin Rombach, tokoh kunci yang bekerja di inti Stability AI. Jika Anda ingin melihat langsung, situs web resminya ada di blackforestlabs.ai.
FLUX.1 didistribusikan dalam tiga varian: Pro, Dev dan SchnellPro menawarkan kualitas tertinggi untuk lingkungan profesional; Dev dirancang untuk penggunaan nonkomersial dengan keseimbangan yang sangat baik; Schnell berfokus pada kecepatan dan keringanan, dan merupakan sumber terbuka di bawah lisensi Apache 2.0.
Persyaratan perangkat keras menurut versi FLUX
Untuk FLUX.1 Pro, disarankan GPU tipe NVIDIA RTX 4090 dengan VRAM 24 GBRAM 32 GB dan SSD cepat. Menggunakan FP16 untuk menghindari out-of-boxing, dan sebaiknya gunakan encoder teks di FP16 untuk kualitas maksimal.
Dalam FLUX.1 Dev, sebuah RTX 3080/3090 dengan VRAM 16 GB Performanya optimal dengan RAM 16 GB dan ruang penyimpanan sekitar 25 GB. Mendukung FP16 dan bahkan FP8 dalam beberapa kasus, tergantung GPU Anda.
Untuk FLUX.1 Schnell, RTX 3060/4060 dengan VRAM 12 GB RAM 8GB dan penyimpanan 15GB sudah memadai. Dirancang untuk kecepatan, ponsel ini mengorbankan sebagian ruang performa dibandingkan versi Pro/Dev.
Jika Anda kekurangan memori, komunitas menawarkan alternatif seperti FP8, NF4, atau GGUF yang Mereka sangat mengurangi VRAM yang diperlukan, dengan konfigurasi mulai dari 6 hingga 12 GB tergantung pada alirannya.
Menginstal FLUX di ComfyUI: langkah-langkah penting
Pertama-tama, pastikan Anda menggunakan versi terbaru ComfyUIIntegrasi FLUX memerlukan node dan fitur yang sering diperbarui.
Unduh teks dan enkoder CLIP: clip_l.safetensors dan salah satu file T5 XXL, baik t5xxl_fp16.safetensors (jika VRAM/RAM Anda cukup) atau t5xxl_fp8_e4m3fn.safetensors (jika anggaran Anda terbatas). Letakkan di folder ComfyUI/models/clip/. Jika Anda menggunakan SD3 Medium, Anda mungkin sudah memiliki file-file ini..
VAE: unduh ae.safetensor dan pindahkan ke ComfyUI/models/vae/. Ganti namanya menjadi flux_ae.safetensors jika Anda ingin menemukannya dengan lebih mudah. VAE ini meningkatkan decoding akhir dan itu kunci kualitas.
UNET: pilih antara flux1-dev.safetensors atau flux1-schnell.safetensors sesuai dengan ingatan Anda, dan letakkan di ComfyUI/models/unet/. Dengan ini, Anda memiliki dasar untuk menjalankan aliran FLUX. lokal.
Panduan praktis untuk alur kerja FLUX di ComfyUI
Txt2Img dengan FLUX
Mulailah dengan memuat komponen: UNETLoader, DualCLIPLoader dan VAELoaderNode CLIPTextEncode mengodekan perintah Anda; EmptyLatentImage membuat gambar laten awal; BasicGuider memandu proses dengan menggabungkan logika kondisional dengan UNET FLUX.
Pilih sampler dengan KSamplerSelectAlat ini menghasilkan noise dengan RandomNoise dan menentukan ramp sigma dengan BasicScheduler. SamplerCustomAdvanced menyatukan semuanya: noise, panduan, sampler, sigma, dan laten. Terakhir, VAEDecode mengubah sinyal laten menjadi gambar. dan dengan SaveImage Anda menyimpan hasilnya.
Img2Img dengan FLUX
Alur kerja menambahkan gambar awal: MuatGambar + SkalaGambar Ukurannya disesuaikan, dan VAEEncode mengaturnya ke laten. Prompt dikodekan dengan CLIPTextEncode dan kekuatannya disesuaikan dengan FluxGuidance. ModelSamplingFlux mengontrol respacing dan dimensiKSamplerSelect, RandomNoise, dan BasicScheduler menangani pengambilan sampel. SamplerCustomAdvanced menggabungkan kondisional dengan laten input, dan VAEDecode menghasilkan output.
LoRA dengan FLUX
Untuk menyempurnakan gaya atau fitur, tambahkan LoraLoaderModelOnly bersama dengan UNETLoader, DualCLIPLoader, dan VAELoader. Setelah mengodekan teks dan menerapkan FluxGuidance, Anda membuat citra laten dengan EmptyLatentImage, menentukan pengambilan sampel dengan ModelSamplingFlux, dan menjalankan SamplerCustomAdvanced. Dengan VAEDecode Anda mendapatkan gambar yang sudah dipengaruhi oleh LoRAContoh umum: realism_lora.safetensors pada flux1-dev.
ControlNet dengan FLUX
Dua kasus yang sangat berguna untuk VFX: kedalaman dan tepi yang cerdik. Untuk kedalaman, praproses dengan Praprosesor Peta Kedalaman MiDaSMuat ControlNet kedalaman dan terapkan dengan ApplyFluxControlNet. Gunakan XlabsSampler untuk menghasilkan bentuk gelombang laten bersyarat, lalu VAEDecode menghasilkan gambar.
Untuk Canny, gunakan Praprosesor CannyEdge, muat Canny ControlNet dan ulangi skema: ApplyFluxControlNet → XlabsSampler → VAEDecode. Kontrol tambahan ini memberikan ketepatan pada bentuk dan komposisi..
Inpainting dengan FLUX
Muat UNET, VAE dan CLIP, dan siapkan prompt positif dan negatif. LoadAndResizeImage menampilkan gambar dan topengTransisi dihaluskan dengan ImpactGaussianBlurMask. InpaintModelConditioning menggabungkan pengondisian, gambar, dan masker. Setelah mengonfigurasi sampler, noise, dan sigma, SamplerCustomAdvanced merekonstruksi wilayah yang telah di-mask. VAEDecode mengintegrasikan patch secara konsisten dengan sisanya.
FLUKS NF4
Dengan kuantisasi NF4, memori berkurang. Muat komponen dengan CheckpointLoaderNF4 dan mendefinisikan tinggi/lebar dengan simpul primitif. ModelSamplingFlux menetapkan parameter; EmptySD3LatentImage menciptakan citra laten; BasicScheduler dan RandomNoise mengatur denoise. SamplerCustomAdvanced menghasilkan sinyal laten dan VAEDecode menerjemahkannya menjadi gambar.Untuk penskalaan, UltimateSDUpscale, bersama dengan UpscaleModelLoader dan perintah positif tambahan, membuat semua perbedaan.
IPadapter dengan FLUX
Ketika Anda ingin mengondisikan menggunakan gambar referensi, gunakan LoadFluxIPAdapter dan ApplyFluxIPAdapter beserta clip_vision_l.safetensors. Skalakan gambar referensi dengan ImageScale, siapkan prompt, dan jalankan XlabsSampler. Dengan VAEDecode Anda akan melihat output dipengaruhi oleh estetika atau fitur dari gambar panduan.
Pelatih LoRA untuk FLUX
Untuk melatih LoRA langsung di ComfyUI, alur kerjanya meliputi: FluxTrainModelSelect, OptimizerConfig dan TrainDatasetGeneralConfigInitFluxLoRATraining melakukan inisialisasi, FluxTrainLoop mengeksekusi langkah-langkah, dan FluxTrainValidate menghasilkan validasi berkala.
Dengan VisualizeLoss Anda melacak kerugian; ImageBatchMulti dan ImageConcatFromBatch Mereka mengelompokkan validasi; FluxTrainSave menyimpan titik pemeriksaan, dan FluxTrainEnd menutup proses. Jika mau, unggah hasilnya ke Hugging Face dengan UploadToHuggingFace dan bagikan.
Peningkatan Fluks Laten
Untuk skala detail, tentukan ukuran dengan SDXLEmptyLatentSizePicker+ dan rantai LatentUpscale dan LatentCrop. Dengan masker yang dibuat oleh SolidMask dan FeatherMask, LatentCompositeMasked memadukan laten berskala dengan aslinya. InjectLatentNoise+ meningkatkan detail sebelum VAEDecodeDan sentuhan akhir dengan ImageSmartSharpen+ menyempurnakan prosesnya. Node kalkulasi seperti SimpleMath+ membantu menyelaraskan proporsi.
Versi alternatif: FP8, NF4 dan GGUF untuk menurunkan VRAM
Jika Anda kekurangan sumber daya, Anda punya pilihan. Pos pemeriksaan FP8 dari Comfy.org dan penulis seperti Kijai. memungkinkan Anda menggunakan FLUX dengan satu file di ComfyUI/models/checkpoints/. Disarankan untuk mengganti nama atau memisahkannya ke dalam folder untuk membedakan antara varian dev dan schnell.
Dengan NF4 (bitsandbytes), instal plugin ComfyUI_bitsandbytes_NF4 dan gunakan flux1-dev-bnb-nf4-v2 dalam model/titik pemeriksaan. Versi ini meningkatkan detail dibandingkan dengan iterasi pertama.
Kuantisasi GGUF City96, bersama dengan plugin ComfyUI-GGUFmenurunkan standar lebih jauh lagi: Unduh model FLUX GGUF, encoder t5-v1_1-xxl-encoder-ggufFile `clip_l.safetensors` dan `ae.safetensors` sebaiknya ditempatkan di folder masing-masing. VRAM 6 GB memiliki beberapa kegunaan yang praktis.
Menggunakan FLUX.1 di cloud dan sumber daya lainnya
Jika Anda memilih untuk tidak menginstal apa pun, Anda dapat mencoba FLUX di Memeluk Ruang Wajah: FLUX.1-pengembangan y FLUX.1-cepat. Juga di Mengulangi, Mystic.ai o fal.ai. Ini adalah opsi yang berguna untuk memvalidasi perintah dan konfigurasi sebelum mengunduh model lokal.
Untuk inspirasi dan alur kerja siap pakai, lihat contoh resmi ComfyUI dan galeri alur kerja seperti Seni Terbuka. Ingat bahwa banyak gambar berisi metadatasehingga Anda dapat menyeretnya ke ComfyUI untuk mengambil grafik.
Materi lebih lanjut: koleksi LoRA untuk FLUX sebagai RealismeLora atau kompilasi dalam XLabs-AIControlNet untuk FLUX sebagai koleksi y Serikat; Adaptor IP en XLabs-AIUntuk melatih LoRA dengan VRAM rendah, coba pusat kebugaran flux atau pelatih Replicate dari Ostris; Ada panduan DreamBooth untuk pengembang FLUX.1 di repo diffuser.
Instal ComfyUI di Windows 11 dengan kinerja yang solid
Jika Anda menginginkan instalasi yang bersih, ini adalah cara yang terbukti. Ini bekerja sangat baik dengan kartu seri NVIDIA 40/50 dan membantu Anda menghindari kesalahan-kesalahan umum.
1) Instal aplikasi NVIDIA dan driver Studio dari nvidia.com. Mulai ulang. 2) CUDA Toolkit dari pengembang.nvidia.com (opsional tetapi berguna untuk menghindari peringatan dengan Triton jika Anda tidak menggunakan venv). 3) ffmpeg Dari repositori BtbN, tambahkan C:\ffmpeg\bin ke Path. 4) Git untuk Windows dari git-scm.com5) Python 3.12 x64 dari python.org, dengan peluncur py untuk semua pengguna dan menambahkan variabel lingkungan.
5.5) Jika Anda memilih venv, buatlah dengan python -m venv CUVenv dan aktifkan dengan CUVenv\Scripts\activate.bat. Dari sana, jalankan perintah pip atau git yang relevan di dalam venv. Skrip startup Anda dapat mengaktifkan lingkungan dan menjalankan ComfyUI sekaligus.
6) Klon ComfyUI dengan git clone https://github.com/comfyanonymous/ComfyUI.git D:\CU7) Buka D:\CU dan jalankan pip install -r requirements.txt. 8) Jika pip memperingatkan skrip di luar Path, tambahkan path Python Scripts ke variabel sistem dan mulai ulang. 9) Instal PyTorch CUDA 12.8 Instal torch menggunakan `pip install torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128`. Jika ada yang terasa tidak beres, hapus instalan torch dan instal ulang menggunakan perintah yang sama.
9 bis) Luncurkan ComfyUI dengan python main.py dan buka 127.0.0.1:8188. 10) Instal Triton untuk Windows dengan pip install -U triton-windows. 11) Percepat perhatian dengan Sage Attention 2.2: Unduh roda CU128/Torch2.8 yang kompatibel untuk CP312, instal dengan pip dan mulai ComfyUI dengan tanda –use-sage-attention.
12) Instal ComfyUI-Manager: di ComfyUI/custom_nodes jalankan git clone https://github.com/ltdrdata/ComfyUI-Manager comfyui-manager13) Buat file boot .bat dengan baris: cd D:\CU dan python main.py –use-sage-attention. Saat memulai, Manager akan memerlukan waktu beberapa saat untuk pertama kalinya.; periksa apakah tab Manajer muncul di antarmuka.
14) Letakkan templat pada folder yang benar (checkpoints, clip, unet, vae) dan buka alur Anda. Jika alur kerja membawa node Sage-nya sendiri, Anda dapat menghilangkannya jika Anda sudah memulai dengan benderaTips: Hindari membuka program yang membutuhkan banyak sumber daya, konfigurasikan memori virtual Windows jika hampir habis, dan periksa diskusi kinerja di repositori ComfyUI. Jika Anda menerima peringatan memori, pertimbangkan untuk menggunakan varian FP8 file tunggal.
Jika Anda lebih suka manual yang dapat diunduh, ada PDF yang bermanfaat di link ini. Beberapa panduan telah direvisi untuk menyederhanakan instalasi dan mengusulkan venvSaat menggunakan venv, ingatlah untuk selalu menjalankan pip dan git dalam lingkungan tersebut.
Tips penggunaan, kompatibilitas, dan praktik terbaik
Impor alur dengan menyeret PNG dengan metadata atau JSON dan periksa versi node dengan Manajer. Saat berbagi gambar, hindari kompresi yang menghapus metadata.Jika JSON rusak pada versi baru, ganti node yang usang atau instal versi yang kompatibel.
Untuk bekerja dengan beberapa FLUX LoRA, ada laporan konsumsi daya tinggi dalam versi ComfyUI terkini; Uji GGUF atau loader tertentu Untuk meminimalkan VRAM. Di ControlNet, mulailah dengan depth atau Canny untuk membangun rig pengomposisian yang stabil.
Saat menerapkan ke cloud, periksa VRAM dan antrean eksekusi. Secara lokal, SSD yang cepat dan driver terkini membuat semua perbedaan.Dokumentasikan alur kerja Anda berdasarkan bagian-bagian: pemuatan model, pengondisian, pengambilan sampel, dekode, dan pasca-pemrosesan. Ini akan memudahkan penelusuran kesalahan jika terjadi kesalahan.
Dengan semua hal di atas, Anda sekarang dapat membangun alur kerja VFX yang benar-benar tangguh dengan ComfyUI: Apakah Anda memahami apa itu alur kerja dan bagaimana cara menyimpannya tanpa kehilangan metadata?Anda dapat menginstal FLUX dan variannya (opsi Dev, Schnell dan FP8, NF4, GGUF), Anda tahu cara menjalankan alur kerja utama praktik sehari-hari (Txt2Img, Img2Img, Inpainting, ControlNet, LoRA, IPAdapter dan Upscale) dan Anda memiliki instalasi Windows yang dioptimalkan dengan Triton, Sage Attention dan ComfyUI-Manager untuk menjaga sistem tetap baik, stabil dan cepat.