[分享] FA507XI玩ComfyUI工作流生圖

上一篇文章分享的內容中，目前AI最常聽到的應用，就是AI圖像生成技術。NVIDIA在資料中也提到，目前AI圖像生成技術每天都有上千萬張新圖片產生，同時有80%是來自本機GPU運行運算的結果，而其中最知名、應用也最多的，就屬Stable Diffusion這套程式。隨著開放軟體社群的發展，Stable Diffusion（SD）出現了許多UI界面，其中熱門的有Easy Diffusion、ComfyUI、Automatic 1111等三套，一般比較常見的是Automatic 1111這套，但隨著文生圖、圖生圖的應用越來越頻繁，採用「工作流」設計的ComfyUI也有許多人在使用。先前也有提到，平面設計如果大量使用文生圖、圖生圖，與設計可能相關的行業跟學系，像是
廣電學系所、大眾傳播系所、視覺傳達系所、工業設計系所、商業設計系所等等，未來都有可能直接碰上AI生圖這件事情，早點多點了解絕對不是壞事。

下面就一樣透過TUF FA507XI這台筆電，來試試看ComfyUI這一套算圖軟體運作的方式，給有興趣的人參考。



測試之前建議先用NVIDIA Studio版本的驅動程式，取代原本筆電預設的驅動程式。



TUF FA507XI配RTX 4070，VRAM有到8GB，對於現在算圖或是AI而言，8GB都算基本門檻，6GB跑起來就會有點吃力。

如果稍微對圖像生成有概念的話，應該都知道圖像生成目前都是以Python為底，搭配不同的UI來做界面操作。圖像生成原本只是對Python下達一連串的指令，但透過UI可以讓操作過程變得相對簡單好懂，ComfyUI跟Automatic 1111（以下簡稱1111）在SD上都是很知名的界面，不過ComfyUI有下面個人覺得比較特殊的優點：

• ComfyUI容易安裝：ComfyUI已經整合Python主程式，下載後是一個資料夾，可馬上運作。1111在下載Python之後要加掛WebUI上去，第一次用可能會卡在一些指令上。
• ComfyUI是工作流設計：不同於1111許多分頁放置參數的設計，ComfyUI是以workflow工作流的方式設計界面，在文生圖、圖生圖的環境下，可以一次疊加多個流程（譬如說算出A圖之後，繼續以A圖為底來算B圖），除了可看到流程方便除錯之外，整體使用彈性高，安裝外掛也很方便。
• ComfyUI生圖條件沒有太多限制：只要硬體夠強，ComfyUI可以任意設計圖片、影片的大小跟生成數量，對於生圖而言應用範圍很廣。

下面就簡單說明一下ComfyUI的使用方式跟特色，我們可以在github取得ComfyUI的程式：
https://github.com/comfyanonymous/ComfyUI



進入下載頁面之後，稍微花點時間下載，解壓縮之後即可使用，裡面已經包含Python的檔案。



檔案目錄下就有「run_cpu」（透過CPU運算）跟「run_nvidia_gpu」（透過NVIDIA GPU運算）兩個批次檔案，不做他想，直接執行「run_nvidia_gpu」：



這時Windows下預設的瀏覽器就會用127.0.0.1的網址開啟ComfyUI的服務：



這邊花一點時間講模型（checkpoint）：模型基本上就是一套已經訓練好的模組，訓練的方向跟模式取決於訓練者一開始給定的資料，比較常見的像是大自然、動畫、人物的模組。在ComfyUI的readme讀我檔案裡面，有介紹標準的SD 1.4、SD 1.5等模型下載的位置，下載完畢之後，放在對應的models路徑內，就可以在算圖之前選取應用。不過要特別注意的是，因為checkpoint檔案都比較大，像下面三個檔案，已經有14GB以上，如果是筆電使用SSD的話，存放時要特別注意容量大小，不要下載到硬碟容量炸掉，這樣也會影響運算的效率。


ComfyUI與一般常見的Automatic 1111的差異在於，ComfyUI是以「工作流+節點」的方式運作，從上面的模型選用、正向、反向提示詞都是一個節點，接著圖片長寬像素、運算數量，接著取樣與VAE（概率生成）等等，可以用線條串接在一起，如果善於應用的話，甚至連中文化、中文提示都不是問題。



稍微有點文生圖經驗的人大概都知道，提示詞（用文字告訴軟體要生什麼圖）大多都是以英文為主，因為大部分模型都是以英文生成、訓練居多，如果只會中文的話該怎麼辦呢？ComfyUI裡面的應用，有支援利用Google翻譯、直接中文輸入轉換成英文提示的節點：「Deep Translator CLIP Text Encode Node」，以下就講一下怎麼新增這個功能：

ComfyUI預設的環境中，提示詞的節點是「CLIP Text Encode (Prompt)」這個選項，正反提示詞共兩個視窗方塊，用左鍵點選一下，就會出現對話方塊，點最底下「Remove」就可以分別移除這兩個視窗方塊。



移除掉兩個「CLIP Text Encode (Prompt)」的視窗方塊之後，左鍵（很重要，要用左鍵）在工作區空白處點一下，就會出現節點模組的搜尋視窗，輸入「deep」就可以查到「Deep Translator CLIP Text Encode Node」，點選之後新增視窗方塊即可。



視窗方塊新增之後，必須把流程接上，在clip的部份接上Checkpoint節點，然後CONDITIONING的部份接上另一邊positive（正向提示）的部份，就算是用翻譯功能取代原本的CLIP、只能輸入英文文字的節點了。




把正向、反向對應的視窗方塊都新增完成、然後進行連接之後，紅框部份就可以輸入中文的提示詞了。

就算不會英文也沒關係，輸入中文字串，譬如正面是「有很多書的書房 貓」，反面是不想出現「文字 浮水印 人類」等，透過界面會自動幫你翻譯成英文，輸入到算圖界面裡面：



這樣馬上可以得到一個貓猫在書房的畫面。



如果加上「外面有陽光」的話呢？



馬上就會得到一個充滿陽光的書房，還加碼一隻新貓猫！



桌上再來一杯咖啡看看：



這樣的圖是不是很符合剛剛中文的內容呢？

以Automatic 1111來說，它的界面會比較直觀，可以一次看到許多選項調整，但如果參數越來越多， 1111的界面必須在不同分頁裡面進行選取，有時操作量一大，可能會忘記自己正在進行怎樣的操作。相比之下ComfyUI的工作流方式就比較容易看到全局，當每次執行不同參數的運算之時，ComfyUI會有綠色的執行提示框，告訴使用者目前流程進行到哪邊，就好像把1111的分頁全部攤平、方便自己理解怎麼調整一樣，個人覺得這是ComfyUI使用上的好處。不過更直接明白的是，ComfyUI跟1111，如果硬體一開始並沒有特別高規格，其實算圖速度是差不多的（至少我配4070的感覺如此），了解流程、比對背景Python執行的情況，可能對初學更有幫助。



回到ComfyUI這邊，如NVIDIA官方所說，一次要算8張1024x1024像素圖，依照提示詞完成的圖，並不是非常困難的事情，只要大約40幾秒就能完成：



實際完成的圖也非常精緻，以下是提示詞：

photograph, contemporary lounge, morning, polished tile slab, rug features, nature art frame, including a dark blue-colored sofa set and a wood side table, natural lights setting

利用這樣的提示詞就能生成一個風格精緻的客廳畫面了，隨便選一張大圖如下：



此模型搭配的checkpoint模型：RealitiesEdgeXLLIGHTNING_TURBOV7
下載網址：https://civitai.com/models/129666?modelVersionId=356472

透過FA507XI加上筆電的4070顯示卡，搭配8GB的VRAM，不用花費非常多的時間，只要搭配1個6 GB左右的模型，加上一點英文提示詞，就能根據需求一口氣在短時間內，生成8張可供印刷輸出的高品質圖片任君挑選，只要稍微人工微調一下就能派上用場，這對於有需求的人而言真的省去許多作業時間。不過特別要注意的是，現在AI的硬體要求正在增加，筆電的擴充性非常重要，像是SSD或是記憶體能多一條擴充槽都是不錯的選擇，32GB記憶體以後可能會變成最基本的門檻也說不定。



最近看到一句話說：AI不會取代人，但是AI能讓會應用的人，省下一堆時間，這將遠遠超過不會用的人。這說法還真的讓人很難不同意，畢竟在數位化的世界裡面，已經有許多廠商用AI解決日常許多重複與細節的事情。透過NVIDIA在AI新領域的介紹與說明，加上實際透過TUF FA507XI的硬體執行ComfyUI圖像生成功能，如果對這方面有興趣的話，自己摸索應該可以得到許多有趣的結果，當作投資未來，不妨嘗試看看！