[Stable diffusion webui] xformers 安裝

使用Stable diffusion webui一陣子後，發現xformers沒安裝。安裝完後，運算效率差很大，感受到為何專(玩)家們都要N卡。

安裝過程很凹，搞一個晚上，所以要寫筆記，備忘一下。


檢查Stable diffusion程式啟動訊息

2024年一月底左右。

在Windows系統上用了Stable diffusion webui一陣子後，突然想到要去看程式啟動時的訊息。

一看才知道，裡面有一堆提示說明，軟體有欠次要安裝。

這些次要安裝，依照啟動訊息畫面上的提示說明，都可以迅速解決。

唯獨有一個xformers搞一個晚上。

終於搞定了。

運氣好安裝成功，寫個小筆記，紀錄一下。
也許下次不會安裝成功(也許還有關鍵步驟漏掉)，但小筆記可以增加下次成功的機會。


xformers安裝

第一次測試

根據 "xFormers - Toolbox to Accelerate Research on Transformers" 這篇文章。

關鍵資料
(RECOMMENDED, linux & win) Install latest stable with pip: Requires PyTorch 2.1.2
# cuda 11.8 version
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu118

試了好幾次，無效!

第二次測試

根據 "Xformers Library (Optional)" 這篇文章。

資料太長，看到一半就放棄。

後來就亂下指令，隨便安裝。

第N次測試 ( N > 7 )

根據 "How on earth can I install xformers?" 這篇文章。

關鍵資料
This method works well for me (If you are using Nvidia gpu):
1. Install Nvidia Cuda with version at least 11.8, restart computer
2. Put --xformers into webui-user.bat (after set COMMANDLINE_ARGS=)
3. Run the webui-user.bat and let it install
看完關鍵資料後，又回去看第二次測試的資料，去依照指示安裝。
主要就是 
(1) VS Build Tools 2022 + Desktop development with C++ 
(2) Nvidia CUDA

軟體安裝的版本，都是新版，而不是資料上寫的版本。
過程中，*.bat有時候需要雙重參數同時下 "COMMANDLINE_ARGS= --xformers  --reinstall-xformers"

成功安裝後，軟體啟動後，軟體操作畫面底下會有版本說明。表示安裝成功。

軟體啟動後，軟體操作畫面底下的"xformers"後面顯示版本號碼"0.0.20"。表示安裝成功。原本沒有安裝時，顯示"N/A"。


意外狀況

2024-01-23 星期二

在成功安裝xformers幾天後，Stable diffusion webui突然崩潰了，無法使用。
(原因可能是獻慶在Stable diffusion webui計算時，又同時去修正Regional Prompter的參數。)

在重新安裝Stable diffusion webui在另一個資料夾後，修正完參數"COMMANDLINE_ARGS= --xformers"後，即可使用xformers，而不用重新在走一遍安裝流程。算是好事。


關於xformers

在 "xFormers - Toolbox to Accelerate Research on Transformers" 這篇文章中由講一下xformers是什麼

  1. Customizable building blocks: Independent/customizable building blocks that can be used without boilerplate code. The components are domain-agnostic and xFormers is used by researchers in vision, NLP and more.
  2. Research first: xFormers contains bleeding-edge components, that are not yet available in mainstream libraries like PyTorch.
  3. Built with efficiency in mind: Because speed of iteration matters, components are as fast and memory-efficient as possible. xFormers contains its own CUDA kernels, but dispatches to other libraries when relevant.

英文單字，獻慶認得出來，但意思是啥，不曉得。

總之，該篇文章文末有附上測試數據圖表，顯示xformers確實可以加速Stable diffusion的運算。


感想

1.
按照GitHub的指引去安裝，雖然會卡住，但是多找幾個資料，多猜答案，多試幾次，還是有機會成功。

2.
要搞一個晚上，主要是好幾支程式都太大，2GB以上的好幾個。打指令跟安裝的時間都很快，主要都卡在下載時間了。

3.
算圖速度確實有明顯提升。而且節省的時間相當令人有感。
Upscale的參數也能調上去了。之前調到3，記憶體會炸掉，程式會停止。現在可以輕鬆突破3，圖也可正常算出來，輸入4也OK，只是要消耗更多的計算時間。GPU的記憶體使用量，從全滿的8GB，降低到1.6GB左右，下降幅度驚人。GPU的記憶體使用量下降後，Batch size的參數也能跟著調上去了，調到8也OK，否則之前都在1。

"A robot playing classical guitar." 由Stable diffusion計算所得。


相關Po文

若要知道這次xformers安裝在哪台電腦，規格如何? 作業系統? 請看下面Po文。

[微開箱][升級] 華碩 ASUS Vivobook Pro 16X OLED N7601ZW-0038K12700H零度黑


相關連結



xFormers - Toolbox to Accelerate Research on Transformers


社群媒體討論平台

如果對該主題有興趣，想要討論，也可以採用以下的社群媒體平台。歡迎討論。






Location: Taichung City, Taiwan

留言

張貼留言

這個網誌中的熱門文章

什麼是電池的CCA(Cold Cranking Amperes)? 如何量測CCA?

圖片
前陣子車子進廠保養，隔天保養回來後，上面夾了張小紙條。 電瓶檢測報告，測試結果良好，電壓12.6V，內阻6.21mΩ，壽命100%，CCA為439。 獻慶好奇的是，啥是CCA? 如何量測CCA? 電瓶檢測報告 以下將會一一討論 什麼是CCA? 如何量測CCA? CCA對照表 and 換算公式 市面上的CCA量測器 台灣湯淺電池公司對市面上CCA量測器的看法 歐洲湯淺電池公司對市面上CCA量測器的看法 結論 什麼是CCA? 根據ARTC車測中心的資料 CCA (Cold Cranking Amperes) 冷啟動電流安培數 (單位為安培 A) 用來定義電瓶在0°F(-17.8°C，通常會講-18°C)寒冷環境下啟動汽車引擎能力的指標，越高的CCA表示可提供引擎越大的冷啟動電力，尤其是車齡過高不易啟動的車輛，越高的CCA可以使引擎啟動更加順利。但一般購買電瓶時，我們無法從電瓶外觀、符號得知CCA，可以參考電瓶的電瓶安培數值(這裡指的是表示容量的安培小時數Ah)，該數值與CCA成正比，或從電瓶製造廠提供的"電瓶規格"得知，這也是最準確的方式。若是完全無法得知，原先電瓶的CCA就只能推估，請參考表1。 汽車排氣量 (c.c.) CCA估計值 (A) 1200~1600 350 1600~2000 500 2000~3000 650 3000以上 750 表1 依排氣量推估電瓶CCA 順帶一提CA CA (Cranking Amperes) 啟動電流  (單位為安培 A) 主要意義與CCA類似，與CCA差異的僅是測定時之溫度，CA則是在0°C環境下所得出的結果(CCA則是在0°F)。同一電瓶CCA的數值會比CA來得低，因為溫度愈低電池的表現會愈差。 (資料來源: ARTC車測中心:  知識庫 - 認識電瓶規格  ) 如何量測CCA? CCA cannot be “measured,” but it can be “estimated.” The process can take a week per battery. A full CCA test is tedio...
Read more »

[數據處理] Excel 日期時間 換算成 秒

這次獻慶碰到Excel的數據處理問題。 儀器匯出的Excel檔的時間軸是用 "日期跟時間"來表示，而不是用秒來表示。這樣會造成繪圖軟體無法判斷時間，而無法將數據進行繪圖。 或者說很多繪圖軟體會把 "日期跟時間"這種資料格式視作 "字串"，而不是同單位的時間 "數字"。造成繪圖失效。 為了要處理這個問題。一個單純的想法，就是將包含日期跟時間的文字換成單一時間單位。這個時間單位，依據數據分析的需求可以是年、月、日、時、分、秒等。 案例1: 2020/1/15 12:59:35 $\rightarrow$ OOO 秒 以獻慶這次的狀況將包含日期跟時間的文字換成秒，是合理處置。 如何將包含日期跟時間的文字換成秒? 2020/1/15 12:59:35   -->   OOO秒 實際上，為了畫圖，我們要知道的是數據點間的相對時間，或者說時間差。 這個問題頗好解決、獻慶運氣不錯，很快就找到了網友提供的方式。可用下列函數達成。 Excel-時間相減後轉成秒數 =TEXT(A2-A1,"[ss]") 可以強制把時間轉換為秒數。若ss改為mm 則轉換為分鐘，不足數無條件捨去。 參考資料:  Excel-時間相減後轉成秒數 這個函數可用，但得小改一下。要把A1改成第一筆資料的時間。 例如: =TEXT(A2-" 2020/1/15 12:59:34" ,"[ss]") 這招有用，表示Excel有把某些特定日期跟時間的字串換成秒的功能。這樣就不用像以前使用Fortran等程式時的做法，要用 "天*86400+小時*3600+分*60+秒"這種數學換算。 案例2: 2020/2/14 下午 06:00:49 $\rightarrow$ OOO 秒 乍看之下，這組時間字串只是多了兩個字(上午/下午)而已。 多了兩個中文字而已，同樣的函數應該有用。 如果案例1的招式可以萬用的話，就不會有案例2了。呵呵! 總之就是"掛了"! 那就要來找新的解決方案。 先...
Read more »

[Arduino] 使用示波器來看Arduino的UART, Inverted Software serial及RS-232訊號並對其進行解碼

圖片
主題: 使用示波器來看Arduino的UART訊號及Inverted Software Serial的波形，及這些訊號轉換成RS-232訊號後的波形，並對其進行ASCII code解碼。 本次測試使用器材為 Arduino MEGA 2560 Rev3 (可參考Po文:  [Arduino] 欣賞官方版Arduino MEGA 2560 Rev3  ) TTL to RS-232模組。(這個市面上有N種，本次使用MAX3232 ESE+DN20晶片。) Keysight 2002A示波器 (關於如何學習該款示波器，可參考Po文:  [儀器學習] Keysight DSOX2002A Oscilloscope 示波器   ) PS1: 其他Arduino開發版也可適用此案例，例如:  Arduino UNO Rev3 ,  Arduino UNO SMD UART and RS-232基本認知 兩者的邏輯訊號的電壓不同，請見下表。 其中UART採用正邏輯，而RS-232採用負邏輯，因此兩者的波形相反(當然電壓也不同)。 Logic UART RS-232 1 Vcc (3.3 or 5 V) 傳送端 -5 V ~ -15 V / 接收端 -3 V ~ -15 V 0 0 V 傳送端 +5 V ~ +15 V / 接收端 +3 V ~ +15 V 參考資料:  https://makerpro.cc/2019/08/the-difference-between-rs232-and-uart/ 序列通訊(Serial Communication)傳輸速度與傳輸封包結構 不管是UART或是RS-232的序列通訊，在此測試中都使用相同的傳輸速度與傳輸封包結構。 關於傳輸速度與傳輸封包結構，由於已行之有年，業界通常都講得非常簡略，也成為了一種默契。 業界行話:  Baud rate 2400 bps。 8N1 (詳細請見參考資料)。 這個行話，簡單來說:  每秒會傳送2400個Bit。表示資料傳輸速度。 會看到訊號長成10個格子的樣子，如下圖所示。 其中Start (第1個Bit)會用Logic 0表示，Stop (第10個Bit)會用Logic 1表示，這兩個都是固定不變。 D0~D7這8...
Read more »