傳統磁碟陣列(RAID)的衰落與新一代檔案系統 ZFS 之興起


JQJQ wrote:
重建所花費時間取決於 陣列處理器性能以及硬碟性能,
一般性硬碟與企業版硬碟跑重建時所花費時間也不太一樣。
當高階陣列卡掛載SSD當讀寫快取緩衝時,跑重建也會比較快。...(恕刪)


小弟的猜測是: 在所提的高階陣列卡, 在 rebuild 時已沒有必要再去利用到 SSD cache, 因為要 rebuild 的資料都是要重新計算而得, 存在 SSD cache 裡面的資料對於整體數據來說僅佔極小部份, 對於 rebuild 效能上影響極小.

當然這只是推論而已.
FB: Pctine

BigMac4Diet wrote:
01不適合研究這類問題啦。認真就輸了。
>>這倒是真的。...(恕刪)


透過諸位前輩的提示, 可以得到更多的啟發, 幫助也是蠻大的. 學習了.
FB: Pctine

fakeman1999 wrote:
我指的 RAID 衰退,是指企業級應用,企業級海量數據下 RAID 的弱點盡現,這幾年我已經見過好幾次 RAID5/6 重組失敗而要重新建立整套系統並讀取備份以恢復服務,這已經失去了 RAID 原本 "減低服務下線時間" 的功用。
家用系統暫時還好,但像重組這些失敗例子也有見過(其實更易見,因為企業級硬件本來容錯度更高) ...(恕刪)


小弟有一點不了解的地方. 剛才讀了一篇有關 zpool, vdev 的相關說明. 其中提到在 ZFS 建置時, 並不推薦無容錯機置的 Vdev 設置方式, 而 vdev 同樣的是採用 RAIDz 的方式構成, 它會 fail 的情況應該類似 RAID 5/6, 所以在 VDev 不也存在相同的問題?

或許有一小部份較不同的是 ZFS 在操作 Vdev 時不像傳統 RAID 當發現硬碟有問題時, 就直接把該顆硬碟踢掉, ZFS 會儘可能的讀出可供利用的資料.

FB: Pctine

nakamichi77 wrote:
換個說法. ZFS針對的是檔案的容錯, RAID 針對的是硬體的容錯(HDD) 所以本就沒有衝突. 現在陣列的做法, 整個陣列失效, 機率真的很低. 真這樣, 也就是少一顆HDD 的資料. ZFS 可以依據檔案容錯來修補, 豈不完美.


大大您好
我想問RAID5資料不是分散儲存在各硬碟嗎,
所以如果一個壞了,另一個上面有URE,
那整個陣列就無法重建了吧?
為什麼是少一個硬碟的資料而已

pctine wrote:
小弟的猜測是: 在...(恕刪)



重建時硬碟持續讀寫,此時外來的讀寫自然也加重負擔,
SSD 快取可大幅減輕負擔,重建速度也就跟著快。
附加的好處是增加 IOPS與連續讀寫性能,至於效果怎麼樣,
只看過國外測試還沒親自玩玩,改天買了SSD 再來實測看看。
單顆硬碟掛 SSD 快取,多方面測試又是怎麼樣,SSD 內建IO
與陣列卡IO性能會不會有差異,這都是想玩的地方。
一次掛兩顆SSD 跑又會怎麼樣,但碰到花錢就得多想想
,反正沒花錢也就這樣繼續用。

哪天買了 SSD ,開箱文也順便補上SSD快取測試。

6年前還是7年前跑重建,記得是7小時多,2TB 企業版 RAID5
3顆、4顆 時間都差不多,RAID6 也是差不多7小時多可跑完重建,
RAID6 只測單顆,若兩顆跑重建就沒測過了,估計大概也一樣吧。


ZFS 的倒是不會去想,反倒是對於 Microsoft 的 ReFS 比較期待,
有想過分割為 ReFS 跑跑看,只不過至今還沒實行,依舊還是
想想的階段,畢竟實作還得多花錢,也不可能現有硬體直接刪資料
來玩。
說真的企業要汰換掉陣列應該還有一段時間

pctine wrote:
小弟有一點不了解的地方. 剛才讀了一篇有關 zpool, vdev 的相關說明. 其中提到在 ZFS 建置時, 並不推薦無容錯機置的 Vdev 設置方式, 而 vdev 同樣的是採用 RAIDz 的方式構成, 它會 fail 的情況應該類似 RAID 5/6, 所以在 VDev 不也存在相同的問題?
或許有一小部份較不同的是 ZFS 在操作 Vdev 時不像傳統 RAID 當發現硬碟有問題時, 就直接把該顆硬碟踢掉, ZFS 會儘可能的讀出可供利用的資料.


有不同的。
首先前面提過,RAID 1/5/6 等都存在 write hole 問題(這個 Google 大神有說明是甚麼),然後又有重建時遇到 URE 然後整個陣列掛掉的問題。假設使用 RAID Z2(對應的 RAID level 是 RAID 6)時一個硬碟壞了,重組時另一個出現 URE 會怎樣?兩個情況:URE 位置是空白沒數據位置,由於沒數據 ZFS 根本不會去碰這部份,也就是說連有 URE 也不會知道(SMART check 可能會回報問題),它會如常重組出全部數據,日後碰到 URE 時再把該硬碟踢出來,宣告壞碟,再等用戶換入新的重組;第二情況,URE 出現在有數據的另一硬碟上,因為 RAID Z2 容許最多 2 顆硬碟損壞,所以這個有 URE 的硬碟是剛好算上第二顆壞硬碟,換入新碟後再重組,而因為 ZFS 已解決 write hole 問題所以數據重組還是很可靠的。

但在 RAID 6 之上,write hole 問題是有機會令 RAID 控制器重組出錯誤資料,這會是一個大問題。

不過技術不斷轉變,或者我用衰落去形容 RAID 不是一個很好的說法,我也期待傳統 RAID 能有新技術引入去緩解問題,聽說現時有高階 RAID 控制器能強制跳過硬碟 URE 去重組 RAID 陣列,從而避免 URE 出現時立即陣列死亡的問題。

paperpan123 wrote:
說真的企業要汰換掉陣列應該還有一段時間


同意,正在使用的應該暫時不會改變
但全新建立的系統則有可能會嘗試新技術
ZFS 基本上使用操作方式 沒有 RAID 卡來得直覺方便,要推廣不容易。

遇到硬碟故障的情形也不好處理。

事實上是我LINUX不熟。

downtodo wrote:
ZFS 基本上使用操作方式 沒有 RAID 卡來得直覺方便,要推廣不容易。
遇到硬碟故障的情形也不好處理。
事實上是我LINUX不熟。


這個倒也是真的,一切都要軟件設定,微調等,不像 RAID 卡一個 BIOS 介面來得簡單直接
文章分享
評分
評分
複製連結
請輸入您要前往的頁數(1 ~ 9)

今日熱門文章 網友點擊推薦!