傳統磁碟陣列(RAID)的衰落與新一代檔案系統 ZFS 之興起


BigMac4Diet wrote:
ZFS和RAID 這兩個技術都是以Redundant來容錯。
最大差異是:RIAD是block level access. ZFS是File level.
RAID的幾個比較大的問題是:
1. 這個技術主要是針對硬體損毀的容錯。對位元錯誤的偵測有盲點,在理論上,它有可能在位元資料錯誤的狀況下持續運作,導致非常嚴重的資料錯誤,而且要很久以後才會發現。說穿了,可靠度可能沒一般人想的高。
2. 當硬碟損毀導致需要做資料還原時,由於整顆硬碟都必須重新計算填入block data. 資料復原的時間非常久,而在重建期間,資料的存取速度會被重拖。這在單顆硬碟容量大的時候尤其難以接受(以資料中心業者的角度)。
3. 在磁碟系統(SSD)越來越高速的狀況下,SoC難以及時處理資料封包,因此RAID的速度效益不復存在,甚至本身就是瓶頸,並且反而要多一層硬體成本。
NFS是雲端儲存系統小型化的重要基礎技術之一。而ZFS的最大問題是這個功能是建構在物件導向式檔案系統之上,跟傳統式檔案系統不相容。
NAS的底層可不可以使用ZFS?當然可以,而且彈性更大。不過硬碟數量不多或不夠快的設備效益就不是那麼大罷了。


ZFS 也可以算是 block level 吧,因為它是同時結合 block & file level 操作
在硬碟寫入 checksum 及 deduplication 這些都是 block level 操作才可以做到,而它有自帶的 file level 操作所以根本不再需要有另一檔案系統存在

downtodo wrote:
沒有資料是可以絕對安全,不管是用哪種技術都是要備份,ZFS也不例外,我是很懷疑他的效能,樓主如果可以做個測試,做大量資料傳送,更有說服力。
RAID 並沒有那麼不堪,不然企業早就放棄了。
你說很多人把RAID卡 改成只使用控制器,那應該都是中低階的RAID卡。


你說的對,只不過現時大家都希望有個方法去令 server 下線時間盡量減低
企業已經在使用的,很難短期內轉變,只能盡量避免問題出現,例如我希望有 12TB storage,可以選 4 x 6TB RAID6 或 5 x 4TB RAID6,但較穩妥做法是 8 x 2TB RAID6(因為要減低重組風險),你看現時 Dell 都不建議使用超大容量單碟就知道

但新建的系統,如能以儲存網路做骨幹,由於管理員不需要自行管理 ZFS(多在建立時已做好 tuning),其他 server 只要知道如何連接,然後本地端操作系統使用單純小容量硬碟 RAID1 便可。
如果能有效降低 RAID Rebuild 時間的產品出現,一定會大賣...
目前建置了一些 2TBx16 RAID 6 ,
每次更換硬碟 Rebuild 約要30小時,
這時間還真漫長啊...
fakeman1999 wrote:
ZFS 也可以算是 block level 吧,因為它是同時結合 block & file level 操作
在硬碟寫入 checksum 及 deduplication 這些都是 block level 操作才可以做到,而它有自帶的 file level 操作所以根本不再需要有另一檔案系統存在

你的觀念有點怪,ZFS "...不再需要有另一檔案系統存在",ZFS就是個檔案系統啊。
ZFS對file做checksum以確保file redundant。所以ZFS會實際上可以產生2個以上(依設定)的相同檔案置放在不同實體位置。而RAID的redundant指的是額外的硬碟儲存額外的運算位元,在位元缺損時(硬體損壞),可以利用額外運算資料反運算得到正確儲存內容。
這兩個技術概念完全不同,但是儲存最終都是放在硬碟裡,硬碟是block level device(指的是利用定址單元儲存資料),所以不管哪一種FS都一定會用到block level操作,因為FS就是OS用來控制block stroge的中間層。 block level 和 file level並不是排它的技術概念。 與block storage相對應的是"liner storage"(例如光碟儲存單元,另一個怪胎是Flash storage,這種儲存技術是用liner device去模擬block device)
至於deduplicate,可以是file level, block level, 或是byte level. 目前的具備dedup的FS都是block level.這個概念是把mapping pointer 從1對1 remap 成多對一,這樣實體block就不必重複assign多個紀錄相同資料。由於 metadata放在RAM上所以storage sever對記憶體容量要求很高。dedup是目前儲存技術的顯學,不過你似乎把dedup跟redundant搞混了。
BigMac4Diet wrote:
ZFS和RAID 這兩個技術都是以Redundant來容錯。
最大差異是:RIAD是block level access. ZFS是File level.

ZFS就是一種File system,而file system並不是這樣定義的。

BigMac4Diet wrote:
RAID的幾個比較大的問題是:
1. 這個技術主要是針對硬體損毀的容錯。對位元錯誤的偵測有盲點,在理論上,它有可能在位元資料錯誤的狀況下持續運作,導致非常嚴重的資料錯誤,而且要很久以後才會發現。說穿了,可靠度可能沒一般人想的高。

高階RAID在 Stripe裏加上checksum已經幾十年了

BigMac4Diet wrote:
2. 當硬碟損毀導致需要做資料還原時,由於整顆硬碟都必須重新計算填入block data. 資料復原的時間非常久,而在重建期間,資料的存取速度會被重拖。這在單顆硬碟容量大的時候尤其難以接受(以資料中心業者的角度)。

ZFS 採用的RAIDZ Z2 Z3 recovery 哪裏不同?

BigMac4Diet wrote:
3. 在磁碟系統(SSD)越來越高速的狀況下,SoC難以及時處理資料封包,因此RAID的速度效益不復存在,甚至本身就是瓶頸,並且反而要多一層硬體成本。

同上,ZFS 在ALL FLASH 的情況下,哪裏不同?

BigMac4Diet wrote:
NFS是雲端儲存系統小型化的重要基礎技術之一。而ZFS的最大問題是這個功能是建構在物件導向式檔案系統之上,跟傳統式檔案系統不相容。

NFS, ZFS, Object Storage是三件事,完全看不懂在表達什麼。

BigMac4Diet wrote:
NAS的底層可不可以使用ZFS?當然可以,而且彈性更大。不過硬碟數量不多或不夠快的設備效益就不是那麼大罷了。

同上上上, RAID不是也一樣?


01不適合研究這類問題啦。認真就輸了。




K.Ken wrote:
ZFS就是一種File system,而file system並不是這樣定義的。
高階RAID在 Stripe裏加上checksum已經幾十年了
ZFS 採用的RAIDZ Z2 Z3 recovery 哪裏不同?
同上,ZFS 在ALL FLASH 的情況下,哪裏不同?
NFS, ZFS, Object Storage是三件事,完全看不懂在表達什麼。
同上上上, RAID不是也一樣?
01不適合研究這類問題啦。認真就輸了。


ZFS就是一種File system,而file system並不是這樣定義的。
>> ZFS是一種FS,沒錯。ZFS本身就具備redundancy的能力,設定就有了。 這樣跟RAID可以算同一種技術嗎?還是有親戚關係?說來聽聽,但是別太認真。
高階RAID在 Stripe裏加上checksum已經幾十年了
>> 首先就請說明一下啥是"高階" 啥是"低階"?有checksum 的 stripe叫高階?第一次聽到,抱歉孤陋寡聞。
ZFS 採用的RAIDZ Z2 Z3 recovery 哪裏不同?
>> 哪裡不同你應該看看手冊,問太簡單的問題無法彰顯你的程度。
同上,ZFS 在ALL FLASH 的情況下,哪裏不同?
>> 如果你用過all Flash再說吧。I(不好意思,有點傷人)
NFS, ZFS, Object Storage是三件事,完全看不懂在表達什麼。
>> 的確是三件事,完全看不懂你想表達什麼?
同上上上, RAID不是也一樣?
>> 有點難理解,哪裡一樣?
01不適合研究這類問題啦。認真就輸了。
>>這倒是真的。
changlee wrote:
如果能有效降低 RAID...(恕刪)



重建所花費時間取決於 陣列處理器性能以及硬碟性能,
一般性硬碟與企業版硬碟跑重建時所花費時間也不太一樣。
當高階陣列卡掛載SSD當讀寫快取緩衝時,跑重建也會比較快。



ZFS 比較好奇的地方,當硬碟採用該格式系統後,讀寫性能剩多少,
CPU 負載呢。魚與熊掌無法兼得。


好久以前
FAT/FAT32/NTFS 有性能測試文章,記得性能最佳的是FAT,最不安全的
也是FAT。
ZFS 跟FAT32 NTFS NFS .....等等一樣, 就是一種filesystem, 而RAID 他本來就是屬於OS independent, 他是不包含filesystem 的.

NAS 基本上就等於filesystem+RAID 透過網路, 整合的一台機器. 早期要做到這樣, 就是用一台電腦主機+RAID+網卡 也是可以搞定的.

而RAID 簡單的說, 就是一顆具備HDD 容錯, 高效能, 高容量的HDD 而已. 要什麼樣的filesystem 則是由電腦主機決定的.

RAID 也可以format 成ZFS 的filesystem 吧. 也因為這樣, 這有什麼衰落興起的問題嗎? RAID 再好也是需要HDD, filesystem 再強, 也是需要Hardware RAID的. 這沒有衝突的問題~~

NAS 之所以rebuild 時間短, 是因為NAS 本身自帶filesystem, 他知道哪些需要rebuild 哪些是空白. RAID 由於不清楚是用哪一種filesystem, 所以也只能不管三七二十一整顆硬碟都rebuild, 以確保資料的完整. 效能高一點的機器, rebuild 自然時間較短~~

所以若是單一電腦資料傳輸要快, 還是只能選擇RAID. 若是要透過網路分享檔案, 就選擇NAS. 真的要高度的資料安全性, 就選擇沒有metadata 的RAID 1. 同時5顆HDD 做mirror, 哪可能不安全~~

nakamichi77 wrote:
ZFS 跟FAT32...(恕刪)


忍不住起立鼓掌............
>>NAS 之所以rebuild 時間短 <<
NAS 內建陣列其實不怎麼好,因此時間上不會短,有些高階的NAS其內部陣列卡
還真的不怎麼樣,更別提連陣列卡都沒有,靠處理器跑。

>>所以也只能不管三七二十一整顆硬碟都rebuild<<
重建不光光只是把資料回存,還有校驗磁區、一致性驗證...有的沒的,所以還真的
得整顆跑。

不可否認,樓主的標題有點怪,把檔案系統格式與磁碟陣列扯上邊,不過,分開來看
就好了
文章分享
評分
評分
複製連結
請輸入您要前往的頁數(1 ~ 9)

今日熱門文章 網友點擊推薦!