目前有台12bay NAS(12HDx3T NAS專用碟)要拿來當虛擬主機的儲存伺服器,重點是在RAID模式的選擇,查了很多文件都是在RAID-6和RAID-10間在比較但各說各話不知二者間到底要選那一種來用會比較好:
考慮的重點及我大致查了一下的狀況
1. 不考慮容量:18T vs 30T 二者容量都能接受
2. 讀寫效能
3. 安全性:RAID-6 > RAID-10
4. Rebuild 效能:RAID10 > RAID-6 (RAID-6這麼多顆不知會不會對Rebuild有幫助,不能使磁碟效能下降過多)
因為要完整測試整個時間太久了,每次重建要先讓RAID整個同步完成才來測試,同步都要一整天,時間有點趕就要正式上線了,所以先來問問有經驗的高手,二者到底那個在12bay NAS的環境下,那個比較適合使用。
=======================
11HD&HotSpare_RAID-6 的部份已先測試完了,基本上他效能比RAID-10好個3~5%, RAID建立同步時間9小時,Rebuild的部份在io輕時重建約11~12小時,重建時的效能測試起來減個10%左右,雖然可能不是很完整的測試但至少可以了解他大致上的效能。
12HD RAID-10 基本上效能比上述的RAID-6低差了快50Mb/s左右,RAID建立同步時間約26小時,Rebuild的部份重建約9小時,重建時效能和RAID-6重建時的效能差不多
雖然RAID-10在不壞到同一個RAID-0架構時可以壞6顆HD, 但這看起來還是比RAID-6還可怕一點,沒人回目前就先用RAID-6使用了
之前測試過一台美國品牌的storage[PureStorage]型號是:FA-420,讓我印相非常深刻,為何印相深刻呢?因為它rebuled的時間只要10~30秒,無論是多大的disk組成的,後來我仔細的觀察,發現它隨時都在運算raid (array)的結構與成員,所以..............
例如你有一個機箱(Enclosure)內為24個slot,共有24個256G的硬碟(這次的經驗是使用SSD),扣掉最左側與最右側各一顆,作運算機制用途的硬碟,剩下22顆,作完raid 5後剩為5T多,但預設啟用Dedupe功能,因此系統顯示可用空間達10T左右,然後開始測試:
如果你的資料有2T,整座系統可以讓你拔硬碟,一直拔到剩下9顆(最左右兩側運算碟不算),系統都不會損壞,而且10秒恢復正常,甚至可以更少顆約5顆,因為它具備Thin Provisioning以及Dedupe(資料去重複化)的功能。拔了差不多後,再插回新的硬碟,一樣每插一顆,就10~30秒,它就rebuled完成(重新計算raid 成員)。
(只要系統顯示完成rebuild作業,就可以進行插拔,而且是隨意一顆的插拔。當初也以為是背景在作rebuild,不可能10~30秒就完成rebuild作業,因此也作了隨機插拔的測試,只要10~30秒內系統說rebuild完成,即進行任意一顆SSD插拔,結果一切正常~~~這種能力與功能,真的很實用,也方便)
之前還測試過,如果就現有小容量硬碟組成的raid進行全面升級大容量硬碟作業,它也很簡單,就是直接把小容量硬碟一個一個拔下來,當然測試時是慢慢拔的,一顆拔完約等5~10秒,等系統提示rebuild(重新運算)完成,再拔第二顆,一直拔下去................也可以拔一顆小的,插一顆大的,等所有小容量換完,空間就變大了,期間是不用停機的。(推估應該是controller與左右兩側硬碟在進行資料與raid結構運算)
當然還有測試過其他的flash storage產品,各位如果有興趣,可以到iTHOME搜尋一下關於flash storage的資料,個人有幸把國內外幾個品牌的flash storage玩過一輪,感嘆科技真是進步。
Flash-based固態儲存storage,按iTHOME對現有市場產品,分成了三種各具特色的產品類型—1、傳統磁碟陣列SSD版、2、專屬硬體式Flash陣列與3、通用硬體式Flash陣列。
因為手上工作任務的關係,目標是找尋最快、最好的flash storage產品,所以...........傳統磁碟陣列加入SSD硬碟的storage,就沒有考慮進行測試評估,因此目標就鎖定在「專屬硬體式Flash陣列」與「通用硬體式Flash陣列」
專屬硬體式flash storage測試過IBM flashsystem 820、840,以及Violin 6264的storage
通用硬體式Flash storage測試過PureStorage FA-420,以及Cisco Invicta appliance(就是一個2u機箱包含controller與24個硬碟slot插槽,一個獨立的機箱)
很可惜沒有測試到cisco invicta scaling 系統,主要是思科美國那邊有一點ship的問題,因此只有測試appliance。
這邊補充一下,PureStorage是屬於scaling up的型式,意即擴充機箱只能得到空間,無法得到效能的提升,型號(controller的頭)即決定此座系統的效能表現;cisco invicta scaling系統是屬於scaling out的產品,擴充機箱,即可提升效能,但有一個上限值。
各家的特色在iTHOME上都查的到,經過實際的測試,前前後後算一算這四最產品,應該測試了有6個月的時間,四套產品同時出現在機房內,同步測試,最主要的測試應用是在高負載的oracle資料庫,轉移到esxi vsphere系統上的環境可行性。
上述方案真的是很棒的方案,不過並不是每套系統都要用這麼好的硬體平台,因此最近就開始測試平價方案,目前使用synology RS3613RPxs + 12顆micron mx100 256G SSD + intel X520-SR2 10GbE網卡的效能測試,前端搭載2台 hp dl380 G7 + hp nc552sfp 10GbE網卡,因手邊沒有現成的10GbE switch設備,所以先用cisco UCS FI-6248 Switch先行連接測試,配合安裝esxi 5.5 u2 server,形成如下圖架構:
經過簡易的測試,在瞬時檔案傳輸的能力上,與專屬硬體flash storage,相差沒有非常大,不過長時間read/write大檔案,以及多套guest os同時read/write檔案,整體的效能會大幅降低,並不穩定;而在IOPS上,自然是遠遠比不上,同樣是上下起伏的,但維持在1.6~2.2萬間。
還有在讀寫的穩定度來說,平價的storage,它沒有建置專用硬體controller,沒有cache的設計(或許主機板上的RAM會充當cache),也沒有硬體的raid card,僅以網路卡作為controller的角色,soft raid建立陣列機制,並把網路port-channel LACP(線路容錯)作為HA的應用(不像標準的storage有兩個controller作active/active提供服務),自然在各項效能上是上下起伏不穩定的,現在所得到的高效傳輸能力與高iops,多數是來自SSD硬碟本身的能力。因為是走iSCSI協定,或許也要考量封包碰撞對效能所帶來的影響。
不過如果看在價格上(容量都為12T,一座要價上千萬,另一座只要30萬),我想應該還是一個很好的選擇,當然也要評估風險~~~畢竟大一點的公司應該不會把重要資料庫系統放到國產的nas上,但是如果說是放置檔案伺服器、AD、exchange server或是輕量的資料庫系統,我想它是非常經濟與高效的一種選擇。同樣的,如果公司規模不大,但是又想將所有的系統建置在虛擬環境下,預算又不多,這樣的架構,個人覺得還不錯,C/P值滿高的。
下面測出數的數據與官方公佈的差異很多,主要是因為storage作為esxi server的datastore使用,相關guest os的硬碟是長在這個datastore上的,經過了esxi這一層,因此效能大打折扣。
按上述多產品的實測經驗(RHEL 5.8 64bit + FIO工具),約可得到一個效能降低比率..........約減少75%的效能,即打了25折。這個比率實在讓人難以接受,不過為了享受虛擬化帶來的好處,硬體又是越來越便宜,如果花費的起,應該是要使用它才是。
使用它同時還會帶來一些好處,例如................多個database可集中在一部intel base的主機上執行,後台連接flash storage,提供高IO的效能。
多數高IO負載的資料庫是可以應付的(但如果是高運算負載的資料庫系統,也適用,但要另外設計),同時也可以節省不少資料庫的授權費用。若搭配esxi虛擬化,應用的方式會很多樣化,而且esxi有FT、HA功能,這些功能可以節省額外要花錢購買的容錯軟體費用。
如果未來如果有機會,可以來開箱與分享~~~~



(附圖恕刪)
我想你要問題是,如果只有一櫃,中間的22顆沒有掛,左右兩顆同時掛,會發生啥事?答案是會掛掉。
但正常的情況,有硬體壞掉,你會收到mail 通知,系統管理員應該不會想要忽視它吧,應該會儘快進行更換。
另外忘了提一件事,左右這兩顆它的用料比較好,是用SAS介面的SSD,一顆300g,按時價,也要1萬5。
用這種有品牌的storage是不錯,但是麻煩的就是要簽維護,你沒辦法自已更換這些pchome就買得到的低價硬碟。
因為它有鎖韌體,站在costdown的立場,我高階的應用已經用知名品牌的flash storage系統,較低階的應用,
就會採用cp值爆表的國產storage,雖然有風險,不過如果兩台國產nas作ha,資料互抄,費用也才60萬,應該也還算
划算,而且也作好系統的備援機制,應該還可以接受啦