目前有台12bay NAS(12HDx3T NAS專用碟)要拿來當虛擬主機的儲存伺服器,重點是在RAID模式的選擇,查了很多文件都是在RAID-6和RAID-10間在比較但各說各話不知二者間到底要選那一種來用會比較好:

考慮的重點及我大致查了一下的狀況
1. 不考慮容量:18T vs 30T 二者容量都能接受
2. 讀寫效能
3. 安全性:RAID-6 > RAID-10
4. Rebuild 效能:RAID10 > RAID-6 (RAID-6這麼多顆不知會不會對Rebuild有幫助,不能使磁碟效能下降過多)

因為要完整測試整個時間太久了,每次重建要先讓RAID整個同步完成才來測試,同步都要一整天,時間有點趕就要正式上線了,所以先來問問有經驗的高手,二者到底那個在12bay NAS的環境下,那個比較適合使用。

=======================
11HD&HotSpare_RAID-6 的部份已先測試完了,基本上他效能比RAID-10好個3~5%, RAID建立同步時間9小時,Rebuild的部份在io輕時重建約11~12小時,重建時的效能測試起來減個10%左右,雖然可能不是很完整的測試但至少可以了解他大致上的效能。

12HD RAID-10 基本上效能比上述的RAID-6低差了快50Mb/s左右,RAID建立同步時間約26小時,Rebuild的部份重建約9小時,重建時效能和RAID-6重建時的效能差不多

雖然RAID-10在不壞到同一個RAID-0架構時可以壞6顆HD, 但這看起來還是比RAID-6還可怕一點,沒人回目前就先用RAID-6使用了
文章關鍵字
你的虛擬主機要放在這台上面跑嗎? 還是這台只提供儲存空間而已?
姑且不論你的用途是什麼
虛擬機的down time會被rebuild限制住
數量切半 分成兩台做HA?
不考慮軟體陣列(如ZFS)加快照備份嗎?
3C的世界裡,別滿腦子只想著"超值"。就像無線網路一樣,別人推薦的,只適用在他家的環境,到了你家又是另外一回事。小烏龜牽到北京也不會變成千里馬。

fz500s wrote:
目前有台12bay...(恕刪)


建議每顆各自獨立,要高IO的VM就單獨放一顆,低IO的VM放在同一顆,除非特別的超高IO需求才弄一個raid 0,挑幾顆來做。

viphone wrote:
你的虛擬主機要放在...(恕刪)


所有的虛擬機vmdk都會在這台NAS上面跑

sueboy wrote:
建議每顆各自獨立,...(恕刪)


如切割開來跑的一定會更慢,我全部合起來不管RAID6 or RAID10整體效能都比單顆好很多,接10G網卡測試出的效能約在R/W:900/800 Mb/s
經驗分享,參考看看~~~~

之前測試過一台美國品牌的storage[PureStorage]型號是:FA-420,讓我印相非常深刻,為何印相深刻呢?因為它rebuled的時間只要10~30秒,無論是多大的disk組成的,後來我仔細的觀察,發現它隨時都在運算raid (array)的結構與成員,所以..............

例如你有一個機箱(Enclosure)內為24個slot,共有24個256G的硬碟(這次的經驗是使用SSD),扣掉最左側與最右側各一顆,作運算機制用途的硬碟,剩下22顆,作完raid 5後剩為5T多,但預設啟用Dedupe功能,因此系統顯示可用空間達10T左右,然後開始測試:

如果你的資料有2T,整座系統可以讓你拔硬碟,一直拔到剩下9顆(最左右兩側運算碟不算),系統都不會損壞,而且10秒恢復正常,甚至可以更少顆約5顆,因為它具備Thin Provisioning以及Dedupe(資料去重複化)的功能。拔了差不多後,再插回新的硬碟,一樣每插一顆,就10~30秒,它就rebuled完成(重新計算raid 成員)。

(只要系統顯示完成rebuild作業,就可以進行插拔,而且是隨意一顆的插拔。當初也以為是背景在作rebuild,不可能10~30秒就完成rebuild作業,因此也作了隨機插拔的測試,只要10~30秒內系統說rebuild完成,即進行任意一顆SSD插拔,結果一切正常~~~這種能力與功能,真的很實用,也方便)

之前還測試過,如果就現有小容量硬碟組成的raid進行全面升級大容量硬碟作業,它也很簡單,就是直接把小容量硬碟一個一個拔下來,當然測試時是慢慢拔的,一顆拔完約等5~10秒,等系統提示rebuild(重新運算)完成,再拔第二顆,一直拔下去................也可以拔一顆小的,插一顆大的,等所有小容量換完,空間就變大了,期間是不用停機的。(推估應該是controller與左右兩側硬碟在進行資料與raid結構運算)

當然還有測試過其他的flash storage產品,各位如果有興趣,可以到iTHOME搜尋一下關於flash storage的資料,個人有幸把國內外幾個品牌的flash storage玩過一輪,感嘆科技真是進步。

Flash-based固態儲存storage,按iTHOME對現有市場產品,分成了三種各具特色的產品類型—1、傳統磁碟陣列SSD版、2、專屬硬體式Flash陣列與3、通用硬體式Flash陣列。

因為手上工作任務的關係,目標是找尋最快、最好的flash storage產品,所以...........傳統磁碟陣列加入SSD硬碟的storage,就沒有考慮進行測試評估,因此目標就鎖定在「專屬硬體式Flash陣列」與「通用硬體式Flash陣列」

專屬硬體式flash storage測試過IBM flashsystem 820、840,以及Violin 6264的storage
通用硬體式Flash storage測試過PureStorage FA-420,以及Cisco Invicta appliance(就是一個2u機箱包含controller與24個硬碟slot插槽,一個獨立的機箱)

很可惜沒有測試到cisco invicta scaling 系統,主要是思科美國那邊有一點ship的問題,因此只有測試appliance。
這邊補充一下,PureStorage是屬於scaling up的型式,意即擴充機箱只能得到空間,無法得到效能的提升,型號(controller的頭)即決定此座系統的效能表現;cisco invicta scaling系統是屬於scaling out的產品,擴充機箱,即可提升效能,但有一個上限值。

各家的特色在iTHOME上都查的到,經過實際的測試,前前後後算一算這四最產品,應該測試了有6個月的時間,四套產品同時出現在機房內,同步測試,最主要的測試應用是在高負載的oracle資料庫,轉移到esxi vsphere系統上的環境可行性。


上述方案真的是很棒的方案,不過並不是每套系統都要用這麼好的硬體平台,因此最近就開始測試平價方案,目前使用synology RS3613RPxs + 12顆micron mx100 256G SSD + intel X520-SR2 10GbE網卡的效能測試,前端搭載2台 hp dl380 G7 + hp nc552sfp 10GbE網卡,因手邊沒有現成的10GbE switch設備,所以先用cisco UCS FI-6248 Switch先行連接測試,配合安裝esxi 5.5 u2 server,形成如下圖架構:

經過簡易的測試,在瞬時檔案傳輸的能力上,與專屬硬體flash storage,相差沒有非常大,不過長時間read/write大檔案,以及多套guest os同時read/write檔案,整體的效能會大幅降低,並不穩定;而在IOPS上,自然是遠遠比不上,同樣是上下起伏的,但維持在1.6~2.2萬間。

還有在讀寫的穩定度來說,平價的storage,它沒有建置專用硬體controller,沒有cache的設計(或許主機板上的RAM會充當cache),也沒有硬體的raid card,僅以網路卡作為controller的角色,soft raid建立陣列機制,並把網路port-channel LACP(線路容錯)作為HA的應用(不像標準的storage有兩個controller作active/active提供服務),自然在各項效能上是上下起伏不穩定的,現在所得到的高效傳輸能力與高iops,多數是來自SSD硬碟本身的能力。因為是走iSCSI協定,或許也要考量封包碰撞對效能所帶來的影響。


不過如果看在價格上(容量都為12T,一座要價上千萬,另一座只要30萬),我想應該還是一個很好的選擇,當然也要評估風險~~~畢竟大一點的公司應該不會把重要資料庫系統放到國產的nas上,但是如果說是放置檔案伺服器、AD、exchange server或是輕量的資料庫系統,我想它是非常經濟與高效的一種選擇。同樣的,如果公司規模不大,但是又想將所有的系統建置在虛擬環境下,預算又不多,這樣的架構,個人覺得還不錯,C/P值滿高的。


下面測出數的數據與官方公佈的差異很多,主要是因為storage作為esxi server的datastore使用,相關guest os的硬碟是長在這個datastore上的,經過了esxi這一層,因此效能大打折扣。

按上述多產品的實測經驗(RHEL 5.8 64bit + FIO工具),約可得到一個效能降低比率..........約減少75%的效能,即打了25折。這個比率實在讓人難以接受,不過為了享受虛擬化帶來的好處,硬體又是越來越便宜,如果花費的起,應該是要使用它才是。

使用它同時還會帶來一些好處,例如................多個database可集中在一部intel base的主機上執行,後台連接flash storage,提供高IO的效能。

多數高IO負載的資料庫是可以應付的(但如果是高運算負載的資料庫系統,也適用,但要另外設計),同時也可以節省不少資料庫的授權費用。若搭配esxi虛擬化,應用的方式會很多樣化,而且esxi有FT、HA功能,這些功能可以節省額外要花錢購買的容錯軟體費用。


如果未來如果有機會,可以來開箱與分享~~~~










(附圖恕刪)
solomonqoo wrote:
美國品牌的storage[PureStorage]型號是:FA-420

請問如果左右兩顆運算用的硬碟掛了的話會如何?
左右兩顆同時掛,自然就掛了,不過,它一套可安裝這種角色的硬碟,最大是可裝4顆,第一台硬碟櫃左右各一顆,第二台硬碟櫃也是左右各一顆,但再往上疊第三櫃、第四櫃,就沒有左右運算用的硬碟了,也就是說二櫃(含)以上,就是四顆作運算,最多可以壞3顆,若只有一櫃,就只有兩顆。

我想你要問題是,如果只有一櫃,中間的22顆沒有掛,左右兩顆同時掛,會發生啥事?答案是會掛掉。

但正常的情況,有硬體壞掉,你會收到mail 通知,系統管理員應該不會想要忽視它吧,應該會儘快進行更換。

另外忘了提一件事,左右這兩顆它的用料比較好,是用SAS介面的SSD,一顆300g,按時價,也要1萬5。


用這種有品牌的storage是不錯,但是麻煩的就是要簽維護,你沒辦法自已更換這些pchome就買得到的低價硬碟。

因為它有鎖韌體,站在costdown的立場,我高階的應用已經用知名品牌的flash storage系統,較低階的應用,

就會採用cp值爆表的國產storage,雖然有風險,不過如果兩台國產nas作ha,資料互抄,費用也才60萬,應該也還算

划算,而且也作好系統的備援機制,應該還可以接受啦

solomonqoo wrote:
經驗分享,參考看看...(恕刪)


請問測試 Synology 的時候, 是用 Raid 5 或 Raid 6 或 Raid 10 呢?
我都是測接上esxi server後的效能,我沒有單機直接接的效能。
就接exti server的,是使用單純的raid 5
文章分享
評分
評分
複製連結

今日熱門文章 網友點擊推薦!