4TB RAID1修復花了10個小時

fakeman1999

26分

21樓

fakeman1999

個人積分：26分

文章編號：55698304

小笨賢 wrote:
所以說~~
小 NAS上的 HDD 壽命短很多~~
PC上有很大的RAM可以快取, 還會自動重整, 電源也比較穩...
連RAID 1 重建都要搞那麼久, RAID 5 還搞更久, 而且NAS硬碟還卡卡的來回一直跑, 很容易重建的時候也掛點!!
NAS充其量就省電.方便而已!! 要嘛就大系統NAS..不然就直接用PC建立RAID還比較好+安全!!

這是錯誤的觀念，NAS 或是大型 server，建 RAID 的話也是在做同一個事情，相同型號硬碟分別放這兩系統使用，壞的機率也是一樣

a19560714

226分

22樓

a19560714

個人積分：226分

文章編號：55698585

小笨賢 wrote:
NAS充其量就省電.方便而已!! 要嘛就大系統NAS..不然就直接用PC建立RAID還比較好+安全!!...(恕刪)

無論是具有 RAID 的硬碟外接盒，或是使用 PC 來組 RAID，或是 MC(mini computer)來組RAID，都是要承擔同樣的風險，主要是目前硬碟的轉速、讀寫速度，大都是一個樣，就算是企業碟也沒快多少。因此當單個硬碟容量越來越大，組成 RAID 5 之後的重建時間就會越來越長，在重建時間內找到隱性損壞而使整個RAID崩解的機率也越來越高，這些並非 NAS 的『專利』，而是只要組成 RAID 後的『通病』。

以前硬碟容量小，可能需要許多 10G 20G 之類的硬碟來組成幾百幾千 G 來存放龐大的資料，而這些小容量的硬碟，重建時間不長，現在硬碟容量越來越大，是否值得組 RAID 來承擔風險才是關鍵。 Synology 最近發表 HA 系統，利用兩台 NAS 進行同步，且當主系統故障時，備用系統立即取代主系統，這應該也是因應 RAID5 的高風險而生的方式。

其實安全的資料保存方式，不是同機備分，而是異機備份，最好的方式則是異地備份。

有興趣的話，可用關鍵字『資料救援』去查查看，到底有多少慘案發生。我想那些指名道姓的，應該不是虛構才對。

solomonqoo

22分

23樓

solomonqoo

個人積分：22分

文章編號：55699072

之前測試過一台美國品牌的storage[PureStorage]型號是：FA-420，讓我印相非常深刻，為何印相深刻呢？因為它rebuled的時間只要10~30秒，無論是多大的disk組成的，後來我仔細的觀察，發現它隨時都在運算raid (array)的結構與成員，所以..............

例如你有一個機箱(Enclosure)內為24個slot，共有24個256G的硬碟(這次的經驗是使用SSD)，扣掉最左側與最右側各一顆，作運算機制用途的硬碟，剩下22顆，作完raid 5後剩為5T多，但預設啟用Dedupe功能，因此系統顯示可用空間達10T左右，然後開始測試：

如果你的資料有2T，整座系統可以讓你拔硬碟，一直拔到剩下9顆(最左右兩側運算碟不算)，系統都不會損壞，而且10秒恢復正常，甚至可以更少顆約5顆，因為它具備Thin Provisioning以及Dedupe（資料去重複化）的功能。拔了差不多後，再插回新的硬碟，一樣每插一顆，就10~30秒，它就rebuled完成(重新計算raid 成員)。

(只要系統顯示完成rebuild作業，就可以進行插拔，而且是隨意一顆的插拔。當初也以為是背景在作rebuild，不可能10~30秒就完成rebuild作業，因此也作了隨機插拔的測試，只要10~30秒內系統說rebuild完成，即進行任意一顆SSD插拔，結果一切正常~~~這種能力與功能，真的很實用，也方便)

之前還測試過，如果就現有小容量硬碟組成的raid進行全面升級大容量硬碟作業，它也很簡單，就是直接把小容量硬碟一個一個拔下來，當然測試時是慢慢拔的，一顆拔完約等5~10秒，等系統提示rebuild(重新運算)完成，再拔第二顆，一直拔下去................也可以拔一顆小的，插一顆大的，等所有小容量換完，空間就變大了，期間是不用停機的。(推估應該是controller與左右兩側硬碟在進行資料與raid結構運算)

當然還有測試過其他的flash storage產品，各位如果有興趣，可以到iTHOME搜尋一下關於flash storage的資料，個人有幸把國內外幾個品牌的flash storage玩過一輪，感嘆科技真是進步。

Flash-based固態儲存storage，按iTHOME對現有市場產品，分成了三種各具特色的產品類型—1、傳統磁碟陣列SSD版、2、專屬硬體式Flash陣列與3、通用硬體式Flash陣列。

因為手上工作任務的關係，目標是找尋最快、最好的flash storage產品，所以...........傳統磁碟陣列加入SSD硬碟的storage，就沒有考慮進行測試評估，因此目標就鎖定在「專屬硬體式Flash陣列」與「通用硬體式Flash陣列」

專屬硬體式flash storage測試過IBM flashsystem 820、840，以及Violin 6264的storage
通用硬體式Flash storage測試過PureStorage FA-420，以及Cisco Invicta appliance(就是一個2u機箱包含controller與24個硬碟slot插槽，一個獨立的機箱)

很可惜沒有測試到cisco invicta scaling 系統，主要是思科美國那邊有一點ship的問題，因此只有測試appliance。
這邊補充一下，PureStorage是屬於scaling up的型式，意即擴充機箱只能得到空間，無法得到效能的提升，型號(controller的頭)即決定此座系統的效能表現；cisco invicta scaling系統是屬於scaling out的產品，擴充機箱，即可提升效能，但有一個上限值。

各家的特色在iTHOME上都查的到，經過實際的測試，前前後後算一算這四最產品，應該測試了有6個月的時間，四套產品同時出現在機房內，同步測試，最主要的測試應用是在高負載的oracle資料庫，轉移到esxi vsphere系統上的環境可行性。

上述方案真的是很棒的方案，不過並不是每套系統都要用這麼好的硬體平台，因此最近就開始測試平價方案，目前使用synology RS3613RPxs + 12顆micron mx100 256G SSD + intel X520-SR2 10GbE網卡的效能測試，前端搭載2台 hp dl380 G7 + hp nc552sfp 10GbE網卡，因手邊沒有現成的10GbE switch設備，所以先用cisco UCS FI-6248 Switch先行連接測試，配合安裝esxi 5.5 u2 server，形成如下圖架構：

經過簡易的測試，在瞬時檔案傳輸的能力上，與專屬硬體flash storage，相差沒有非常大，不過長時間read/write大檔案，以及多套guest os同時read/write檔案，整體的效能會大幅降低，並不穩定；而在IOPS上，自然是遠遠比不上，同樣是上下起伏的，但維持在1.6~2.2萬間。

還有在讀寫的穩定度來說，平價的storage，它沒有建置專用硬體controller，沒有cache的設計(或許主機板上的RAM會充當cache)，也沒有硬體的raid card，僅以網路卡作為controller的角色，soft raid建立陣列機制，並把網路port-channel LACP(線路容錯)作為HA的應用(不像標準的storage有兩個controller作active/active提供服務)，自然在各項效能上是上下起伏不穩定的，現在所得到的高效傳輸能力與高iops，多數是來自SSD硬碟本身的能力。因為是走iSCSI協定，或許也要考量封包碰撞對效能所帶來的影響。

不過如果看在價格上(容量都為12T，一座要價上千萬，另一座只要30萬)，我想應該還是一個很好的選擇，當然也要評估風險~~~畢竟大一點的公司應該不會把重要資料庫系統放到國產的nas上，但是如果說是放置檔案伺服器、AD、exchange server或是輕量的資料庫系統，我想它是非常經濟與高效的一種選擇。同樣的，如果公司規模不大，但是又想將所有的系統建置在虛擬環境下，預算又不多，這樣的架構，個人覺得還不錯，C/P值滿高的。

下面測出數的數據與官方公佈的差異很多，主要是因為storage作為esxi server的datastore使用，相關guest os的硬碟是長在這個datastore上的，經過了esxi這一層，因此效能大打折扣。

按上述多產品的實測經驗(RHEL 5.8 64bit + FIO工具)，約可得到一個效能降低比率..........約減少75%的效能，即打了25折。這個比率實在讓人難以接受，不過為了享受虛擬化帶來的好處，硬體又是越來越便宜，如果花費的起，應該是要使用它才是。

使用它同時還會帶來一些好處，例如................多個database可集中在一部intel base的主機上執行，後台連接flash storage,提供高IO的效能。

多數高IO負載的資料庫是可以應付的(但如果是高運算負載的資料庫系統，也適用，但要另外設計)，同時也可以節省不少資料庫的授權費用。若搭配esxi虛擬化，應用的方式會很多樣化，而且esxi有FT、HA功能，這些功能可以節省額外要花錢購買的容錯軟體費用。

如果未來如果有機會，可以來開箱與分享~~~~

old.ghost

32分

樓主

old.ghost

個人積分：32分

文章編號：55699598

xup6bjo45j4 wrote:
可能是那個硬碟屬於低轉速吧!

是的，我的HDD是5400轉的。

old.ghost

32分

樓主

old.ghost

個人積分：32分

文章編號：55699636

貓八爺 wrote:
上傳6百多G的資料至dropbox，快一年了到現在還沒上傳完

我現在已經禁用Cloud Sync了，還不如我PC百度雲客戶端下載來的快。而且最頭疼的是如果Cloud Sync因為某些原因斷線重新連的話，居然又給我同步一堆資料，事實上我根本就沒有改過文件，都是視頻，也不可能去改。可能是文件的mtime可能被某些播放器動到了。

capu168

71分

26樓

capu168

個人積分：71分

文章編號：55773518

雖已過好幾年還是感謝您回文，日後需架構時再來參考，謝謝

solomonqoo wrote:
之前測試過一台美國品...(恕刪)

參觀我的blog http://mygino.org

奸臣

74分

27樓

奸臣

個人積分：74分

文章編號：55775847

大家都好快
我記得我上次3T*3@RAID5
其中一顆掛了，換了一顆上去
印象中跑了50多個小時

後來又插上去一顆
變成3T*4@RAID6
印象也是跑了40～50個小時

話說後來有點後悔
我一路擴增到了3T*6@RAID6
我是想說未來容量不夠用的話，可以降為3T*6@RAID5
結果後來我發現我找不到可以降回RAID5的選項了！！

npc

861分

28樓

npc

個人積分：861分

文章編號：55778694

a19560714 wrote:
...這要等勇者 NPC 換上最後一個之後，才知道 4*4T 的重建時間，可預期的應該會超過 30 小時。
擴充應該比重建的時間多一些。...(恕刪)

勇者歸來...(還好結果不是變烈士

)

以下是 4TB*4 (RAID5) 重建四次的實戰紀錄：

最後一次(disk#2)是接連依序包含兩個動作:重建+擴增總容量，所以可以大概推算出擴增所需時間。

過程還有兩次自動重 reboot！....以前都不會這樣，自從二月過保固以後，就常常發生，雖然對資料沒影響，但重建時發生總是很驚嚇。

將將！順利將 3TB*4 (RAID5) 擴充成 4TB*4 (RAID5)：