個人積分：22分
文章編號：56150790
●指SERVER與iSCSI存取透過 10G介面?然後USER端存取Server用1G介面? <<-沒錯~~~
不過朋友公司用的內網是192，我把10GbE介面設成10.x網段與storage的10GbE網卡對接，是封閉網路，等10g switch來了後，就用10GbE網卡直接存取iscsi與192的內網網段
●用的廠牌型號，在我給你的link中，我寫的那一長篇，裡面有說用的是哪個storage。而且也是為了幫朋友的公司，才會進行一模一樣的硬體測試，(朋友公司規格為..........)用synology rs3614rpxs + 6顆micro m500 960GB(特價一顆9600多元)
至於你講的這個：
「我現在都是用RAID 5把所有NAS硬碟都綁一起，若是分硬碟綁群組，再依需求高低分給對應的VM，我想應該效果會比都綁在RAID 5下好，再找時間測試，謝謝。」
您不用測了，效果都是非常的差的，轉vm後的datastore效能至少打到2.5折，也就是除以4或5後就是你的效能。多顆SSD的效果都有限了，你就不要去拆raid group了~~~除了轉成vm後，因為會透過一層vsphere的關係，效能會打2.5折，另外國產機效能更不好的原因是：它沒有專屬的controller，也沒有cache以及標準storage該有的元件，因此還要比2.5折在差一些。
另外你用vm平台，另一個最大的好處就是vmotion以及虛擬機所掛的c或d槽disk的動態擴增，如果按你這樣的作法，除了效能低落外，使用vm最大的好處反而你沒有用到。
國產的storage與soft raid我倒是不怕，只怕它的硬體元件發生問題，不過這個已經是很成熟的產品了，所以不太耽心。
至於一線品牌的，我目前重要的系統是用ibm flash system 840(跑4~5T oracle資料庫)，不確定你公司願不願意花這筆錢，牌價我記得是5000萬
以上，如果你有進一步的問題，我們再討論，以上供您參考
個人積分：126分
文章編號：56156895
廠商後來應該也是找這台給我，只有兩的10G SPF PORT，串DS2015xs兩個10G PORT，在上一階的DS3615xs需要另外買10G網卡(不知有兩PORT的嗎)，價位可能是2015xs的一倍，正在考慮。
●指SERVER與iSCSI存取透過 10G介面?然後USER端存取Server用1G介面? <<-沒錯~~~
不過朋友公司用的內網是192，我把10GbE介面設成10.x網段與storage的10GbE網卡對接，是封閉網路，等10g switch來了後，就用10GbE網卡直接存取iscsi與192的內網網段
嗯，樓主有向我說明此種接法是NAS提供10G的頻寬去SHARE所有1G的頻寬，所以速度上是有幫助的，基本上我應該也會朝此方向規劃，因為10G真的還沒到連CLIENT端都普及的地步，謝謝解說。
●用的廠牌型號，在我給你的link中，我寫的那一長篇，裡面有說用的是哪個storage。而且也是為了幫朋友的公司，才會進行一模一樣的硬體測試，(朋友公司規格為..........)用synology rs3614rpxs + 6顆micro m500 960GB(特價一顆9600多元)
恩，真不好意思，後來再回去詳細看一次，是我疏忽，感謝。
至於你講的這個：
「我現在都是用RAID 5把所有NAS硬碟都綁一起，若是分硬碟綁群組，再依需求高低分給對應的VM，我想應該效果會比都綁在RAID 5下好，再找時間測試，謝謝。」
您不用測了，效果都是非常的差的，轉vm後的datastore效能至少打到2.5折，也就是除以4或5後就是你的效能。多顆SSD的效果都有限了，你就不要去拆raid group了~~~除了轉成vm後，因為會透過一層vsphere的關係，效能會打2.5折，另外國產機效能更不好的原因是：它沒有專屬的controller，也沒有cache以及標準storage該有的元件，因此還要比2.5折在差一些。
嗯，高IO的服務我還是打算直接用Server上的RAID去跑(目前我的SQL就是用這樣跑，應付需求算感覺跟裝在實體機沒什麼差別)，至於是Raid 5還是Raid 6，如果以效能為前題，不知如果是您，會使用那種形式?
另外你用vm平台，另一個最大的好處就是vmotion以及虛擬機所掛的c或d槽disk的動態擴增，如果按你這樣的作法，除了效能低落外，使用vm最大的好處反而你沒有用到。
本來最好的想法就是兩台Server+兩台Storage做HA，若硬體需要維護隨時可以vMotion到別台空出來維護，就不用等半夜了。
但現在經費問題，SQL這種高IO的服務看起來是不可能直接透過國產NAS上跑了iSCSI了，笑能實在............
至於備份vm我是利用ESXi內建的備份程式排程自動循環備份到比較便宜的NAS上。
測試過一般的file Print DC ....等等服務在國產NAS DS713+上跑iSCSI是可以勝任的。可能是內部對file server存取度也不是那麼高，目前還沒遇到什麼問題。
國產的storage與soft raid我倒是不怕，只怕它的硬體元件發生問題，不過這個已經是很成熟的產品了，所以不太耽心。
至於一線品牌的，我目前重要的系統是用ibm flash system 840(跑4~5T oracle資料庫)，不確定你公司願不願意花這筆錢，牌價我記得是5000萬
我就曾發生過Q牌POWER故障，開不開的了機看機器心情，鬧脾氣直接斷電，送修還得自己包裝寄回頗麻煩........不是很好的體驗。(還是企業機喔)
S牌看企業機是說可以提供備機做臨時替代.........不過我也不敢想能服務到多好，畢竟這樣的價位能做到這樣已經算不錯了。
看到5000萬.........只能說有錢真好！哈哈哈！
以上，如果你有進一步的問題，我們再討論，以上供您參考
再次感謝您的回覆，受益良多，感恩在心。
山頂上的微風吹，心跟著四處飛~*
個人積分：22分
文章編號：56169372
但是剛提到，ds2015xs主機的cpu好像不是很好，而且10G網卡也不確定是哪一家牌子的，這樣你買下來也不少錢，我覺得預算在提高一點，你不如買
QNAP 威聯通 TVS-871-i3-4G 8-Bay NAS 約45000元，當然要外加一張10g網卡，一般這種中小的公司，如果公司在it預算不高的情況下，還是建議走RJ-45的10GbE環境好了，如果走光纖，一堆gbic與光纖線，那些費用就不得了了，你買這一台，在加購一張10G網卡(Intel X540-T2 Dual Port 10Gb(RJ-45)>>13800元，還可以低一點)
這樣在storage的部份你比原來的synology ds2015xs約多了15000元，而且是走rj-45線路，storage也是intel 的cpu
不過這個你要自已衡量，我個人覺得ds2015xs的10G應該跑不出好的成績，問題可能還是出在主機的cpu以及10G網卡的效能，之前我在測試時，就有發現，nas把10g網卡當作controller的角色，還滿吃重的，如果ds2015xs內建，(實體我沒拆過也沒有測試過，所以不敢下斷語)，效能可能沒有這麼棒
##########################################################
關於你問題：高IO的服務.............恕刪
你說你用server上的raid去跑，是插SSD嗎？還是插傳統馬達硬碟，以hp dl380 G7 15K轉速，146g、SAS介面，這一顆馬達硬碟的IOPS最高也就140~150，hp dl 380有8個插槽，插滿作raid 5，只有7顆有在工作，150*7=1050 IOPS，你看看這樣的IO夠嗎？如果用ssd，io的效能可以榨出來，但我不確定你是否有架esxi，如果是esxi使用localdisk (datastore1)，你可以得到高io，不過就是要除以4或5，以一般micro mx200 1T的規格來看：
這個網址有詳細測試 http://www.storagereview.com/crucial_mx200_ssd_review
除4後，random 4K，你得到read 2000 IOPS，7500write的效能，看來尚可接受，但是如果是傳輸能力呢？你還要考慮備份的問題，為何會這樣講，主因：hp dl380 g8/g9它是SAS的插槽，對於SAS的硬碟插入，它提供6Gb的傳輸能力，同時它兼容SATA介面，但是如果是插入STAT SSD的硬碟，它的傳輸能力就會降規，變成3Gb，無法將SATA III的能力(約750MB/s)發揮出來。
如果都是插SSD，我會選擇RAID5，因為1T的SSD在rebuild時，約1小時就完成，比起7200轉sata傳統硬碟要10多個小時，快得很，而且ssd比較貴，我會比較以容量空間的考量來設計，會捨棄raid6。
######################
你說.......但現在經費問題，SQL這種高IO的服務看起來是不可能直接透過國產NAS上跑了iSCSI了，笑能實在....
這個部份你一定要上10g走iscsi，效能我應該可以給你打包票，比ibm flash system 840，差一半，但即使是差一半，也非常足夠了，我那台4T的oracle db，本來也以為會吃的很兇，沒想到，最多也才吃了ibm 840 1萬~15000的iops，還外加rman fully backup呦~~~~~而國產NAS上跑10G iSCSI+SSD，IOPS平均水準來到16000~22000，這個是綽綽有餘了，而且你應該儘早轉到這種架構上，預算問題你可以想一下辦法，synolog rs3614rpxs，一台空機96000元成交，你可以先買一台，至於SSD的空間，就慢慢買，反正nas 的raid group可以後面把新增的ssd加入，不用重作。
我之前沒有測10G網卡跑iscsi，一樣的nas，4條1gbe的網路作channel group(multi-path)，跑出的速度只有120MB/s，慢到可以，而且還不穩定，會上下飄(會飄是正常的，因為沒有專門的controller在handle)
你使用vm，建議就把ft的功能也打開吧，你的sql它可以撐的住，只怕vCPU不夠力，因為後端的io提升，會把前端機器的cpu榨乾的。
##############################
使用國產硬體...............確實要耽心一下，不過.....................它沒有這些storage複雜的零組件，就只有主機版與cpu+ram +fan，我覺得可以信任它的，你在參考一下吧。
######################
目前朋友環境一切跑的很順，10G switch下個月也到貨了。目前他起guest os db(rhel 5.8+oracle 11gr2 64bbit)+guest os ap(rhel 5.8 +tiptop)，另外起veem backup來備份guest os ，其他的file server、ad、ms sql也都陸續轉上來了，效能是非常的快，他也很耽心one point failure，我也只能告訴他，明年預算多編一點了。
加油，我覺得虛擬化之後，最大的好處不是別的，就只有一點我最滿意....................機器當機，我在也不必回公司，一樣遠端連回公司，esix console重開那台機器就ok了。
以上你參考參考
solomonqoo wrote:
●你好，是d-link...(恕刪)
個人積分：126分
文章編號：56174417
==>目前考慮RS3614RPxs或是DS3615xs，後者是直立式，沒有雙電源供應
這樣在storage的部份你比原來的synology ds2015xs約多了15000元，而且是走rj-45線路，storage也是intel 的cpu
==>嗯，目前規劃走RJ45 10G
##########################################################
關於你問題：高IO的服務.............恕刪
你說你用server上的raid去跑，是插SSD嗎？還是插傳統馬達硬碟，以hp dl380 G7 15K轉速，146g、SAS介面，這一顆馬達硬碟的IOPS最高也就140~150，hp dl 380有8個插槽，插滿作raid 5，只有7顆有在工作，150*7=1050 IOPS，你看看這樣的IO夠嗎？
==>我目前的兩個MS SQL是在IBM 3650 M4 架ESXi下跑兩個VM，VM都存放在IBM 3650 M4 本機下硬碟跑，12* 900G SAS 1萬轉做RAID 5，跑起來就像是將SQL安裝在實體機上跑一樣快，沒什麼感覺有差。
依照大大的說法，若是我NAS都安裝WD黑標企業7200轉的硬碟，跑VM效能再打個五折，vSphere再打個2折，難怪效能會.......
本來RS3614RPxs或是DS3615xs打算裝兩顆SSD快取+10顆企業級WD 3TB 7200，但經過大大介紹SSD，目前有個想法，美光Micron Crucial MX200 500GB 或是 Intel 730系列 480GB 直接裝10顆做RAID 5，然後兩顆WD 4TB企業級硬碟做VM備份。
原先的 QNAP TS879 PRO 加買 Intel X540-T2 Dual Port 10Gb(RJ-45) 網卡，然後硬碟也更換8顆SSD，這樣就有兩台NAS可以做vmotion，靈活度會高很多。
另兩台QNAP TS869 PRO就資料當備份機。
10G SWITCH廠商是報這台給我 合勤XS1920-12 12埠10GbE智慧型網管交換器，價位比光纖便宜一半以上，有兩個SPF跟10個RJ45，兩個SPF可以串我的其它SWITCH。
##############################
使用國產硬體...............確實要耽心一下，不過.....................它沒有這些storage複雜的零組件，就只有主機版與cpu+ram +fan，我覺得可以信任它的，你在參考一下吧。
==>嗯，經費不多的情況下我是覺得經濟實惠，介面也有中文很友善，像小弟我自家也是一台工作站 + NAS DS213+ ，1G網路環境下iSCSI跑三台VM(MAIL WEB XP)也是穩穩順順的。
######################
加油，我覺得虛擬化之後，最大的好處不是別的，就只有一點我最滿意....................機器當機，我在也不必回公司，一樣遠端連回公司，esix console重開那台機器就ok了。
==>我還覺得備份還原超方便！若是公司環境vmotion真是好用又方便！
以上你參考參考
真的很感謝您的熱心，分享您工作上的經驗，真是太感謝了！
solomonqoo wrote:
●你好，是d-link...(恕刪)
山頂上的微風吹，心跟著四處飛~*
個人積分：22分
文章編號：56176738
如果預算夠的話，建議你就買rs3614rpxs(我最近有購入兩台，把不那麼高端負載的系統放到上面，角色就是的esxi datastore)
我目前的環境，讓我不太可能選用10GbE-T (RJ-45)的設備，應該清一色使用sfp+ 光纖，雖然我也覺得rj-45銅線是方便低成本的，但環境就已經這樣了。
你說你目前的應用，12*900g sas 1萬轉作raid 5，可以跑出來的IOPS約 1500~1800，如果你的系統負載沒有那麼重，短期看來是可以負荷的。就我公司之前的環境配置(舊系統)，跑hds 2500 Storage，一個4T的lun(由2個8+1的15K 450G HD建構的raid group所切出來的lun)約有9顆在跑，1顆IOPS約160，總IOPS約1500，執行datawarehouse系統，4T datafile，storage的lun常年是滿載高負荷，後來使用flash，觀察它的負載，平時至少要有2500~3000的IOPS才夠用。
該如何配置，完全看你的系統需求，我這邊也只是我的環境分亨。
##################
你說：
本來RS3614RPxs或是DS3615xs打算裝兩顆SSD快取+10顆企業級WD 3TB 7200，但經過大大介紹SSD，目前有個想法，美光Micron Crucial MX200 500GB 或是 Intel 730系列 480GB 直接裝10顆做RAID 5，然後兩顆WD 4TB企業級硬碟做VM備份。
原先的 QNAP TS879 PRO 加買 Intel X540-T2 Dual Port 10Gb(RJ-45) 網卡，然後硬碟也更換8顆SSD，這樣就有兩台NAS可以做vmotion，靈活度會高很多。
另兩台QNAP TS869 PRO就資料當備份機。
10G SWITCH廠商是報這台給我 合勤XS1920-12 12埠10GbE智慧型網管交換器，價位比光纖便宜一半以上，有兩個SPF跟10個RJ45，兩個SPF可以串我的其它SWITCH。
##################
原來你有這麼多NAS設備呦，
新購Synology RS3614RPxs *1 (可上10Gb網卡，注意，它也是要額外購買10Gbe網卡呦~)
舊有QNAP TS879 PRO *1 (可上10Gb網卡)
舊有QNAP TS869 PRO * 2 (只能跑1GbE)
我覺得你規劃的很好(如果可以選rpxs，還是選dual power的會比較保險)
3614安裝10顆500g ssd + 2顆4T馬達硬碟(請記得購買intel x540-t2，需額外購買，有在原廠硬體清單中支援)
ts879安裝10顆500g ssd(intel x540-t2不確定qnap原廠硬體清單是否有支援這一塊，好像僅支援x520-t2)
(最好問一下測試一下，儘量不要買x520-t2跟x540-t，這兩款型號卡片上有風扇，風扇容易故障，你可以上google查一下它的圖片)
你前端可能就使用原有的伺服器硬體，不確定你有幾台，而且規格要一樣，這樣guest os vmotion時，才比較安心，後面有兩座storage，就可以進行storage vmotion了。
所以你前端的伺服器，有幾台安裝esxi server，就要買幾片10G網卡，這樣接上10G switch，才會快又方便。
-----------------------------------
我在建議一下，你那要安裝的2顆4T馬達硬碟，它的應用，我覺得你可以讓它直接給guest os當作iscsi target來掛載，這樣可以避開經過esxi server一層的效能耗損，而且你也很明確的規劃，這個4T的空間，就是要作vm的備份，既然要備份，速度也不能太慢，如果掛成esxi datastore，效能就不好了。
建議你使用veem backup (它一定要安裝在英文版的os呦)軟體來備份guest os，在這一台安裝veem backup的guest os上(暫稱hcbk01)，再安裝veritas backup exec，來備份file server、mail server、ms sql server。
同樣的，你4T的硬碟作iscsi target掛成hcbk01的D槽，你另外兩台TS869，也透過1GbE的網路線，將所有空間作成iscsi target，給hcbk01來掛載為E、F槽，存放file server、mail server、ms sql server這些備份資料。
一般來說，除了erp、mes db我們需要永久保留(上磁帶)，其他的資料如file server，一般就是3個月就可以cycle了。按上述的規劃，就還滿適合的，如果有錢，記得添購一下lto5或6的磁帶裝置，備份資料庫，這樣就可以符合稽核作業了。
------------------------------------------------------------
以上，供您參考
solomonqoo wrote:
●你好，是d-link...(恕刪)
個人積分：126分
文章編號：56177973
http://blog.faq-book.com/?p=6158
(最好問一下測試一下，儘量不要買x520-t2跟x540-t，這兩款型號卡片上有風扇，風扇容易故障，你可以上google查一下它的圖片)
早先查資料就聽說10G網卡很熱，要散熱風扇，還聽說10G SWITCH也因為散熱問題很吵.....不過在機房的話基本上就還好。還好有大大的經驗，我會避開這些問題，順便請廠商幫我確認 TS879是否支援x540-t2網卡，謝謝。
因用內建的備份程式與SCRIPT，必需是掛載成datastore，但我備份的部份都是掛成NFS，目前跑起來都很順，換上10G後應該可以更省，若是備份到 TS869 1G環境，也還能接受，反正是半夜跑不到1小時就備完(FILE SERVER要比較久點)
磁帶裝置應該是下次我會推的重點，完全沒經驗，得花很多時間做功課了。
再次感謝大大，真高興版上有您跟樓主這樣熱心分享的人，謝謝。
山頂上的微風吹，心跟著四處飛~*
個人積分：22分
文章編號：56178257
另外一提，很多人都有疑問，關於SSD到底適不適合拿來 run file server、database等等 以及壽命的問題，關於這一點，我真的不耽心，你可以看一下，我之前測試cisco invicta flash storage 以及pureStorage FA-420，這兩款在ithome也有被納入flash storage 的介紹，我拿到機器時，儲存元件就是一般 pchome買到的平價SSD，256g的，一顆約3500元。
當然這些設備牌價也是貴到一個不行，但是竟然使用平價SSD，拿來當黃金來賣，看來真是好賺。
對於讀寫壽命的部份，這些storage有設計要分散讀寫到每個SSD，所以號稱壽命會很長，而且這兩台最後測出的效能，也是落在3萬iops，(256G滿插24 slot)，而synolog rs3614rpxs，也有1.6~2.2萬的表現，按synolog原廠的規格來看，好像是歸就於該機種 cpu太低檔，所以表現比較差一點。
所以我覺得不用花到500萬，也能擁有500萬設備4/5~3/5的效能，我覺得相當划算(synolog這樣一組約35萬，還滿超值的)
當然這些名牌廠商的設備是有鎖韌體，不能買市售的SSD來替換。
對於這些名牌的storage使用平價SSD，強調他的controller有針對資料的儲放與寫入有特殊設計過，但我也認為傳統的raid 5也是有某種程度的平均寫入能力，只是效果可能沒有專屬controller來的強，所以我覺得使用國產的nas配上SSD，SSD的壽命也不會很短，應該是沒有問題的。
這是pureStorage FA-420的機器
這是cisco invicta appliance的機器
以上資訊，與你分享
個人積分：126分
文章編號：59948121
個人積分：22分
文章編號：59953551
