QSAN XCubeNAS XN5004T 4Bay+1 NAS 實測分享

繼上次向廠商借測的 XN3002T ZFS 2Bay+1 NAS 之後 (XN3002T分享文可參考這裡), 這次又再次商借一台最新推出的 XN5004T 4Bay+1 NAS.

實測的重點主要是, XN3002T NAS 是 2Bay+1 的設計, 雖然可以組 RAID5 (zfs raidz1), 但這多的 1bay是 2.5", 一般較常的應用方式是採用 RAID1(HDD*2) + SSD cache 的架構, 要實測 RAID5(raidz1) 最好還是 4 bay 以上的 NAS 比較適合, 再者 XN5004T 是採用最新的 Intel Kaby Lake 七代 CPU, 在硬體效能上勢必比 XN3002T Apollo Lake 架構更好. 其中 de-dup & VM 的功能也是 XN3002T 上面所未提供的, 所以在 XN5004T 甫發售即立即向原廠提出借測的請求.


相關連結
ZFS Deduplication 去重覆資料實測
ZFS Snapshot Replication 實測
XN5004T ECC RAM 安裝


XN5004T NAS開箱
























































XN5004T NAS 重點規格

XN5004T 原廠詳細規格說明

這裡僅列出 XN5004T 重點規格.
*Intel Kaby Lake 七代 Celeron 2.9GHz CPU
*8GB DDR4 SO-DIMM (4GB*2), 最大可擴充至 32GB
*USB 3.0 port*5
*8GB USB DOM
*3.5" HDD*4, 2.5" SSD/HDD*1, (SATA 6Gb/s)
*GbE LAN*4
*PCIe Gen3x8 slot for 10GbE/40GbE/Thunderbolt 3.0/SAS Adapter

如上面所列規格, XN5004T 同樣採用ZFS 作業系統, 並有一 PCIe slot 可用於擴充 10GbE/40GbE/Thunderbolt/SAS card. 你沒有看錯, 在過去僅見 QNAP 推出 Thunderbolt NAS, 而 QSAN XCubeNAS 同樣也支援 Thunderbolt interface.


10GbE 實測

這次商借的機器只有 XN5004T 一台, 在原廠相容列表上所見到的相容 10GbE 網卡為 Intel X550-T2 網卡, 可惜小弟手上沒有這張卡, 所以就先拿之前在 Taobao 買的 Mellanox ConnectX-2 10G 網卡來試看看.

這張拆機卡就是大家俗稱的 NT$500 10G 網卡,


裝上 XN5004T 竟然能夠正確抓到! 真是太神奇了.



Windows 10 PC 為 Intel i5-7400, SuperMicro C7Z170-OCE 主板. 搭配 Asus ROG AREION 10G 網卡. 這樣 Asus 網卡為 RJ45 接頭, 而 Mellanox 為 SFP+, 中間當然要再透過一台 10G Switch.



這台 XS508M 也是向 NETGEAR 代理商特別商借來的, 趕在除夕前一天收到貨, XS508M 是 10G 無網管 switch, 基本上就是把線都全接起來就對了, 本身支援 jumbo frame, 也不需要什麼特殊設定.

XN5004T 上面是使用了四顆 WD Red 4TB NAS 碟, 建立 RAID5.



測試的工具為 iometer 2006 版 (沒有用 1.1 新版是因為 iometer 1.1 在 windows 10 下看不到 network share drive).
*Asus 10G 網卡及 XN5004T 上的 Mellanox Connectx-2 網卡都開啟 jumbo frame 9000
*4 Workers
*8GB iobw.tst file
*Outstanding I/Os: 1 per target
*Write transfer size: 64K Sequential 100%, Write 100%
*Read transfer size: 64K Sequential 100%, Read 100%

Windows SAMBA throughput:
read 大約 800MB/s



write 大約 768MB/s


這跑出來的數值比我預期的高, 是不是 memory 本身 cache 影響? 如果有網友能提供其他測試意見也歡迎指正.

Intel X540-AT2 10GbE
手上有一張 Intel X540-AT2 10GbE 網卡, 也拿來插上 XN5004T 試看看, 實測的結果, 無法偵測到這張 10G 網卡.
FB:VoIP電話技術交流
2018-02-15 0:49 #1
Mellanox ConnectX-3 Pro

在前面開箱照中安裝的是 Mellanox ConnectX-3 Pro Dual Port 10GbE 網卡. 這張網卡在 XN5004T 上同樣能夠被偵測到.




iometer 循序讀寫測試也大約在 780MB/s 上下.

FB:VoIP電話技術交流
XN3002T snapshot replica to XN5004T 實測

QSAN NAS 透過 zfs file system 快照技術可以快速的將 share folder or iSCSI LUN 複寫(replica) 至遠端的主機.



於備份管理員 > 遠端快照

此處 demo 由 XN3002T replica 至 XN5004T NAS. 選擇目的地 NAS IP 及輸入帳密. 另外 user 可以指定 replica 欲使用的 LAN 網卡, 可以做到分流的作用.


replica share folder or iSCSI LUN


輸入 replica 任務名稱供識別用


選擇來源端的 share folder 及目的端 volume






手動或是排程


建立多組 replica task.


replica job 進行中


在目的端 NAS 的 "快照管理" 可看到複寫過來的 快照.



現在的設計上仍然有幾處可以再加強的部份.
*replica 的速度應能再提速, 在 gigabit 上實測大約 30MB/s 左右.
*job 建立的部份步驟應能再簡化, 最好是能輸入必要的資訊後就能輕鬆建立 job.
*replica 目的端的快照管理建議要能和本機快照做區分. 現今設計是在同一頁面.
*replica snapshot 現在無法立即線上檢視裡面的檔案及目錄, 此點較不方便. (現在變通的做法就是做 snapshot clone)
*replica snapshot 在目的端的快照現在的設計並未做鎖定, 在安全性上此點建議必須加以考量)
FB:VoIP電話技術交流
ZFS with ECC Memory

HKEPC 網友眼尖, 發覺這台 XN5004T 採用 ZFS file system, 為何未採用 ECC RAM?, 原本以為是 CPU 未支援的關係, 原來 XN5/7/8 系列設計上皆有支援 ECC RAM, 但 XN5000 是選配, 而 XN8000 系列 ECC RAM 為標配.

手上剛好有支 ECC DDR4 SO-DIMM, 插上 XN5004T 果然有支援.

FB:VoIP電話技術交流
QSAN NAS ZFS Deduplication實測


XN5000/7000/8000 系列支援 ZFS Deduplication(去重覆資料) 技術, 由於採用的是 inline block level de-dup, 在資料寫入 NAS 時就會即時的判別資料的重覆性, 使得硬碟可資利用空間大為提高.

於 QSM 控制台欲啟用 de-dup '重覆資料刪除' 功能時, 系統會提示必須啟用 SSD cache 功能.


XN5004T 4Bay+1 其中有 1 bay 2.5" 就是專為 SSD cache 設計的.


啟用 de-dup 後, 看到控制面板這個畫面, 一時間還真的不曉得 0.48X 去除重覆率如何計算出來. 翻遍了手冊也沒有解釋.



從做中學
乾脆自己實作看看. QSAN de-dup 可以針對 iSCSI LUN & Volume 來做 de-dup, user 可以自行選擇欲加入 de-dup 的 LUN & Volume, 由於 de-dup 在寫入時必須即時判別資料的重覆性, 勢必對於檔案寫入的效能造成影響, 所以 user 可以因應自己的實務需求, 對於需要高速存取的檔案, 就將它排除在 de-dup 之外, 其他像備份等資料, 就能啟用 de-dup 功能.

在實作中建立一 vol1 volume, 並將其 inline compress 壓縮功能關閉, 這樣也方便觀察 de-dup 的行為. 一開始未存入任何資料時, 去重覆率為 1.00x


copy 一個 10GB 內容全為 00 的檔案進 NAS, 在 de-dup ratio 馬上就看出其變化, 很明顯的, 上方的 10GB 就是檔案存在 NAS 裡面 '應該' 佔有的容量. 而下方的 5MB 為實際儲存的容量. (由於這檔案內容重覆率相當高)


接著再將此 10GB file 再次 copy 進 NAS 其他目錄, 此時總容量就是 20GB, 但真正也僅用了 9MB 存放.


前面測的 10GB file 是內容全為 00 的檔案, 那麼我們找一個壓縮比及重覆率極低的 7.94GB 影片檔. copy 進 NAS, 由於是第一次 copy 進 NAS, 它會 '紮紮實實' 的佔用約 8GB 的儲存空間.


當第二次再將此檔案 copy 進 NAS 不同目錄時, 就可以看出 de-dup 發揮作用了.



簡單說, QSM dashboard 上面所顯示的 '去重複率' 就是顯示 de-dup 的效益比, 由於是採用 block-level de-dup, 和 file-level de-dup 不同的技術, 完全依每個存入 NAS 裡面的 block checksum 來判別是否重覆.


de-dup 功能是否啟用完全看 user 的應用環境, 它本身需要較多的系統資源來處理及判別資料的重覆性, 在啟用 de-dup 後, 大略的估算了一下, 原本在 XN5004T 上面透過 10G 網路寫入大檔案時, 大約有 600MB/s 的效能, 啟用 de-dup 後大約為 300MB/s, 另外就是 de-dup 也需要較多的 SSD cache 空間用來存放 de-dup table(DDT), 建議在 SSD cache 部份在容量及存取效能上也儘可能提高.


De-Dup 對讀寫效能的影響

我們在 XN5004T 上面啟用及停用 de-dup 功能, 並利用 iometer 來大略觀察一下其讀寫效能上的影響. (以 10G 網路測試)

以下是 4 workers, 64KB 0% random, 8GB test file, 分別測試 100% read & 100% write 的效能.

在 read 的效能上, enable & disable de-dup 差異並不是太大, 大約在 800MB/s


在 write 效能上.
enable de-dup.


disable de-dup.


啟用 de-dup 在寫入效能上必定會對寫入效能造成影響. 這部份就由 user 自行做取捨了.

(附註:由於啟用de-dup 必須搭配 SSD Cache, 所以上述的讀取測試上, 實際上又多了一個變數, 就是 SSD read cache)
FB:VoIP電話技術交流
10G 網卡加工

NAS 網卡大多是特殊的擋板, 這次測 XN5004T 用自己的網卡, 只能拆擋板, 但卡不裝擋板又會搖晃. 每次插拔網線都要很小心.











這樣子 NAS 主機就能蓋起來, 主子跳上去踩也沒有關係.

FB:VoIP電話技術交流
QSAN NAS QSM v3.0.2 firmware 更新

今日登入 QSM web UI 時, 系統自動提示有新版 firmware 可供更新.

此次改版的內容不少, 可直接參考官網的 release note.

https://www.qsan.com/zh-tw/data/dl_files/2018-02/Qsan_XCubeNAS_XN_3000_5000_7000_8000_V3.0.2_Release_Note.pdf


FB:VoIP電話技術交流
評分
複製連結