QNap QTS-Ubuntu 雙系統 NAS TS-x53A 及 OceanKTV 同樂會

pctine wrote:
啊啊! 這原廠才曉得...(恕刪)


看原廠公布的系統架構圖..
我個人猜測..應該是在LXC上實現Ubuntu OS的運作..
將GPU/audio device透過類似vm passthrough的方式運作
所以造成Ubuntu & HD Station兩者不能並存

另外ZFS的版權轉到oracle手上後..也步上MySql的後塵..
所以不要對ZFS有太大的期待了...

個人比較希望下一版的QTS可以提供BTRFS..
順便把kernel從3.12升級到4.x板以上...
畢竟3.12明年就要EOL了..

Makii wrote:
可以提供BTRFS.....(恕刪)


請問一下,為什麼想要用 BTRFS,是要用它的 snapshot 嗎,很久之前(它還沒有RAID5/6)時,有裝過來玩玩,感覺穩定度與效能都不太夠,而且那時還沒有 RAID5,所以就沒有用了。 不過現在有 RAID5 了,或許可以再試一試,不知道現在 BTRFS 已改進多少,它的穩定度還ok嗎,官方說法都是很模擬兩可。

另外 zfs 不是也有出 linux 的版本嗎? 應該也有 snapshot,有人用在 linux 上嗎?
sibuzu wrote:
請問一下,為什麼想要...(恕刪)


最大的原因在於我準備把目前儲存空間升級到36TB..

EXT4有個討厭的i-node..
簡單的說i-node本身也會占用儲存空間
一般人在做format的時候,通常不會去特別設定..
系統defalut有一個Bytes-per-inode轉換比率..
但這個比率相當低..所以會占用大量的block..

我曾經遇過磁碟空間照估計應該還有10多G可用..
但是系統可用空間卻已經歸零...
後來深入研究後發現是data block已經用完
但是i-node還有一堆沒用到..
解決的辦法只有一個...
就只能把那個file system給砍掉重建...

BTRFS是採用動態i-node的方式..基本上已經解決這個問題..
至於raid5/6的function我還沒測試過...
要等到我把目前的檔案整理完..才有足夠的HDD可以做測試...
不過Synology敢把btrfs推上一線..想必應該沒有啥大bug才是..

印象中..Red hat也不建議在超過16TB的partition上使用ext4
目前rhel7 default的file system也改用XFS了..
個人猜測應該是Red hat rhel7正式發佈之前
它們認為btrfs還不成熟,可以用在商業系統上的關係..
所以選擇相關穩定的xfs

ZFS最大的問題在於核心技術都在握在Oracle手上..
加上Oracle這幾年對open source社群的態度..
回頭看看MySql的慘況..殷鑑不遠啊~~
Makii wrote:
看原廠公布的系統架構圖..
我個人猜測..應該是在LXC上實現Ubuntu OS的運作..
將GPU/audio device透過類似vm passthrough的方式運作

目前還沒有包括 kvm/zen/esxi 可以把 i3/i5/i7 內建 Video HD passthrough 給 VM/Docker/LXC. GPU 大部分嘗試的只有 AMD & NVidia 特定型號的顯卡可以成功.

再來就是 Qnap 通常使用的主板的 pch 都不太夠, 所以進入到 iommu_groups 的時候, 顯卡會跟其它一大堆內建的裝置都在同一個 group 裡面需要一起 passthrough.

所以我很好奇 qnap 的架構模式.

Makii wrote:
另外ZFS的版權轉到oracle手上後..也步上MySql的後塵..
所以不要對ZFS有太大的期待了...

Oracle 是出了名, 買下 GPL opensource 後, 然後給它死. Open Office (目前是送給了 apache) & MySQL. 但是 ZFS 它是從 Sun 那邊接手過來的, Oracle 還是持續開發新版本的 ZFS, 它沒有讓 ZFS 死掉, 還是它的金雞母, 只是它不再開源 ZFS 了.

從 wiki 來看 https://en.wikipedia.org/wiki/ZFS
目前開源版的 ZFS 是第28版 跟 Oracle 版的 ZFS 是 37版. 但是實際功能的差異只有 ZFS encryption 這一點而已. 現在開源的 zfs 是由 http://open-zfs.org/wiki/Main_Page 來主導 bsd, illumos 以及 linux 三種版本的 zfs 是可以互通相容, 以及決定要如何建立新的功能. 這個團隊非常的活躍目前 ZoL 的 package 都有在 ubuntu & centos 裡面, yum & apt-get 都可以直接安裝.

Makii wrote:
個人比較希望下一版的QTS可以提供BTRFS..

BTRFS 是以 zfs 為對手, Oracle 開發的來跟 Sun 的 ZFS 互拼, 結果 Oracle 發現它無法比 sun zfs 做得好, 所以它就把 Sun 買下來, 改成使用 zfs 為主, 後來就把 BTRFS 送給開源團體. BTRFS 單獨使用是"非常"穩定的, 但是當它跟其他的服務互動時, 就變得非常不穩定, 但是 2015年下半年它是變成穩定的 staus, 在 cento 7.2/ ubuntu 16.04 應該就可以 100% 支援 BTRFS

但是 BTRFS 無法使用 ssd 加速, 它沒有支援 LZ4 壓縮 (work in progress), 它不支援 virtual block device (重度 VM 用戶就不太愛了), 它好像無法做出 iscsi target. 它的 dm-crypt 大家還是嚇死不敢用, 雖然它的官網一直說非常安全 (不過99% 的 idc 用戶根本不會加密他們的 fs, 但是對於金融業卻是很重要). 它也沒有 de-dup 的功能, 不過現在開 dedup 的人太少了, 因為記憶體用的太兇, 記憶體比硬碟貴太多了.

sibuzu wrote:
zfs 不是也有出 linux 的版本嗎? 應該也有 snapshot,有人用在 linux 上嗎?

我從 2013年就開始用 zfs on linux 在 production 的環境, 它的 snapshot, clone & bookmark 都很好用.非常成熟. 現在連轉跑 kvm 的 distribution Proxmox VE4 都原生支援 zfs.

Makii wrote:
Red hat也不建議在超過16TB的partition上使用ext4
目前rhel7 default的file system也改用XFS了..

xfs 是 Red Hat 的檔案格式啊, 只有它們還在開發, 雖然啊它的爸爸是Silicon Graphics. xfs 的問題是它不支援 lz4 壓縮, 而且它沒有 thin provision 模式, 重度 VM 使用者又把它給槍斃了. 目前它處理 Metadata 還是很糟糕, 也就是說當你在 xfs 的檔案格式下刪除檔案時, 它的效能誇張的慢! 通常測試不會針對刪除檔案的速度來評比, 但是 xfs 因為太誇張了, 所以現在大家特別注意這個問題.
Oneplus 8 Pro• Thinkpad T480s• PVE6+OMV4+NextCloud
Makii wrote:
看原廠公布的系統架構圖..
我個人猜測..應該是在LXC上實現Ubuntu OS的運作..
我剛剛看懂了它的架構

TS-453A 它的底層是 ubuntu (有一個 ip). 然後它運行一個 contrainer QTS (另外一個 ip) 網頁界面來控制 ubuntu 的 configuration/file share etc. hdd 控制則是有 LVM. 所以任何的硬體或是 audio 都沒有 passthrough. 最重要的原因是 Qnap TS453a 的 cpu 不支援 VT-d, 所以不可能 pci passthrough. 多謝 Maki 的文讓我陷入思考跟研究, 才了解 Qnap 的做法. (我真的沒有想到 qnap 把自己的 qts 放到 container 裡面, 當作一個程式來執行), 現在我比較好奇的是當我們 ssh 進去 qnap 的 ip, 到底是在 container 下面還是在 ubuntu 下面?

Qsirch 是透過 lxc 跟 host 的內部 disk mount 來做 index (不會消耗任何網絡資源) 的確是很乾淨的架構.

https://www.qnap.com/images/products/NAS/vsseries/QTSxUbuntu.png

看來目前 Qnap 還是不會放棄掉它們自己特殊版本的 linux/debian. 雖然用 lxc 來跑不會增加太多的系統負擔, 但是還是多吃個 50~80 mb 的記憶體, 不過總比重寫快速部署太多了. 它們這個方式讓我看到一個可以完全不購買 qnap 任何硬體/軟體, 但是卻可以使用 qnap 所有的管理界面的方式 (不過我不會分享這個方法), 有功力的人自己看 qnap 的圖大概都可以做得到. 只是既然都那麼厲害的人, 應該不會強求一定要使用 qnap 的界面管理才對. (我已經使用過 openmediavault 在 lxc 下面來管理 vm host 的 samba/file share 以及網頁管理界面, 同時再單獨開一個 owncloud 的 lxc 來管理透過 url 分享檔案)

Oneplus 8 Pro• Thinkpad T480s• PVE6+OMV4+NextCloud
請教 EluSiOn

按照您的文章 HOST 是 ubuntu , GHOST 是 QTS

所以 ubuntu 無法關閉 且 IO 都是從 ubuntu 控制

那這樣 DISK 就有機會跑在 ZFS

且關閉 QTS

請問我理解有錯嗎?

謝謝
EluSiOn wrote:
TS-453A 它的底層是 ubuntu (有一個 ip). 然後它運行一個 contrainer QTS (另外一個 ip) 網頁界面來控制 ubuntu 的 configuration/file share etc. hdd 控制則是有 LVM. 所以任何的硬體或是 audio 都沒有 passthrough. 最重要的原因是 Qnap TS453a 的 cpu 不支援 VT-d, 所以不可能 pci passthrough. 多謝 Maki 的文讓我陷入思考跟研究, 才了解 Qnap 的做法. (我真的沒有想到 qnap 把自己的 qts 放到 container 裡面, 當作一個程式來執行), 現在我比較好奇的是當我們 ssh 進去 qnap 的 ip, 到底是在 container 下面還是在 ubuntu 下面?


小弟對於 linux 並不熟悉, 純粹只能用猜測的. 不過小弟對於E兄的推論. TS-x53a 底層是 ubuntu, 然後在上面再架構出 QTS 的想法, 覺得不可思議.

前面有提過 QNap NAS 發展至今已經花了多少年才有如此的規模, QTS 版本不斷在推陳出新不是幾個月就做出現在這個樣子, 今天為了 TS-x53A 推出 ubuntu Station & QTS 雙系統, 結果是完全捨棄掉 QTS 的根基, 重新用 ubuntu 建構出 QNap NAS 的底層, 然後在上面再重做出 QTS 的功能, 光是用想的就覺得不會這樣做.

再者, QNap Virtulization Station 在前面好幾個機種都已經實作很多了, 還有 TAS-x68 QTS+Android 雙系統. 今天再實做一個 Ubuntu Station, 都是技術上的再延伸. 可不要說 TAS-x68 是 Android based, 然後再上面再實作一個 QTS 出來.

況且 Ubuntu Station 是可以關閉的, 我想這個 Topic 可以另開一個, 在上面討論會很精彩的.



Qsirch 是透過 lxc 跟 host 的內部 disk mount 來做 index (不會消耗任何網絡資源) 的確是很乾淨的架構.


Qsirch 小弟覺得它就是一個 Application, 它跟 VM 及什麼 lxc 應該完全無關, 只是很單純的 application 去做全文檢索, 然後有一個 UI 可以操作.


看來目前 Qnap 還是不會放棄掉它們自己特殊版本的 linux/debian. 雖然用 lxc 來跑不會增加太多的系統負擔, 但是還是多吃個 50~80 mb 的記憶體, 不過總比重寫快速部署太多了. 它們這個方式讓我看到一個可以完全不購買 qnap 任何硬體/軟體, 但是卻可以使用 qnap 所有的管理界面的方式 (不過我不會分享這個方法),


QTS 及任何的 NAS 的價值, UI只是其中的一小部份,UI要仿要抄不是難事, 所以拿掉了 QNap 的軟硬體, 只是為了用 QTS UI? 不會有人這樣做, 而且是一點意義都沒有的事.

FB: Pctine
EluSiOn wrote:
但是 BTRFS 無法使用 ssd 加速, 它沒有支援 LZ4 壓縮 (work in progress), 它不支援 virtual block device (重度 VM 用戶就不太愛了), 它好像無法做出 iscsi target. 它的 dm-crypt 大家還是嚇死不敢用, 雖然它的官網一直說非常安全 (不過99% 的 idc 用戶根本不會加密他們的 fs, 但是對於金融業卻是很重要). 它也沒有 de-dup 的功能, 不過現在開 dedup 的人太少了, 因為記憶體用的太兇, 記憶體比硬碟貴太多了...(恕刪)


太多專有名詞了, 一時間完全無法消化.

"btrfs 好像無法做出 iscsi target" 這部份...

btrfs 應該就是一種 file system, 而 iscsi 為 protocol, 在任何 file system 上面實作出以何種 protocol 來操作並非不可能, 這跟用什麼 file system 應該無關. 可以確定的是. synology btrfs 上面可以建 iscsi LUN.


至於 "btrfs 無法用 ssd 加速" 部份. 在一個 system 裡面, 要用什麼方式來加速存取, 是看 system 怎麼設計. 同樣的跟用何種 file system 關係不大.

例如我主要儲存空間是用 btrfs, 而我 ssd cache 可能用 ext4, 我把 hot data 存一份在 ssd cache, 根本就和我 main system 用 btrfs 無關...同樣的. 這只是小弟的猜測.


FB: Pctine
i1537 wrote:
按照您的文章 HOST 是 ubuntu , GHOST 是 QTS
所以 ubuntu 無法關閉 且 IO 都是從 ubuntu 控制
那這樣 DISK 就有機會跑在 ZFS
且關閉 QTS
請問我理解有錯嗎?
謝謝
我不太確定你的問題, 是在問我 qnap ts470 改機模式, 還是 ts453a 怎麼建立 ubuntu station 的. 所以我還是以 ts453a 的角度去回覆.

按照 Qnap 的原廠文件, 以及它使用的 CPU 不支援 VT-D, HD Station (Kodi) 是在 QTS 裡面運行還是在 Ubuntu 裡面運行, 決定那一個是真正的底層架構. 因為 CPU 內建的 GPU 不可能有任何虛擬技術可以 passthrough 的. Kodi 不可能使用軟解播放 4k 影片的, 所以底層是 Ubuntu 是合理判斷. 再來真正控制 I/O Mapper/shsared filesystem (也就是 ssh 進去 /share 下面) 也是出現在 Ubuntu 那塊, 所以它可以說 ubuntu 100% 就是底層, 因為這部分要透過 VM 來做, 絕對會犧牲太多效能. 所以真正管理 file system 的地方就是 ubuntu. 而 QTS 只是 container 去讀取 /share/ 下面的檔案, 透過 samba/nfs 分享出去. 所以如果我把 /share 下面變成 ZFS 的 file system, QTS 依然可以繼續做它的 samba/nfs 的功能, 只是QTS storage manager 的部分, 確定會無法使用, 變得如果 HD SMART 測試失敗, 不知道還會不會發出警告, 但是至少絕對不會使用 storage manager 來做 raid1/raid5

d-bus 是新的 debian/ubuntu 的指令, 可以關閉任何 pci/usb/bluetooth 的控制界面, 所以在那個架構圖中, 可以清楚的看到, qts 透過 lxc 下達 d-bus 指令. 所以它是在 container 裡面.

pctine wrote:
小弟對於 linux 並不熟悉, 純粹只能用猜測的. 不過小弟對於E兄的推論. TS-x53a 底層是 ubuntu, 然後在上面再架構出 QTS 的想法, 覺得不可思議.
不要說你覺得不可思議, 我也是驚訝萬分, 這個推論不是我希望如此而得到的, 而是 Qnap 自己說的

pctine wrote:
前面有提過 QNap NAS 發展至今已經花了多少年才有如此的規模, QTS 版本不斷在推陳出新不是幾個月就做出現在這個樣子, 今天為了 TS-x53A 推出 ubuntu Station & QTS 雙系統, 結果是完全捨棄掉 QTS 的根基, 重新用 ubuntu 建構出 QNap NAS 的底層, 然後在上面再重做出 QTS 的功能, 光是用想的就覺得不會這樣做..
其是 Qnap 這樣子做, 反而是可以維護它多年的成果, 在 container 裡面運行, 它不用擔心 kernel 的問題了, 因為 container 是使用 host 的 kernel, 像是 openssl/gcc+/lib c 等 library 不會因為 kernel 更新跟著強迫更新, 造成 qts 運行失敗, 它還是可以擁有自己的 package dependancy. 反而可以讓 qnap 專注它的強項, 管理 samba/nfs/openvpn 等 nas 需要做的網頁管理界面.

pctine wrote:
再者, QNap Virtulization Station 在前面好幾個機種都已經實作很多了, 還有 TAS-x68 QTS+Android 雙系統. 今天再實做一個 Ubuntu Station, 都是技術上的再延伸. 可不要說 TAS-x68 是 Android based, 然後再上面再實作一個 QTS 出來.
我想這個 Topic 可以另開一個, 在上面討論會很精彩的.
https://www.qnap.com/images/products/NAS/vsseries/TAS-QTS-Android_en.png Qnap 英文版反而說的比中文版清楚 Android™ administers the 4K (H.265) video playback over HDMI, 這個也代表從 tas-x68 開始, qnap 就把自己的qts開始放到 container 了. 因為那個 OS 處理影像 video, 那個 OS 就是底層.

pctine wrote:
Qsirch 小弟覺得它就是一個 Application, 它跟 VM 及什麼 lxc 應該完全無關, 只是很單純的 application 去做全文檢索, 然後有一個 UI 可以操作.


qsirch 還是 qnap 開發的, 它有一定搭配的 kernel 還有 package dependancy, 如果放在 android 或是 ubuntu 裡面運行, 容易搞壞掉 qsirch, 所以它是跟 qts 在同一個 container 裡面.
Oneplus 8 Pro• Thinkpad T480s• PVE6+OMV4+NextCloud

EluSiOn wrote:
qsirch 還是 qnap 開發的, 它有一定搭配的 kernel 還有 package dependancy, 如果放在 android 或是 ubuntu 裡面運行, 容易搞壞掉 qsirch, 所以它是跟 qts 在同一個 container 裡面....(恕刪)


印象中 qsirch 好像跟 Elasticsearch 有關. 只是以常理判斷, 一個全文檢索系統, 並沒有非得在那個平台才能跑的道理. 在 ubuntu 的平台上就容易被搞壞掉??
FB: Pctine
文章分享
評分
評分
複製連結

今日熱門文章 網友點擊推薦!