[分享]我的 TrueNAS × QNAP 雙系統備援建構全紀錄

[分享]我的 TrueNAS × QNAP 雙系統備援建構全紀錄

這是一段垃圾佬的折騰與被折騰的故事...
文長3900字,慎入,想挑戰DIY自組NAS的可以參考

前言:為什麼要自己組 NAS?


2015年,實在受夠了硬碟掛掉之後要救援的成本和資料丟失的痛,加上也出社會幾年了開始賺錢,我入手了人生第一台 NAS : QNAP TS-451

有了它之後,這10年來就再也沒丟過資料,加上可以用手機app連回去使用,使用上方便了很多。
但看著前幾年的勒索病毒災情,始終還是有點不太放心,加上10年老硬體瓶頸:

  1. CPU 只有雙核心 J1800,超容易 100% 滿載,導致操作網頁UI時非常卡
  2. 傳輸速度受限於1GbE的網口,上下載都只有110 MB/s
  3. 很多影片格式不支援解碼串流

於是就萌生要換NAS主機的想法,但看來看去品牌機型的價格都讓人望而生畏,直到我看了Huan翼王組DIY NAS的影片:

Huan https://www.youtube.com/watch?v=0BVudZbZGAc
翼王 https://www.youtube.com/watch?v=DOHDSrIAm_8

看到那頂天的CP值和超高可玩性,把心一橫,開始折騰。(想不開)

系統構想與架構設計


目標

  • 主力 NAS:硬體DIY,系統用TrueNAS scale,負責主要儲存、快照、App服務(Plex, Immich, Home Assistant等)
  • 備援 NAS:QNAP TS-451,作為異系統冷備份與災難復原用
  • 網路:10GbE 與PC直連 + 家用 Wi-Fi 設備如手機、電視可連接NAS
  • 備份:依資料重要程度設定不同頻率快照 + 自動排程增量備份
  • 安全:UPS 聯動安全關機 +備援 NAS備份結束後自動關機

雖然沒有做到3+2+1的備份方式,但這樣的安全性我覺得是比較安心的。

DIY NAS先從機殼開始-寶藏盒 pro


關於機殼我想獨立用一段來講,台灣有在做NAS機殼的,比較有名的大概就銀欣和迎廣,選擇很少,甚至喬思伯也是中國品牌,不少做NAS的Youtuber也都是用中國做的NAS機殼,不得不說這些硬體真的還是對岸厲害(包括鍵鼠等外設更是如此),台灣在這塊要加油

回到我的機器,組NAS跟組一般桌機不同,桌機通常是最後才挑機殼,配合零件去選,但組NAS是反過來,機殼幾乎就決定了這台NAS的功能和支援性,所以第一個要先選機殼。

我之所以選 寶藏盒 pro 是因為看到錢韋德的影片:
https://www.youtube.com/watch?v=eB7tbnzKb_E

顏值、做工、用料都在水準之上,唯獨價格RMB1,399,露天$14,000NTD,貴得嚇人
剛好有人出二手而且近全新,$4,000被我撿到,運氣好。

如果撿不到便宜的寶藏盒 pro,我推薦:
見方L8,8bay/ATX主板/全高PCIE/支援單塔扇,擴展性和CPU散熱都更好。
半人馬座,與寶藏盒pro同架構,但進一步改善了諸多小缺點,只是顏值我個人不喜歡。

確定機殼後開始撿垃圾... 硬體清單

[分享]我的 TrueNAS × QNAP 雙系統備援建構全紀錄

選購與組裝心得


  1. 在不影響性能和使用體驗的前提下,能撿二手就撿。電源與風扇類則用全新,確保穩定與安靜。 
  2. Intel 8代CPU相較於9代性能沒太大差異,但價格便宜,內顯可硬解轉碼大部分格式的影片(除了AV1格式外),T版CPU的TDP只有35W,但其實待機功耗有沒有"T"都差不多,價格也差不多,就買T的吧。要極限CP值的話i3-8100也夠用。

  3. 買完主機板後持續找資料做功課,才發現市面上有很多「妖版」,ITX上有8*SATA/10GbE網口/雙M.2/滿血PCIE x16,重點是價格跟我的B365M+10G網卡+SATA擴充卡總和差不多,或是C246M工作站主板也類似,用這些主板好處是PCIE槽可以空出來,未來想玩AI模型可以插顯卡,想玩軟路由可以插2.5GbE四口網卡,可以更彈性。

  4. 剛好把所有硬碟槽裝滿,6*HDD + 2*SATA SSD + 2*M.2 SSD,舒服

  5. 系統碟(M.2)和Metadata碟(SATA)其實可以對調,用M.2來放小檔案的隨機讀寫比SATA更快。但考慮到Metadata碟非常重要,萬一掛了就所有檔案都讀不到了,而系統碟掛了至少資料不會丟失,所以選用企業碟組mirror放Metadata比較穩。[分享]我的 TrueNAS × QNAP 雙系統備援建構全紀錄


  6. 花了$7,000在6顆貓頭鷹風扇上,這麼貴其實有違垃圾佬的宗旨,但貓扇真的非常安靜,即使是跑 Immich 照片辨識任務時CPU長時間滿載,距離1公尺依然完全聽不到聲音,貓扇名不虛傳啦。

  7. 這樣組下來只要同等級的品牌NAS約1/4的成本 (參考TVS-h674-i5-32G & DS1823xs+),加上我砸在貓扇上的錢依然遠比品牌機便宜得多,成就感滿滿


TrueNAS 儲存與系統架構


[分享]我的 TrueNAS × QNAP 雙系統備援建構全紀錄

網路架構與直連設定


家用網路環境

直接看拓樸圖
[分享]我的 TrueNAS × QNAP 雙系統備援建構全紀錄
兩台NAS和路由器要同時接UPS,停電發生時,UPS透過RJ45網口通知主力NAS關機,然後主力NAS再透過區網去通知備援NAS關機,所以路由器也一定要接UPS。

內部10GbE高速直連通道

PC (10GbE USB4 網卡)──10.10.10.0子網直連── 主力NAS 10GbE網口
透過 10GbE 直連通道,PC<->NAS網速終於超過Raid陣列的速度了,加上TrueNAS是用RAM作為讀寫快取,可以無視Raid直接吃滿10GbE網速(1.05GB/s),如果32G RAM快取用完了,RAIDZ2讀寫速度也有超過500MB/s,是原本的5倍快,老婆工作用的資料都是秒傳,我的小姐姐們也都是幾秒就能傳完(懂的都懂)。

而且用子網直連有個好處,即使PC在傳大檔案到NAS,也不會佔用wifi終端對NAS的讀寫及路由器的效能,一舉多得。(雖然實務上很難有這種情境)
[分享]我的 TrueNAS × QNAP 雙系統備援建構全紀錄

耗電


主力TrueNAS + 備援 TS-451
[分享]我的 TrueNAS × QNAP 雙系統備援建構全紀錄
講到DIY NAS 的耗電就傷感情了,跟品牌機比功耗只有被按在地上磨擦的份。

我的待機75W已經算低了(對比Youtuber司波圖組過的機器們),畢竟6*HDD+4*SSD+2張PCIE介面卡+4條RAM待機時都會耗電


=> 平均耗電: 1.8度/日,電費200~250元/月


如果會在意電費,那就多裝一點App榨乾它的效能來提升生活品質吧,划算啦。

遇到的問題與排錯過程


其實這段才是本文要分享的重點
組DIY NAS固然有趣,其實還是遇到很多問題,想分享我是怎麼解決的。

  1. 線材問題

    首先是硬碟倉,機殼附的8643轉SATA線很硬,不容易做大角度彎折,所以在硬碟倉會有撞到散熱扇葉的風險,建議加裝風扇防護網。(貓頭鷹的信仰防護網 +50% DEF)
    [分享]我的 TrueNAS × QNAP 雙系統備援建構全紀錄

    再來是硬碟背板,用料給足是很棒,但大4pin*4這點讓人很頭痛,全漢給的電線沒有大4pin,網路上也找不到全漢的SATA 5pin接大4pin的線,另外買轉接線又不放心,心一橫就直接做客製,下面照片是我做客製線的規格供參考。
    店家是蝦皮的 「小熊♫MOD專賣店」,報我名字不會打折
    [分享]我的 TrueNAS × QNAP 雙系統備援建構全紀錄

  2. 散熱優化

    硬碟倉:雖然有給金屬檔板作為風道阻隔,但檔板與硬碟架之間其實仍有縫隙,會減少吹過硬碟的風流,所以我拿鐵人膠帶把縫隙封住,盡可能讓氣流全部都流過硬碟。
    [分享]我的 TrueNAS × QNAP 雙系統備援建構全紀錄

    系統倉:原廠建議裝2顆6cm風扇,但如錢韋德評測,這散熱效果較差,雖然可以裝9cm風扇,但沒有螺絲孔可以固定,於是我一樣用鐵人膠帶固定住風扇並剛好可以蓋上頂板,且貓扇附帶有減震墊所以不會有共振聲,如下圖右。
    但風流方向是從PCIE向CPU吹,有裝PCIE卡的話會擋到風,這題無解…


    [分享]我的 TrueNAS × QNAP 雙系統備援建構全紀錄
    上述這兩點在半人馬座NAS機殼就都有被改進,但我覺得醜


  3. 硬碟最好買新的(二手品要先測試)

    一開始M.2系統碟是買蝦皮上的二手,想說組mirror很安全,就算系統碟全掛了資料也不會被波及。結果機器組好開始測試就點不亮,原以為是RAM的問題,但怎麼換插都沒用,BIOS也是怎麼改都沒用,最後直接整台送修花了一週$1,500,才知道是二手M.2硬碟壞了,換條新的就正常了,而過半個月賣家依然直接給退,看來賣家也知道自己的硬碟不太穩...硬碟這種關鍵消耗品買新的不會虧…

  4. QTS SSH連線問題 (最痛苦的地方)

    組好開始運行後,設定好SSH金鑰(讓兩台NAS自動握手)與rsync指令開始備份,因為備份NAS 的CPU J1800性能實在羸弱,備份校驗資料讓CPU持續吃滿100%,導致資料傳輸速度只有20~40MB/s,7TB資料足足跑了53小時才備份完。慢是無所謂,更慘的是,主力NAS備份完顯示Error說SSH連接失敗,備援NAS端的SSH金鑰不見了,同時發現主力NAS無法再用SSH連線到備援NAS(備援NAS拒絕握手),且跟ChatGPT一起排查、重設、找資料都沒用,最後發現是QTS(QNAP作業系統)在5.2版改過連線設定導致SSH有bug,網路上也有一些災情,回朔QTS 5.1.5版後金鑰就自己回來了(果然有Bug),但主力NAS依然無法用SSH握手備援NAS,最後決定找原廠支援,請他們工程師來幫我看吧…


  5. 備援機TS-451的Plan B?

    如果SSH搞不定,或未來仍有可能再發,我會放棄QTS,把備援NAS改裝TrueNAS。好處→相同系統彼此的支援度最大,且維護較簡單。壞處→萬一相同系統有bug或安全漏洞有可能會被一波帶走。

    我的想法是,依照我的使用方法,一波帶走的風險不高:
    I. 備援NAS是做冷備份用,增量備份只需要半小時內就完成,完成後自動關機,時間到才會再自動開機備份
    II. 非必要我不會更新備援NAS的作業系統
    III. 主力機萬一中毒我會暫停備援NAS的備份排程,以避免病毒蔓延。

    跟ChatGPT討論過,他給我的建議也是:

    「備援的價值,不是不同系統本身,而是不同命運路徑。」

    也就是說,只要兩台 NAS 不會同時被電力、軟體、病毒、使用者失誤一起波及,
    那它就已經達到了「異命容錯」的效果。
    換成 TrueNAS、QNAP、甚至 OMV,其實都只是形式。


結語與展望


從13歲擁有自己的D槽,到28歲升級成NAS,現在38歲再升級成會自動備份的家庭伺服器。
這套系統不單是存放資料的機器,更是我25年記憶的堡壘(還有小姐姐們溫暖的家),也是服務我家人的智慧核心。

透過這幾個月的(被)折騰,「高速、靜音、安全、可靠」終於實現在我的資料硬碟。
當然也遇到了很多問題和挫折,所幸都有找到解法,代價也都很小。也因為這些過程,我開始接觸快照、備份、Linux、網路架構的「基礎」。雖然接觸愈多就愈覺得自己懂得很少,但無論如何都是提升,當然也不會就此停下腳步,下一步計畫也在慢慢進行中:

  • 等原廠支援搞定備援NAS的SSH,搞不定就改用TrueNAS
  • 研究Docker容器的應用
  • 研究軟路由、OpenWRT和防火牆的應用
  • 如果軟路由能搞定(至少讓我自己能放心),再處理外網連回主力NAS
  • 建置智慧家居 Home Assistant
  • 看還有沒有其他好玩的應用,再陸續加進來

最後用一張開頭我的迷你機櫃做結尾,現在真的懂看著機器我可以發呆半天的浪漫XD。
[分享]我的 TrueNAS × QNAP 雙系統備援建構全紀錄
底下是低音喇叭?
ulimie
正常,不吃掉也會過期。很簡單啊,買一大箱回來讓她吃到爽、吃到乖,她乖你也爽,全家都高興,吃到怕以後就沒事了。跟這一大套比起來,都小錢。
r871113
非常有道理欸[笑到噴淚][笑到噴淚][笑到噴淚]
推diy精神
加分加分
r871113
謝謝!
看到最後一張圖⋯
你是說你花了那麼多心血備份你的資料,然後放個低音喇叭在下面震你的硬碟櫃?
r871113
謝謝關心 原照片是剛組好的時候,當時確實有覺得放低音喇叭不太好,已經撤掉囉😆
我自己一開始是群暉DS214play
後來機器也用不少年了,中途還有會掉盤有回廠處理完後退役了
之後我也搞一台DIY NAS 8盤 i5-10400T,放房間有點吵,當我的冷備份機
再來又去對岸掏一台M.2軟路由小主機兼NAS,放房間又安靜耗電又很低
你可以參考看看買小主機,速度也非常夠用,我還在上頭掛4台VM在上面跑呢!!
r871113
所以是一台全閃NAS+2台冷備份 成本不低呢[口水]
阿德Sky
我防潮箱只放硬碟當冷備份,其實也還好,我看你不也是一台4盤 一台8盤是吧?
我個人認為寶藏盒完全沒有那個價值...即便是改版後的pro都很鳥,但還是恭喜DIY搞出一台能讓自己滿意的NAS!!
r871113
真的是溢價到很誇張了⋯用料是不錯啦,看在顏值我能接受且撿到便宜,不然叫我用原價買我也是下不了手
之前也有考量要不要組一個來放孩子們的成長紀錄
但還是走iCloud方便
r871113
對啊其實都可以 自己用起來順手以及成本(時間精力金錢)能夠接受就是好方法
很不錯的分享 可以好好研究一番
r871113
歡迎交流!
我這樣作就是安靜 低耗電跟資料安全都兼顧,畢竟我的都放房間
r871113
放房間真的要很安靜 不然家人會唸⋯[冷]
用 SSD 組建 NAS,容量小又好貴,又不曉得 NAS 下的 SSD 壽命表現大概會是怎樣?

還有,既然用了 SSD,如果不跑 10G LAN 就太對不起他了,不知他在 10G LAN 下效率如何?
r871113
用SSD組NAS應該是輕鬆跑滿10GbE網速啦,如過用我的6顆HDD組RAIDZ2陣列的效能,大概相當於一般單顆HDD的2.5倍讀寫速度。
r871113
所以即使用相對較慢的SATA SSD組NAS都可以輕鬆跑滿10GbE,壽命的話⋯SSD NAS我就比較沒經驗了
關閉廣告
文章分享
評分
評分
複製連結

今日熱門文章 網友點擊推薦!