高手請教，要組台十萬元的主機，要作磁碟陣列，請問要如何選購配備呢？

EluSiOn

351分

61樓

EluSiOn

個人積分：351分

文章編號：58391642

slash410 wrote:
請問一下您對Ceph的看法..?

Ceph 需要玩玩看. 我很想嘗試 Ceph (redhat 兩大 distributed file system 一個 ceph [適合 openstack], 一個 glusterfs [適合 glusterfs]. 但是 Ceph 的進入門檻很高! 你一定需要有三個以上的 storage server (), 而且最好是 10 GBe以上的網速連線.

目前我是內心有排斥 Ceph 的, 因為我是忠實的 zfs 的使用者, 目前 zfs 是比 ceph 快又好,而且強大, 但是三年後, 很有可能就是 ceph 比 zfs 快又好而且強大, 我再怎麼喜歡 zfs 也是要學習接受更新更好的檔案格式.

所以我必須要把現有的環境, 一半轉成 ceph 來比較看看, 這部分目前的伺服器需要線上移轉, 對我是非常大的挑戰 (vsphere 換 kvm 就很簡單, 但是 storage 有難度) 我需要2個月的時間準備 (不能我要嘗試新的伺服器, 就讓公司使用的 IT 服務垮了)

我目前使用的 zfs 就是 sds 的一種, 但是它的命運沒有 ceph 來的光明, 它有一個討厭的繼父 (oracle)

Oneplus 8 Pro• Thinkpad T480s• PVE6+OMV4+NextCloud

vincentcheng77

144分

62樓

vincentcheng77

個人積分：144分

文章編號：58412206

fedora wrote:
不用雙網路，一條就...(恕刪)

你看東西的程度就這樣嗎?

我看過兩隻少數不完的案例 , RAID 沒事結果 data lose , 你在那邊 DIY 自以為很厲害值多少錢? 兩個 CFA 要是因為 data lose 所以要加班一星期你的 DIY 價值比一坨屎還不如

我所謂的品牌用手數的出來 , 類似 ASUS 這種白牌水準的就不用提

EluSiOn

351分

63樓

EluSiOn

個人積分：351分

文章編號：58417548

DIY vs 廠牌真的各有優點，硬體是搭配軟體(人的能力）。不同的情況使用不同的搭配。工廠明明要一台卡車/工程車，但是一直推薦法拉利/保時捷是沒有益處的。能力不足的時候，依靠廠商的配置，學習為什麼，把他們的 know how 透過來。

再來看看 Amazon, Google, Facebook 這幾家公司是完全不用品牌機的，而且是超級 DIY. Facebook 的 compute node 甚至是 4台電腦共用一張40gbe的 mellanox connect-4x 的網卡以及一個 PSU. 這樣子的演變是超出傳統 IT 人的思維。如果你認為 fb 這樣的模式是錯誤的，那麼代表在還沒有改變觀念前，上述這些公司是不可能聘請你的。請也別說不稀罕的話，畢竟過去這十年是上述三家公司當著領頭羊帶動著產業往前進。

四個在一個 blade 上面接著一張 Mellanox ConnectX-4 card (可以支援多 hosts) 完全無硬碟, 記憶體是直接焊在主板上的

一個 rack 總共有 192 1540d server, 估計可以跑 307,200 container.

EluSiOn

351分

64樓

EluSiOn

個人積分：351分

文章編號：58417688

簡單的說 IT 絕對的演變一定是由簡入繁再有繁入簡。

allen_yeh

786分

65樓

allen_yeh

個人積分：786分

文章編號：58419988

EluSiOn wrote:
DIY vs 廠牌 ...(恕刪)

你提到的三大龍頭是這樣搞沒錯
也不會有IT業內的人說這樣配置是錯的

第一 facebook這類的業者如果真的斷線了當機了不會像一般公司有那麼急迫性

第二 facebook 機房內能有幾百組你說的這麼簡單的架構主機，一次掛10台也不痛不癢，十萬元台幣能有幾組這樣的機器??十萬元夠買機箱嗎？如果有剩，剩下的錢能買刀伺服器??

facebook能，不代表你能!! 因為facebook總投資是幾千萬幾億，而不是總共十萬台幣

vincentcheng77

144分

66樓

vincentcheng77

個人積分：144分

文章編號：58420360

EluSiOn wrote:
IY vs 廠牌真的各有優點，硬體是搭配軟體(人的能力）。不同的情況使用不同的搭配。工廠明明要一台卡車/工程車，但是一直推薦法拉利/保時捷是沒有益處的。能力不足的時候，依靠廠商的配置，學習為什麼，把他們的 know how 透過來。

再來看看 Amazon, Google, Facebook 這幾家公司是完全不用品牌機的，而且是超級 DIY. Facebook 的 compute node 甚至是 4台電腦共用一張40gbe的 mellanox connect-4x 的網卡以及一個 PSU. 這樣子的演變是超出傳統 IT 人的思維。如果你認為 fb 這樣的模式是錯誤的，那麼代表在還沒有改變觀念前，上述這些公司是不可能聘請你的。請也別說不稀罕的話，畢竟過去這十年是上述三家公司當著領頭羊帶動著產業往前進。

四個在一個 blade 上面接著一張 Mellanox ConnectX-4 card (可以支援多 hosts) 完全無硬碟, 記憶體是直接焊在主板上的

很抱歉喔

我完全不認為這叫DIY , 他們的機器一樣是來自一線品牌廠的 OEM/ODM 製造商 , 用的是自己的BIOS , RD更不用講 , 多的是一線品牌廠被挖去的技術人員 , 用的是優化過的客製環境 , 對他們兩說硬體不是重點 , 他們不走硬體販售這條路.

這跟一般人拿市售的零件兜一兜個 box 出來完全是兩碼子事

EluSiOn

351分

67樓

EluSiOn

個人積分：351分

文章編號：58420770

google 曾經使用的伺服器

這個還不是超級 diy? 連機殼都不要, psu 跟 ups 使用魔鬼粘

facebook 你說是 odm... 但是他們 odm 的角度也是共用網卡共用 psu... 也沒有設計 dual nic dual switch dual psu.

下面這張是 facebook diy 的伺服器, 也絕對不是看起來漂漂亮亮的.

Oneplus 8 Pro• Thinkpad T480s• PVE6+OMV4+NextCloud

EluSiOn

351分

68樓

EluSiOn

個人積分：351分

文章編號：58421292

allen_yeh wrote:
第一 facebook這類的業者如果真的斷線了當機了不會像一般公司有那麼急迫性
第二 facebook 機房內能有幾百組你說的這麼簡單的架構主機，一次掛10台也不痛不癢，十萬元台幣能有幾組這樣的機器??十萬元夠買機箱嗎？如果有剩，剩下的錢能買刀伺服器??
facebook能，不代表你能!! 因為facebook總投資是幾千萬幾億，而不是總共十萬台幣

1. fb 斷線沒有急迫性?! http://www.ithome.com.tw/news/98979 那天 fb 股價有沒有影響? 客戶滿意度有沒有影響? 所以那天 fb 的 operation engineer 都是在睡覺休息沒有急著跳腳就對了.

2. fb 是用簡單便宜的機器 (價格跟一般的文書機不會差太多), 就是預測這些機器就是毀壞, 但是使用兩個node, 三個 node 到 n node 來達到穩定性的.它們不要求貴的機器, 這個好比公司的電腦, 你有看過在同一天, 整個辦公室所有的文書機器硬體都當掉/壞掉結果公司不能上班, 還是你碰到單一一台貴森森的伺服器壞掉, 整個辦公室不能上班? scale out 而不是 scale up, 祝福你繼續抱著 scale up 的觀念. 10萬塊可以買3台文書電腦了 (而且還是很好的).

3. fb 也是人開的公司, 別人能做得到的東西, 你認為就做不到? 放棄了太早了吧, 按照這樣子的思維, yahoo 應該獨大, 因為那個時候 google 比鼻屎還小. MySpace 也應該是 social network 的頭, 因為他獨霸的時候, facebook 也是跟鼻屎一樣大. 祝福你輕易放棄找理由的態度. 剛剛一個大新聞 IBM & SAP 讓 DHL 損失 3.45億歐元這些大廠一樣會失敗的. 因為他們都是人開的公司

Oneplus 8 Pro• Thinkpad T480s• PVE6+OMV4+NextCloud