自己是IT人員，公司算是中小企業
近期公司有想要訓練我們自己的資料庫
可以作客服或是內部技術來用
有爬了些文章，會想以運算效能跟能處理的模型大小為第一考量
還在思考軟硬體要往哪個面向添購才能一次到位
目前是確定如果要養AI
資料應該是以文字跟表格為主，算圖的需求不高
想請益看看有沒有人公司有類似的工作站
或是伺服器是服役中並且覺得不錯的？
個人積分：158分
文章編號：90033196
個人積分：151分
文章編號：90033507
個人積分：5722分
文章編號：90033717
另外mac 頂配 m.2 60c 192g 頂級版本也是可以做 大概三十多萬出頭
個人積分：189分
文章編號：90033871
(附連結)可以往這方面再研究看看。
https://www.gigabyte.com/tw/Graphics-Card/GV-N407TSAI-TOP-16GD#kf
沒NVLink串聯微調廢得要命，3090/4090是最最最基本搞LLM的顯卡，在它之下完全不需要考慮，更別提有些AI服務還不支援
訓練模型最重要的是 單精算力+超大顯示記憶一體 亂推薦一通 不支持NVLink 你調用模型設參數會整死你自己 沒有開源封包可以用 要自己寫專案
個人積分：2036分
文章編號：90033940
chien1650 wrote:
自己是IT人員，公司...(恕刪)
伺服器無非是HP、DELL這些大廠
重點是你們的需求確切是甚麼? 以及預算?
公司有錢?
H100 一張 130 多萬幹啥都行，一張不夠想橫向擴展，有錢完全不是問題
Azure 雲端 GPU 直接開下去
預算不夠?
A100 80G 適合微調、推理
L40S 48G 適合單卡微調、推理，比 A100 好一點 (不爆顯存)
RTX A6000 48G 優勢在顯存大小，否則微調、推理能力比 4090 24G 還爛
RTX 6000 Ada 強於 A6000，優勢類似，能力跟 4090 有 87% 像
A40 48G 可以考慮一下，A100的弱化版，有NVLink 串聯微調效率好不少
其他 A2, A10, A30, L4, L40 就不提了，可以自己去看一下 manual，沒必要考慮
總於言之，暫定的需求想清楚，要一步到位沒錢絕對做不到
目前的情況公司打算推什麼服務，就用那個服務(微調or推理)來估配備要採買哪一種類型
丐版LLM服務器：4090x2，也不是不行不是嗎
話說真的有人很擅長用Mac微調嗎? RD會吐血吧
RTX 6000 Ada 算力比較強 目前就這張 串兩張 ADA差別就是支援度比較好
謝謝詳細的建議，還是在初步規劃狀態，會試著跟老闆討論看看，個人也會再好好研究一番！
個人積分：121分
文章編號：90034799
個人積分：2520分
文章編號：90035543
關於AI工作站或伺服器，除了某些特殊的大企業或提供科技服務公司，
不然有點搞不懂為什麼要自己架AI工作站或伺服器?
中小企業更不用說，哪來的財力做這事?
不能付費用外面的AI嗎?
你買進來AI工作站或伺服器，當然上面沒付任何APP或服務，
所以你公司要自己開發這些服務?
你公司是開發這些服務然後提供給外面的公司嗎?
如果不是，為什麼要這麼做?
你需要用到photoshop這類的修圖軟體，只要去買來用或租用就可以了，
沒必要自己開發photoshop來自用吧?
多數人和一般中小企業，
應該都是用外面的AI工作站或伺服器上面提供的服務，
如chatgpt，使用一些付費才有的功能，
例如生成圖片，生成影片，文件產出之類的。
有人說生產線改用AI機器人或是某些系統(如ERP)改用AI之類的，
只能說中短期內不可能，未來才有可能。
現在的工廠生產線本就有自動化生產的設備(程序機器)，
上面本就有各種感應和偵測裝置(配合程序，也算是另類AI)，
依照"制定好的程序"來運作本就可以滿足生產，沒必要特別去搞AI。
ERP同理，
本就需要配合資料庫和軟體依照"制定好的程序"來運作，AI用途不大。
當然不否認跟以往一樣，很多東西會拿流行字眼來搭順風車，
明明只是單純的程序判斷，也會說是AI。
當然是有需求，能不能落實是一回事，然後photoshop不會拿走用戶的素材，這是最重要的一點，宣稱不調用客戶資料的AI服務也很多，要不要用又是另一回事
目前都還是在比較初步的狀態，感謝大神建議！提案上會再跟老闆詳細討論（希望我們老闆可以聽進去），加上這方面也算是自己比較不熟的區域會再研究一下
個人積分：283分
文章編號：90035679
個人積分：79分
文章編號：90036101
早點導入AI也是一件好事，免得員工自己偷偷用結果給IT整一波大的 (整包專案直接送上去)
