算力被吹破,xAI 坐擁 55 萬顆 NVIDIA GPU,使用率傳僅 11%

外媒 The Information 報導,馬斯克(Elon Musk)掌控的 xAI 目前只能利用其全部 NVIDIA GPU 逾 10%,表明其 AI 軟體堆疊經過最佳化仍表現平平。

某些公司全力投入自家的軟體堆疊,晶片使用率得以超過 40%,高於一般 35% 至 45% 水準,如 Meta 和 Google 的使用率分別達到 43% 和 46%。

https://technews.tw/2026/05/04/xai-is-reportedly-using-just-11-percent-of-its-550000-nvidia-gpu/

這波泡沫可能開始於算力過剩,拼命買GPU,結果沒人用,再加上中國大陸的高CP值AI,前景不明,未來算力將是白菜價……
cman4434 wrote:
拼命買GPU,結果沒人用


都搞混了,那是軟體的分配技術問題,不是處理器的硬體問題
不是運算需求低,而是多個處理器的運算分配不均

其實一般的個人電腦與手機,一樣有這問題
如cpu某執行續運算量太大,吃某核心100%還不夠用,其他處理核心卻閒閒沒事在等結果
好比一家公司,有任務加班還不夠用,也有人任務很快完成都閒著

理論上不可能完全解決,只能調整分配邏輯盡量提高使用率

但怎會引出 (買GPU,結果沒人用) 之荒謬結論
buzzbee
唬爛不犯法[XD][XD][XD]
cman4434
沒到白菜價,永遠都是供給超過需求
cman4434 wrote:
這波泡沫可能開始於算力過剩,拼命買GPU,結果沒人用,再加上中國大陸的高CP值AI,前景不明,未來算力將是白菜價……


這應該不是沒人用,而是使用效率沒辦法提升,
堆太多GPU並不代表效率就能堆上去,
瓶頸會出現在架構或是傳輸上的問題,無法全方位的利用。
hl4su3a8cl3 wrote:
cman44...(恕刪)
至於 xAI 的分散式訓練網路和軟體堆疊目前仍未成熟,這導致 GPU 閒置時間拉長,資料管道和分析階段也反覆出現瓶頸。
買少一點就沒有閒置率的問題了
可是買少了,股價炒不上去。

現在連"軟體堆疊"都出來了。




對於小規模的部署環境(1,000 顆至 10,000 顆 GPU)而言,這不算是大問題。然而隨著伺服器規模擴大、整合數十萬顆 GPU 後,閒置時間會迅速累積,使用率也會大幅下滑。這導致軟體堆疊中出現若干不一致的狀況,而 xAI 目前存在這樣的問題。這不只 xAI 有發生,而是整個 AI 產業普遍存在的結構性問題,因為大規模的效率提升極為困難。

某些公司全力投入自家的軟體堆疊,晶片使用率得以超過 40%,高於一般 35% 至 45% 水準,如 Meta 和 Google 的使用率分別達到 43% 和 46%。

至於 xAI 的分散式訓練網路和軟體堆疊目前仍未成熟,這導致 GPU 閒置時間拉長,資料管道和分析階段也反覆出現瓶頸。
tteffuB 特肥吧 wrote:
某些公司全力投入自家的軟體堆疊,晶片使用率得以超過 40%,高於一般 35% 至 45% 水準,如 Meta 和 Google 的使用率分別達到 43% 和 46%。


這篇英文原文其實是探討在AI叢集(Cluster)架構中的軟體運作效率現狀。英文用software stacks其實並不專業術語,而是一般性敘述詞,指的就是一缸子在上頭跑的程序。

AI伺服器是一種平行運算架構,資源(CPU/GPU/RAM)的動態分配和排序,需要特別優化,不然就是閒置等待排程。目前做得好不好的就40%GPU利用率為分水嶺,技術實力好的公司高一點,爛的低一點,如此而已。

這個GPU利用率在營運上是個影響AI公司財務規劃的重要因子,如果算力不夠,要嘛優化提升一缸子軟體偕同運算和排程運作效率;要嘛砸更多的錢弄更多GPU拉高最終有效算力。現在米國金融市場最不缺的就是錢,蠢蛋們可以猜猜看如果你是美國人,是去搞軟體優化比較快,還是砸錢種更多AI伺服器比較快?

這樣的簡單原文竟然有看不懂英文,只會中文腦補的天才推導出個狗屁結論說現在"算力過剩"會導致蹦盤云云.........正好證明了台灣媒體實在急需要AI化咩...........
文章分享
評分
評分
複製連結

今日熱門文章 網友點擊推薦!