法國 AI 新創 ZML 推出跨平台推論伺服器,挑戰硬體供應商壟斷
備受矚目的法國 AI 新創 ZML 近日推出全新 LLM 推論伺服器「ZML/LLMD」,旨在打破晶片間的藩籬。
全新產品允許各種開源大語言模型(LLM)可以不同晶片運行,包括輝達(Nvidia)、超微(AMD)、Google 的 TPU、蘋果 Metal 及 Intel Arc。ZML 創辦人 Steeve Morin 表示,公司野心在打破硬體孤島,讓不同晶片處理 AI 任務時都能發揮最大可用速度,有時甚至更快。
AI 營運成本居高不下,能用各種晶片達到頂級效能,不僅是技術突破,更可能顛覆市場格局。ZML 希望為企業和雲端服務商提供更多選擇,能混合使用成本較低或能耗較低的晶片。Morin 表示:「這個想法是為了讓用戶重新獲得建立自己系統的主導權,並實現真正的效率提升,推動 AI 普及。」Morin 觀察到,軟體輔助有助新興 AI 晶片製造商(許多來自歐洲,如 Axelera、Fractile、Kalray、OLIX、Q.ANT、SiPearl、SpiNNcloud 和 VSORA)在國際舞台展露頭角。但比起晶片商所在地,他更看重 ZML 能與之合作完成「全球前所未有」嘗試。
這並不代表 Morin 看空輝達。部分原因在輝達供應量不夠,且 ZML 與輝達關係良好,輝達也在積極回應推論市場崛起。
AI 推論已成投資熱點,被譽為「推論淘金熱」。ZML 面臨不少競爭對手,包括近期估值達 130 億美元的 Baseten、開源專案 vLLM 團隊創立的 Inferact,以及 SGLang 背後的商業公司 RadixArk。雖然 vLLM 和 SGLang 與 LLMD 有部分競爭關係,但 Morin 對 ZML 的願景宏大,他透露甚至已進入「共同設計晶片」階段。他將 ZML 快速發展與後續計畫歸功於僅 20 人的精簡團隊。




























































































