技嘉在這次 Computex 展中推出的 AI TOP 概念生態系。
雖然 AI 在這一屆的 Computex 展中炒得如火如荼，但是對於一般消費者或是公司行號來說，仍停留在最終端的簡單推論應用上，如果想要將 AI 模型針對自己的應用做本地化（不上雲端）的最佳化調整或是有更高效能的 AI 訓練，現在的門檻真的相當高，除了硬體方面需要較高的配置外，軟體部分也需要精通設定的專人才能進行調校，在各方面都提高了一般公司行號導入 AI 的成本。
而技嘉針對這點，在這次 Computex 展中導入了名為 AI TOP 的生態系設計，透過從硬體到軟體配合的服務，提供地端 AI 訓練需求的解決方案，在接近桌上型電腦的 1600W 電源配置下，提供包括主機板、顯示卡、SSD 等 AI TOP Hardware 系列硬體，搭配自家的 AI TOP Utility 軟體，能支援高達 236B 參數規模的 AI 模型，讓企業可以不用放上雲端，就能進行專屬於自家的 AI 模型訓練與最佳化調整，確保自家資料的隱私性。而技嘉也提供了 AI TOP Tutor 服務為各項 AI TOP 方案提供完整諮詢、硬體安裝教學、以及技術支援。無論是 AI 訓練的初學者或專家，都能輕鬆上手 GIGABYTE AI TOP，展開地端 AI 訓練專案。
技嘉 AI TOP 生態系的優勢，包括可在地化訓練模型、快速設定、具備彈性與升級性、在地化訓練確保隱私與安全以及採用標準供電系統等。
AI TOP HARDWARE 硬體部分的特色，包括針對功耗最佳化設計，針對 AI 訓練需求做出耐久性設計、可升級的配置、甚至是可以安裝在一般住家裡面。
現場展示的技嘉 AI TOP 硬體配置其中之一，這是 AMD 的解決方案，以四張 Radeon Pro W7900 AI TOP 48G GPU 提供運算效能。
整體的架構配置，價格壓在 3 萬美元以下，可以以 10 萬個 Sample 訓練如 Llama 7B 這樣的語言模型，訓練時間則是在 31.6 小時左右，總耗電量則是 56.89 kWh（度），使用 1300W 電源供應器。
當然算力需求更低的，可以選擇兩張 RTX 顯示卡的解決方案。
軟體部份的 AI TOP Utility 軟體，提供訓練時的硬體參數與監控調整，目前顯示的是監控模式，可以讓使用者監控在 AI 訓練時的硬體使用狀態，像是 CPU／GPU 的用量，記憶體／SSD 的用量、訓練設定、訓練 Loss 等等，使用者也可在訓練前可以透過 Experiment 測試模式先對設定進行測試，並且在 Setting 頁面對各項硬體參數進行調整，讓系統在 AI 訓練時能有最佳化的效果。
實驗部分的頁面，可以進行模型資料精度相當的設定，並且針對使用的硬體進行調整。
目前可以在 AI TOP 系統中進行訓練的模型。
雖然說 3 萬美金的售價看起來仍然不便宜，但是對於有 AI 模型訓練需求的企業來說，比對租用雲端主機進行訓練，在長久的持有成本上來看確是比較划算的，而企業也可以透過彈性配置，選擇自己想要的硬體搭配來節省開支，相信在地端裝置效能提升之後，會有越來越多這樣的應用或是服務出現。
AI生態 期待一下
