雖說在今晚的 Keynote 中 NVIDIA 對消費產品的著墨甚少，不過仍然可以在這張投影片中看到 NVIDIA 的 RTX AI 電腦在 AI 運算能力的優勢，當其他平台還在 100 TOPS 左右的算力時，RTX AI 筆電已經可以提供 700 AI TOPS 左右的算力，是其他平台的 7 倍。而今晚 NVIDIA 也公布了更多 RTX AI PC 的新發展，包括 Windows Copilot Runtime 將為本地端PC 小語言模型加入 GPU 加速功能、推出 RTX AI 開發套件等等。
NVIDIA 在簡報一開始中就提到，在這波新的 AI PC 筆記型電腦產品中，將會有超過 200 款會是搭載 RTX 顯示卡的 RTX AI 筆記型電腦，透過 AI Tensor Core 提供最高 686 TOPS 的AI 算力，並且具備超過 500 款以上遊戲或是應用軟體的支援，另外 NVIDIA 豐富的 AI 函式庫以及開發套件，也能為創作者提供更高的創作彈性，就連生成式 AI 或是大型語言模型的推論效能也有比競爭對手高出 7 倍或是 10 倍的效能表現。（點擊可看大圖）
而這次 NVIDIA 與微軟合作，幫助開發者將新的生成式 AI 功能運用在其所開發的 Windows 原生和網路應用程式裡。這次的合作將為應用程式開發者提供方便使用的應用程式介面（API），讓開發者能夠取得由 GPU 加速的小型語言模型（SLM），並啟用由 Windows Copilot Runtime 支援，可在裝置上運行的檢索增強生成（Retrieval-Augmented Generation，RAG）功能。
SLM 模型提供了包括內容摘要、內容生成和任務自動化。而 RAG 功能可讓 AI 模型取得基礎模型中未充分展現的特定領域資訊，進而增強 SLM。開發者可以透過 RAG API 利用專門用於應用程式的資料來源，根據應用程式需求調整 SLM 的行為和功能。這款 API 的開發者預覽版將於今年稍晚推出。
在 RTX AI 開發工具套件部分，這是一款用在 RTX AI PC 上的端到端工作流程，可讓開發者將自己開發的 AI 模型，在 RTX AI PC 上進行自訂、最佳化及部署模型。RTX AI 工具套件將於六月提供給更多開發者使用。
RTX AI 開發工具套件可以提升 4 倍的部屬速度，並且僅需要更小的模型就可運作。開發者可以使用開源的 QLoRa 工具自訂預先訓練好的模型，並使用 NVIDIA TensorRT 模型最佳化工具來量化模型，這樣一來可將 RAM 的使用量縮減成原來的 1/3。而 NVIDIA TensorRT Cloud 接著會將模型調整至最佳狀態，以便徹底發揮 RTX GPU 系列的最佳效能。
至於在本機的 AI 推論效能部分，NVIDIA 則是推出了 NVIDIA AI 推論管理員（AIM）軟體開發套件（SDK）的搶先體驗版本。可在 PC 與雲端環境之間完美協調 AI 推論作業，為 PC 應用程式開發者簡化整合 AI 的複雜性。它還以統一的 NIM 格式為 PC 預先配置必要的人工智慧模型、引擎和依賴關係，並支援所有主要的推論後端，包括橫跨不同處理器（包括 GPU、NPU 和 CPU）的 TensorRT、DirectML、Llama.cpp 和 PyTorch-CUDA。目前已經有包括Adobe、Blackmagic Design 與 Topaz 等主要軟體合作夥伴，將 RTX AI 工具套件的元件加入其熱門的創意應用程式，以加速 RTX PC 上的AI運行效能。
AI 筆電推出這麼多怎麼華碩佔三台微星一台其他的都不算真的AI筆電嗎
