Intel跑步進入AI PC時代!13代酷睿支援160億參數大模型、Arc顯示卡提速54%

生成式AI(AIGC)無疑是當下最熱門的話題和應用,各家軟硬體廠商都在全力投入。

作為擁有強大硬體、廣泛生態的行業領袖,Intel也正在大力推動PC AIGC應用的落地,從硬體到軟體提供全方位支援。

目前在PC平台上,Intel已發佈的12/13代酷睿、Arc A系列顯示卡,以及即將發佈的下一代酷睿,都能滿足AIGC對於高算力的需求。

再加上軟體生態的建構和模型的最佳化,AIGC場景在桌上型電腦、輕薄本、全能本、遊戲本等裝置上都能落地應用,從而大大提高熱門的日常生活、工作效率。

其中,基於OpenVINO PyTorch後端的方案,通過Pytorch API,可以讓社區開源模型很好地運行在Intel客戶端處理器、整合顯示卡、獨立顯示卡和專用AI引擎之上。

比如說, Stable Diffusion的實現Automatic1111 WebUI,已經能夠通過上述方式,在Intel處理器、顯示卡上運行FP16浮點精度的模型,支援文生圖、圖生圖、局部修復等功能。

Intel跑步進入AI PC時代!13代酷睿支援160億參數大模型、Arc顯示卡提速54%

更進一步地,Intel通過模型最佳化,降低了模型對硬體資源的需求,進而提升了模型的推理速度,讓社區開源模型能夠很好地運行在PC上。

眼下,Intel 13代酷睿通過XPU加速、low-bit量化,以及其它軟體層面的最佳化,可以讓最高達160億參數的大語言模型,通過BigDL-LLM框架運行在16GB及以上記憶體容量的個人電腦上。

已經驗證過的模型包括但不限於:LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper等,並通過Transformers、LangChain API介面支援Windows、Linux的作業系統。

Intel跑步進入AI PC時代!13代酷睿支援160億參數大模型、Arc顯示卡提速54%

即將發佈的代號Meteor Lake的酷睿Ultra系列,更會成為PC AI歷史上的重要里程碑。

酷睿Ultra它將通過分離式模組架構,整合名為“VPU”的獨立AI加速單元,為PC使用者提供AI驅動的新功能、新應用,比如Adobe Premiere Pro中的自動重新構圖、場景編輯檢測等等,還有更高效的機器學習加速。

目前,Intel正與PC產業夥伴合作,加速AI加速應用的落地和普及,未來後續基帶產品也會進一步擴展AI能力。


Intel跑步進入AI PC時代!13代酷睿支援160億參數大模型、Arc顯示卡提速54%

另一方面,Intel Arc銳炫顯示卡通過驅動和補丁更新,已經可以較好地支援Stable Diffusion,性能提升效果相當顯著。

Tom's Hardware就分別測試了Arc A770 16GB、Arc A750,使用了Automatic1111 WebUI OpenVINO。

在此之前,Arc A770 16GB、Arc A450的性能相比RTX 4060落後在20%左右,如今分別大幅提升了54%、40%,對比RTX 4060能分別領先25%、6%。


Intel跑步進入AI PC時代!13代酷睿支援160億參數大模型、Arc顯示卡提速54%

Intel跑步進入AI PC時代!13代酷睿支援160億參數大模型、Arc顯示卡提速54%


要知道,它倆的遊戲性能其實遠不如RTX 4060,但如今AI效率卻更高,足可見Intel的硬體性能和軟體最佳化相當給力。

再看看AMD顯示卡的表現,就更加凸顯Intel的進步了,RX 6000系列的效率依然低得令人髮指,RX 6800都只有Arc A750的一半多一點點。
昨晚就看到了

INTEL 招募了許多前 AMD / NVIDIA 大將

AMD 真的要加油了, 晶片只靠台GG的製造能力 是不夠的

設計能力亟待提升, AV1 解碼還輸 INTEL
AMD RX7900 有在市場販售, Tom 為何挑 6000的顯卡測?

不過, AMD 的顯卡部門真的該加油.
都用 GG 同一工藝了, 人家就懂把超高功耗換算力,
你的設計團隊就很會按在良心, 說不幹這事.

至少做出超高功耗的版本嘛~
就是有人會有需求, 就讓這些人買.

另外, 我抱怨個本站沒講過的:
AMD 在 PS5 跟這麼多遊戲廠商合作, 遊戲優化支援度理該
遠好於 NV, 事實上在 PC 卻非如此!
AMD GPU 部門不應該好好加油嗎?
ya19881217
stephenchenwwc CUDA生態老黃已經布局16年了,用N卡來執行其他深度運算等奇葩應用可以節省一大堆麻煩,對一些開發工作者而言A卡就真的是拿來打遊戲用的,N卡則是全面型的戰神。
formal0328
AMD的顯卡問題真得比Nvidia多 遊戲易當機 真的要加油
stephenchenwwc wrote:
AMD RX7900..另外, 我抱怨個本站沒講過的:......
AMD 在 PS5 跟這麼多遊戲廠商合作, 遊戲優化支援度理該
遠好於 NV, 事實上在 PC 卻非如此!
AMD GPU 部門不應該好好加油嗎?拇指向下.(恕刪)

後面說的跟AMD無關,跟遊戲開發商有關。

同樣的資源 市佔率誰高用誰的優化。
比如說 A VS N 3:7,開發階段最好的方式是 使用N家提供的解決方案,再者 使用開發遊戲引擎 對誰優化 ,當然是N,原因是誰叫他 是爸爸啊。

爸爸說 來使用我的方案你可以減少多少開發時間,成本,為了避免壟斷 我有提供轉換 解決方案,比如說用UE引擎開發轉換平台 ,可以轉 ps5, 但如果用 PC 的話會最佳化N
stephenchenwwc
PC 硬體占比是如此. 但遊戲機的量也很猛, AMD 似乎沒有將精力花在 PC 方. 否則, 以和遊戲開發商合作的時間和數量, AMD 應該至少和 NV 追至將平才對吧!
stephenchenwwc wrote:
不過, AMD 的顯卡部門真的該加油.
都用 GG 同一工藝了, 人家就懂把超高功耗換算力,
你的設計團隊就很會按在良心, 說不幹這事.

至少做出超高功耗的版本嘛~
就是有人會有需求, 就讓這些人買.


AMD做的是對的事
stephenchenwwc
以功耗的角度言, 是的.
多一家競爭未必不是好事
這樣進步空間才快
INTEL都有針對AVC1
現在又對AI優化
看來AI應用會越來越快了
把握當下、愛要即時;勿以惡小而為之、勿以善小而不為。
實際使用 A770 16G 的路過

只能說~Intel還有一段時間要努力。

雖然 A770 可以利用 OpenVINO的方式跑 SD
但~~OpenVINO實際使用
不如 利用 DirectML 方式跑 SD 來的彈性


不過~~出圖速度真的也不慢就是了
(上週有再購入 4060TI 16G,比較後的結果)

但~重點來了~
為什麼我會再購入 4060Ti 16G 呢?
因為,A770無法用來【訓練】 LoRA模型!
目前較有名的訓練模型的 GUI,就我查閱資料及實際使用,是 Kohya_SS、Dreambooth、Easy LoRA Script,都是基於 CUDA 開發的項目。
(且有透過Intel官方技術支援,來回詢問:官方給出的就是以 OpenVINO的方式運行SD,且明說,因CUDA是Nvidia家專利,要訓練LoRA模型,請改用Nvidia顯卡。而如上所述,此方式運行的介面,不夠彈性)

目前~大多開源平台上,最多人使用並討論的,
都是基於 Nvidia CUDA 開發出來的程式~
(因為使用者重多咩~而且還有 xformers & cuda 專武的功能)

實際心得
因為要訓練 LoRA,不得不購入 Nvidia的顯卡~
但我並不否定 Arc A770 帶給我的使用體驗,
以及Intel 官方對於驅動的優化更新,以及官方技術支援的部份。
真的讓我感覺,有在認真努力。
只不過,真的還是有一段路要走就是了
天羽工坊-幸福影像設計 https://amhs.tw
ya19881217
布局了16年的CUDA生態 可不是玩假的[XD]
satre
ya19881217 對阿!所以~~不得不忍痛賣掉購入不到一年的 A770 & T600,改購入 4060Ti 16G~這樣一波操作~賠了不少錢 [orz]
主要是intel到底有沒有要在顯卡這塊繼續發展?

還是在宣示老子的內顯也能很威猛?選擇intel處理器才是最佳解決方案?
借場子問一下, 我在 VMware 17 建立 16GB VM, display 記憶體 給了 8 GB

按照 AUTOMATIC1111 指引
裝了 Git, Python 3.10, 排除了 NVIDIA / xformer error, 裝了 Image Browser 及 Infinity Image Browser tension
下載了 3個 model/check point, 也可啟動 SD Web UI,

webui-user.bat 內容

@echo off

set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS= --xformers --lowvram --precision full --no-half --skip-torch-cuda-test

call webui.bat

切換 model / checkpoint 都有看到 Web UI 在掃描 , 但卻都無法看到任何 image




網路有人提到 Git log, 我的看起來. 不熟悉 Git, 該如何修正?

commit 68f336bd994bed5442ad95bad6b6ad5564a5409a (HEAD -> master, tag: v1.5.1, origin/multiple_loaded_models, origin/master, origin/HEAD)
Merge: a3ddf464 50973ec7
Author: AUTOMATIC1111 <16777216c@gmail.com>
Date: Thu Jul 27 09:02:22 2023 +0300

Merge branch 'release_candidate'

commit 50973ec77c297edc3b3c581e871b970dde1af8ba
Author: AUTOMATIC1111 <16777216c@gmail.com>
Date: Thu Jul 27 09:02:02 2023 +0300

update the changelog

commit f82e08cf45e9eb0ea4fa15825f27313b8e78a73c
Author: AUTOMATIC1111 <16777216c@gmail.com>
Date: Thu Jul 27 09:00:47 2023 +0300

update lora extension to work with python 3.8

commit 3039925b2746441b8ee2bd18c1f4cdfb9aaea65d
Author: AUTOMATIC1111 <16777216c@gmail.com>
Date: Wed Jul 26 15:19:02 2023 +0300

update readme

commit 8220cf37da8130980b036535bc2fba6b89417158
Author: AUTOMATIC1111 <16777216c@gmail.com>
Date: Wed Jul 26 15:17:37 2023 +0300

Merge pull request #12020 from Littleor/dev

Fix the error in rendering the name and description in the extra network UI.

commit 055461ae41436e0fcbdf9f5c6b82c9441c6b5b5f
Author: AUTOMATIC1111 <16777216c@gmail.com>
Date: Wed Jul 26 15:07:56 2023 +0300
關閉廣告
文章分享
評分
評分
複製連結

今日熱門文章 網友點擊推薦!