
NVIDIA RTX Video Super Resolution 畫質提升技術。
許多人現在都將串流平台作為主要收看影音內容的來源,甚至有些人家裡已經完全不裝傳統的有線電視頻道,就看 Youtube、Netflix、DisneyPlus 這些平台上面的內容,不過串流平台最大的問題就是在畫質與流暢度,所播放影片的畫質除了會受到帳號設定的限制影響外,網路速度以及播放器的效能也會讓串流影片的流暢度有所變動,甚至某些串流平台根本就沒有提供高解析度的影片內容。根據統計,幾乎有 80% 的串流影片內容,所提供的解析度還停在 1080p 或是更低的等級。
那麼如果從使用者接收端,透過硬體升頻的方式提升畫質,會不會是比較可行的做法呢?NVIDIA 在今年 CES 展中,就推出了名為 RTX Video Super Resolution(VSR) 的串流影片畫質提升技術,透過 RTX 顯示卡的硬體加速功能,以 AI 將低解析度來源的串流影片升頻到 4K 解析度的水準。其實這個 AI 升頻技術的早期版本已經運用在 NVIDIA 自家的 Shield TV 機上盒上,可以在 Shield TV 播放串流影片時,將 480p 解析度的影片升頻至 1080p(關於 Shield TV 的試用可以看一下陳拔先前的測試報告:NVIDIA Shield TV Pro 遊戲機上盒開箱實測 不用主機也能暢玩 3A 遊戲大作)。

NVIDIA 在本周正式將 RTX VSR 畫質提升技術跟隨著新版 GeForce 驅動程式一起上線。

NVIDIA 所提供的 VSR 畫質比較,左邊是一般雙三次插值升頻技術(bicubic upscaling)的畫面,右側為使用 VSR 升頻的畫面。(點擊可看大圖)。
而這次在電腦平台上的推出 VSR 技術,則是透過 RTX 顯示卡上的 Tensor Core 核心與針對升頻與壓縮影像進行處理的深度學習網路,分析低解析度影片的畫格並且預測與目標解析度的畫質差異,然後將分析預測結果疊加到傳統放大技術的升頻影像上,來校正升頻時所產生的錯誤並且提升邊緣畫質。

NVIDIA 官方提供的 VSR 影片升頻流程。
而 NVIDIA 也表示這個 VSR 技術也能夠消除串流影片中常見的色塊或是偽影現象,減少在串流影片播放時所遺失的影片細節,並且對影片畫面的邊緣與細節部分有所強化。而這個技術也將會逐漸擴展到更多影片播放與遊戲執行的層面上。目前 VSR 技術已經運用在 NVIDIA 最新的 Game Ready 驅動程式(531.18 版)上,而 Studio 驅動程式部分則是要等到下一版,適用的顯示卡為 RTX 40 與 RTX 30 系列。在更新驅動程式後,使用者可以透過 NVIDIA 控制面板進行調整,在支援的 Chrome(version 110.0.5481.105 或是更新版本)或是 Edge 瀏覽器(version 110.0.1587.56)播放 Youtube 或是 Netfilx 等串流影片,就能提供 VSR 的畫質加強功能了。
(3 月 8 日更新)NVIDIA 已推出新版 531.26 版Game Ready 驅動程式,修正了 531.18 版本更新後 CPU
使用率偏高的狀況,若有需要的夥伴們可以上官網下載新版驅動更新。

在新版的 GeForce Game Ready 驅動程式中,第一個重點就是 RTX VSR 功能的支援。
NVIDIA RTX Video Super Resolution 升頻畫質設定
當然看完官方的介紹後,總是要實際驗證一下,效果是不是真的那麼神奇,所以陳拔也在測試平台上面安裝了最新版的 NVIDIA Game Ready 驅動程式,來觀看 Mobile01 官方的 Youtube 影片進行測試,首先來看一下 VSR 的設定部分:
在更新了驅動程式之後,可以在 NVIDIA 控制面板中的『調整影像設定』裡,發現一個 『RTX 視訊增強』的選項,要開啟 VSR 的話就將下面的『超高解析度』選項勾起來即可。

品質共有四個程度可以選擇。
NVIDIA RTX Video Super Resolution 升頻畫質驗證

接著陳拔就以 01 官方 Youtube 頻道上,先前吉姆林大大拍攝的 Sony A7R5 8K 樣片進行測試,測試時設定在 1080p 解析度進行播放,大家如果想要觀看原始影片的話,連結在此:
接著陳拔以 4K 解析度分別錄製了未開啟 VSR 功能時的 1080p 解析度、4K 解析度、在 1080p 解析度開啟第一段 VSR、在 1080p 解析度開啟第四段 VSR 的畫面,放到 NVIDIA ICAT 影像比較程式中進行比較:

從左至右分別是 1080p 解析度直接播放、1080p 解析度開啟第一段 VSR、1080p 解析度開啟第四段 VSR 以及 4K 解析度直接播放。

放大來看臉部部分的細節表現,可以看到跟最左側的 1080p 解析度直接播放畫面相比,中央兩個使用 VSR 技術提升畫質的畫面,在邊緣輪廓上都有明顯的加強銳利度,跟最右側的 4K 解析度播放畫面相比,臉部皮膚的細節也有稍微減損(美顏效果?)。(點擊可看大圖)

在放大眼睛部分的細節,可以更清楚看到輪廓銳利度加深以及減損(

而在另一個偏向背光的拍攝情境,來看一下 VSR 在頭頂髮絲高光細節的處理效果。

放大看頭頂髮絲高光細節的部份,可以看到右二開啟 VSR 第四段後的髮絲細節表現,跟最右側的原生 4K 解析度播放相比雖然仍有差異,但是跟最左側的 1080p 解析度播放相比,真的提升很多。(點擊可看大圖)

而背光時的眼睛處理,右二 VSR 第四段的提升幅度就沒有像是亮部那樣的明顯(點擊可看大圖)

第三個在較暗的車內場景,來看一下 VSR 在細節部分的畫質提升表現。

首先看一下人物的部分,基本上還是會有輪廓銳利化加上細節抹除的感覺(點擊可看大圖)

而在 Model 手上產品的細節部分,可以看到中央兩張 VSR 開啟的畫質差異,左邊的第一階與右邊的第四階相比,在白色按鍵邊緣以及下方網格的處理銳利許多。(點擊可看大圖)
看完了畫質比較,接下來看一下開啟 VSR 前後對於顯示卡資源的要求否會有所不同,陳拔比較了 1080p 解析度直接播放、在 1080p 解析度開啟第一階至第四階 VSR 的顯示卡資源用量,以下是在同一場景比較的結果:

比較 VSR 開啟前後的顯示卡資源用量,由左至右分別為 1080p 解析度直接播放、1080p 解析度開啟 VSR 第一階、1080p 解析度開啟 VSR 第二階、1080p 解析度開啟 VSR 第三階、1080p 解析度開啟 VSR 第四階。

以陳拔測試平台使用的 GeForce RTX 4090 FE 顯示卡來看,在同一場景未開啟 VSR 時的 GPU 用量大約為 7%,而開啟 VSR 後的用量則是為 16% 至 20%,至於 VSR 階段調整,對 GPU 用量沒有太大差異。而在顯示卡記憶部分,開啟 VSR 前後的顯示記憶體用量都在 1.5 GB 左右,並沒有變化。