圖像超解析度技術指的是根據低解析度圖像生成高解析度圖像的過程，該技術希望根據已有的圖像信息重構出缺失的圖像細節。視頻超解析度技術則更加複雜，不僅需要生成細節豐富的一幀幀圖像，還要保持圖像之間的連貫性。

在一篇名為「Temporally Coherent GANs for Video Super-Resolution (TecoGAN)」的論文中，來自慕尼黑工業大學的研究人員提出了一種用於實現視頻超解析度的新型 GAN——TecoGAN。

此前，已經有開發者利用 ESRGAN 這種視頻超解析度模型重製了很多單機遊戲，包括經典的重返德軍總部、馬克思·佩恩和上古捲軸 III：晨風等等。重製的高清版遊戲在畫質上有很好的效果，而且還保留了原始紋理的美感與風格。

以下三幅動圖的右半部分是用 TecoGAN 生成的，說不定用它來重製單機遊戲會有更驚人的效果。該方法能夠生成精細的細節，較長的生成視頻序列也不會影響其時間連貫度。

圖中，動物皮的網格結構、蜥蜴的圖案和蜘蛛背部的斑點無不彰顯該方法的效果。該方法中的時空判別器在引導生成器網路輸出連貫細節方面居功至偉。

這個視頻超解析度 GAN 牛在哪裡？

自然圖像超解析度是圖像和視頻處理領域的一大經典難題。對於單一圖像超解析度（SISR），基於深度學習的方法可以達到當前最佳的峰值信噪比（PSNR），而基於 GAN 的架構在感知質量方面實現了重大改進。

在視頻超解析度（VSR）任務中，現有的方法主要使用標準損失函數，如均方差損失，而不是對抗損失函數。類似地，對結果的評估仍然聚焦於基於向量範數的指標，如 PSNR 和結構相似性（Structural Similarity，SSIM）指標。與 SISR 相比，VSR 的主要難點在於如何獲取清晰的結果，且不會出現不自然的偽影。基於均方差損失，近期的 VSR 任務使用來自低解析度輸入的多個幀 [13]，或重用之前生成的結果 [28] 來改進時間連貫度。

儘管對抗訓練可以改善單個圖像的視覺質量，但它並不常用於視頻。在視頻序列案例中，我們不僅要研究任意的自然細節，還要研究可以穩定形式基於較長圖像序列生成的細節。

該研究首次提出了一種對抗和循環訓練方法，以監督空間高頻細節和時間關係。在沒有真值動態的情況下，時空對抗損失和循環結構可使該模型生成照片級真實度的細節，同時使幀與幀之間的生成結構保持連貫。研究者還發現了一種使用對抗損失的循環架構可能會出現的新型模型崩潰，並提出了一種雙向損失函數用於移除對應的偽影。

該研究的核心貢獻包括：

提出首個時空判別器，以獲得逼真和連貫的視頻超解析度；
提出新型 Ping-Pong 損失，以解決循環偽影；
從空間細節和時間連貫度方面進行詳細的評估；
提出新型評估指標，基於動態估計和感知距離來量化時間連貫度。

論文：Temporally Coherent GANs for Video Super-Resolution (TecoGAN)

論文鏈接：
https://arxiv.org/pdf/1811.09393.pdf

摘要：對抗訓練在單圖像超解析度任務中非常成功，因為它可以獲得逼真、高度細緻的輸出結果。因此，當前最優的視頻超解析度方法仍然支持較簡單的範數（如 L2）作為對抗損失函數。直接向量範數作損失函數求平均的本質可以輕鬆帶來時間流暢度和連貫度，但生成圖像缺乏空間細節。該研究提出了一種用於視頻超解析度的對抗訓練方法，可以使解析度具備時間連貫度，同時不會損失空間細節。

該研究聚焦於新型損失的形成，並基於已構建的生成器框架展示了其性能。研究者證明時間對抗學習是獲得照片級真實度和時間連貫細節的關鍵。除了時空判別器以外，研究者還提出新型損失函數 Ping-Pong，該函數可以有效移除循環網路中的時間偽影，且不會降低視覺質量。之前的研究並未解決量化視頻超解析度任務中時間連貫度的問題。該研究提出了一組指標來評估準確率和隨時間變化的視覺質量。用戶調研結果與這些指標判斷的結果一致。總之，該方法優於之前的研究，它能夠得到更加細節化的圖像，同時時間變化更加自然。

模型方法

該研究提出的 VSR 架構包含三個組件：循環生成器、流估計網路和時空判別器。生成器 G 基於低解析度輸入循環地生成高解析度視頻幀。流估計網路 F 學習幀與幀之間的動態補償，以幫助生成器和時空判別器 D_s,t。

訓練過程中，生成器和流估計器一起訓練，以欺騙時空判別器 D_s,t。該判別器是核心組件，因為它既考慮空間因素又考慮時間因素，並對存在不現實的時間不連貫性的結果進行懲罰。這樣，就需要 G 來生成與之前幀連續的高頻細節。訓練完成後，D_s,t 的額外複雜度不會有什麼影響，除非需要 G 和 F 的訓練模型來推斷新的超解析度視頻輸出。低清視頻也能快速轉高清：超解析度演算法TecoGAN