Transformer
Switch Transformer的全面解析
一、Switch Transformer簡介 Switch Transformer是一種新型的神經網路模型，是由CMU和Facebook AI Research的研究人員於2021…
TransGAN: 基於Transformer的圖像生成模型
一、TransGAN簡介 TransGAN是一種新型的圖像生成模型，它是基於Transformer模型而成。與其他圖像生成模型相比，TransGAN不依賴於前置訓練模型，只需要使用…
如何有效地為Transformer添加位置編碼
一、簡介 Transformer是一種雖然比較新穎但已經相當成熟的深度神經網路結構。在很多自然語言處理任務中，Transformer已經展示出了驚人的效果。其中一個關鍵的結構就是位…
Transformer代碼詳解
一、Transformer代碼塊 Transformer是用於自然語言處理的深度學習模型，在對文本進行處理時表現出了非常出色的性能。在代碼實現中，Transformer被劃分為一個…
了解wav2vec：transformer和語音識別的結合
一、什麼是wav2vec Wav2vec是Facebook AI研究團隊提出的一種語音識別模型。其目的是通過波形到向量的轉換，使人類語音數據更易於處理，並為語音識別、語音合成等任務…
Transformer-XL詳解
一、Transformer-XL簡介 Transformer-XL是一種基於transformer的語言模型，由Dai等人於2019年提出。 與普通的transformer語言模型…
