最詳細循環神經網路講解「循環神經網路原理」

引用

Lim S H . Understanding Recurrent Neural Networks Using Nonequilibrium Response Theory[J]. 2020.

摘要

循環神經網路（RNN）是一種受大腦啟發的模型，其廣泛的應用於機器學習，以進行連續數據的分析。本工作有助於使用非平衡學說的響應理論更深度地理解 RNN 如何處理輸入信號。對於一類由輸入信號驅動的連續時間隨機 RNN（SRNN），我們為其輸出推導出一個沃爾泰拉級數的序列表示。這種表示法是可解釋的，並將輸入信號從 SRNN 結構中分離出來。序列的核是一些遞歸定義的相關函數，其與完全決定輸出的無擾動動力學相關。利用這種表示的聯繫及其對粗糙路徑理論的影響，我們確定了一個通用特徵——響應特徵，其被證明是輸入信號的張量積的特徵與自然支撐基礎。特別地，我們展示了僅優化了讀出層的權重，而隱藏層的權重保持固定、未被優化的 SRNN，這可被看作是在與響應特徵相關的再生核希爾伯特空間中執行的核機器。

介紹

從時間序列分析到自然語言處理，序列化數據出現在廣泛的場景中。在沒有數學模型的情況下，從數據中提取有用信息，以學習一個數據生成系統是很重要的。

循環神經網路（RNN）是一類受大腦啟發的模型，其專門為學習序列數據而設計，被廣泛地應用於從物理學到金融的各個領域。RNN 是具有反饋連接的神經元網路，從生物學角度比其他適應性模型更具說服力。特別地，RNN 可以使用它們的隱藏狀態（記憶）來處理輸入的可變長度序列。它們是動力系統的通用逼近器，且其本身可被視為一類開放動力系統。

儘管 RNN 近期在儲備池計算、深度學習和神經生物學方面取得了創新和巨大的經驗成功，但很少有研究關注 RNN 工作機制的理論基礎。缺乏嚴格的分析限制了 RNN 在解決科學問題方面的實用性，並可能阻礙下一代網路的系統設計。因此，深入了解該機制對於闡明大型自適應架構的特性，以及徹底改變我們對這些系統的理解而言至關重要。

特別地，人們可能會問的兩個自然且基礎的問題是：

Q1：隨著時間推移的輸入信號如何驅動 RNN 產生輸出？

Q2：它們的響應是否有一個普遍的機制？

本工作的主要目標之一是解決上述問題，以非平衡統計動力學中的非線性響應理論為出發點，針對連續時間 RNN 的隨機版本，簡稱 SRNN（其隱藏狀態被注入了高斯白雜訊）進行分析。我們的方法是跨學科的，為現有的 RNN 理論增加了令人耳目一新的觀點。

隨機循環神經網路（SRNN）

本文固定過濾概率空間（filtered probability space）

，E 代表對 P 的期望，T>0。C(E, F)代表從 E 到 F 的連續映射的巴拿赫空間，其中 E 和 F 是巴拿赫空間。

表示 Rn 上所有有界連續函數的空間。N:={0, 1, 2, . . . }，Z+:={1, 2, . . . }且 R+:= [0, ∞)。上標 T 表示轉置，∗ 表示鄰接。

模型

我們對我們的 SRNN 考慮如下模型。所謂激活函數，是指一個非常數的、利普希茨連續且有界的實值函數。激活函數的例子包括 sigmoid 函數，如實踐中常使用的雙曲切線等。

定義 2.1（連續時間 SRNN）令 t ∈ [0, T]，

為確定的輸入信號。連續時間的 SRNN 描述為以下空間狀態的模型：

其中，公式 1 是隱藏狀態

的隨機微分方程（SDE），帶有漂移係數 φ：

、雜訊係數

和定義在

上的 r 維維納過程

，而公式 2 定義了一個可觀測的激活函數

。

我們考慮 SRNN 的輸入仿射版本，其中：

其中，

是正穩定的，

為激活函數，

和

為常量，

為轉換輸入信號的常量矩陣。

從現在開始，我們將 SRNN 稱為由（1）-（3）定義的系統。SRNN 的隱藏狀態描述了一個處理輸入信號的非自主隨機動力系統。常數 Γ、W、b、C、σ 和 f 中的參數（如果有的話）定義了 SRNN（架構）的（可學習）參數或權重。對於 T > 0，與 SRNN 相關聯的是輸出函數

，其定義為可觀測的 f 的期望值（集合平均值）：

SRNN 的非平衡響應理論

預備知識和符號

在本小節中，我們簡要回顧馬爾可夫過程的預備知識並介紹我們的一些符號。

令 t ∈ [0, T]，

且

是歸一化的輸入信號。在 SRNN（1）-（3）中，我們認為信號

是驅動 SDE 的小振幅 γ（t）的擾動：

未擾動的 SDE 是 Cu 設置為零的系統：

其中，

且

。過程 h 是時間齊次馬爾可夫過程

的擾動，它不一定是穩定的。

擴散過程 h 和

分別與一族無窮小生成元

和

相關，它們是二階橢圓運算元，定義為：

對於任何可觀察的

，其中

。我們將與 h 關聯的轉移運算元

定義為：

對於

，和轉移運算元

（其為一個馬爾科夫半群），它們都是與

相關聯的。

此外，可以在概率測度空間上定義上述生成元和轉移運算元的 L2 伴隨矩陣。我們分別用

和

表示與 h 和

關聯的伴隨生成器，分別用

和

表示與 h 和

關聯的伴隨轉移運算元。我們假設初始測度和過程定律具有關於勒貝格測度的密度。將初始密度表示為

，

滿足與

關聯的前向柯爾莫果洛夫方程（FKE）。

我們採取自然的假設，即擾動和未擾動過程都有相同的初始分布

，這通常不是無擾動動力學的不變分布

。

關鍵思想和形式推導

首先，我們將推導出 SRNN 的輸出函數在驅動輸入信號方面的表示。我們的方法源於非平衡統計動力學的響應理論。在下文中，我們假設任何無限級數都是明確定義的，且求和和積分之間的任何互換都是合理的。

固定一個 T>0，令

足夠小並且

首先，請注意概率密度

的 FKE 是：

其中

，而：

關鍵思想是，由於 ε> 0 很小，我們尋求形式為 ρ 的微擾展開：

將其代入 FKE 並匹配 ε 中的階數，我們得到以下方程層次：

ρn 的形式解可以通過迭代獲得。形式化的描述，我們記

。在不變分布是穩定的特殊情況下，

與時間無關。

請注意，n ≥ 2 時，

，在 n ≥ 2 時，解 ρn 通過遞歸關係而得：

因此，假設下面的無窮級數絕對收斂，我們有：

接下來，我們考慮 SRNN 的隱性動力學的標量值觀測值

，並研究輸入信號擾動引起的該觀測值的平均偏差：

對於擾動動力學的可觀察值的平均值可寫為：

在不喪失一般性的情況下，我們在下文中取

，即 f(h)被認為是均值為零的（相對於 ρinit）。

我們有：

其中

是一階響應核，它們是相對於 ρinit 的僅無擾動動力學函數的平均值。請注意，為了獲得上面的最後一行，我們分部積分並假設 ρinit>0。

該式表達了阿加瓦爾型的非平衡波動-耗散關係。在平穩不變分布的情況下，我們使用（向量值）響應核，恢復統計力學中眾所周知的平衡波動-耗散關係：

其中

。在線性 SRNN（即 φ(h, t)在 h 中是線性的）和 f(h) = h 的特殊情況下，其可簡化為

的協方差函數（相對於 ρ∞）。

到目前為止，我們已經研究了線性響應機制，其中，響應線性地依賴於輸入。現在我們通過將上述推導擴展到 n≥2 的情況。我們表示

，可得

其中

，

是 n 階響應核：

且

n = 2, 3, . . .時，

請注意，這些高階響應核與一階響應核類似，是相對於 ρinit 的一些僅無擾動動力學的函數的平均值。

基於上述結果可得：

其中

是遞歸定義的時間相關核。更重要的是，這些核完全由 SRNN 的未擾動動力學以明確的方式確定。因此，SRNN 的輸出函數可以寫成（實際上是唯一的）上述一系列形式。該陳述在後文中得到了精確表述，從而解決了 (Q1)。

現在我們關注(Q2)。通過展開技術，我們可以得到：

其中，

是與時間和信號

無關的常數。該表達式以系統的方式將驅動輸入信號從 SRNN 架構中分離出來。粗略地說，它告訴我們，SRNN 對輸入信號的響應可以通過將兩部分的乘積相加得到，其中一個描述了 SRNN 的未擾動部分，一個是經過時間變換的輸入信號的迭加積分。這一聲明在後續得到了更精確的闡述，它是解決(Q2)的起點。

主要結果

假設

為了簡單和直觀，我們對 SRNN 使用以下相當嚴格的假設。 這些假設可以通過增加技術成本（我們不在這裡追求）或通過計算近似結果來證明是合理的。

回想一下，我們正在處理確定性輸入信號

。

假設 4.1 固定 T>0 並讓 U 成為

的開集。

(a)

對所有 t∈[0, T]來說都是足夠小的。

(b) 在所有

時，

，並且以概率 1 存在一個緊集 K⊂U，使得在所有

情況下，

。

(c) 係數 a：

和 f：

為分析函數。

(d)

是正定的，

是正穩定的（即，Γ 的所有特徵值的實部都是正的）。

(e) 初始狀態

是一個根據概率密度 ρinit 分布的隨機變數。

假設 4.1(a)意味著我們使用幅度足夠小的輸入信號。這對於確保某些無窮級數以足夠大的收斂半徑絕對收斂非常重要。(b) 和 (c) 確保一些理想的規律性和有界性。特別地，它們意味著 a、f 和它們所有的偏導數都是有界的，且在整個 t∈[0, T]上，ht 和

利普希茨連續。(d) 意味著系統受到的是非退化雜訊的抑制和驅動，這確保了無擾動系統可以指數穩定。(e)是我們分析的自然假設，因為 h 是

的一個擾動。

除非另有說明，否則假設 4.1 是本文中隱含的假設。

進一步符號化。我們現在提供一個空間及其符號的列表：

* L(E1, E2)：從 E1 到 E2 的有界線性運算元的巴拿赫空間（其中||·||表示適當空間上的範數）

*

：具有緊支撐的類

的實值函數空間

*

：類

有界實值函數空間

*

上有界絕對連續度量的空間，其中

，ρ 表示度量 µ 的密度

*

：ρ 加權的 Lp 空間，即函數 f 的空間，使得

，其中 ρ 是加權函數。

SRNN 輸出泛函的表示方法

在保證不喪失一般性的情況下，我們將在下文取 p=1 並假設

。

定義 4.1 （響應函數） 令

是一個有界的可觀察對象。對於 t∈[0,T]，令 Ft 是 C([0, t],R)上的泛函，定義為

，

表示 Ft 相對於 γ 的 n 階泛函導數。對於 n∈Z+，如果存在局部可積函數

，對於所有測試函數

，使得

則

被稱為可觀測 f 的 n 階響應函數。

接下來，在 t∈[0,T]中，令

是任意可觀察函數，且

。

命題 4.1 （響應函數的顯式表達式） 對於 n∈Z+，令

為 f 的 n 階響應函數。那麼，對於

：

(a)

(b) （高階 A-FDT）此外，如果 ρinit 為正，則

其中

推論 4.1 令 n∈Z+，且

。假定在

上有另一個函數

，使得對於所有的

，有

那麼

幾乎處處成立。

定理 4.1 （記憶表示） 令 t∈[0,T]，SRNN 的輸出泛函

是 N→∞ 的極限：

其中

在命題 4.1 中給出。該極限存在，且是唯一的收斂的沃爾泰拉級數。如果 Gt 是另一個具有響應函數

的這樣的級數，那麼 Ft=Gt。

定理 4.2 （無記憶表示） 假設運算元

有一個明確定義的本徵函數展開。那麼，SRNN 的輸出函數

有一個收斂級數展開，這就是 N, M→∞ 的極限：

其中

是常數係數，取決於 pi、li、

的特徵值和特徵函數、f 和 ρinit，但與輸入信號和時間無關。在這裡，pi∈{0, 1, . . . , M}、li∈{1, 2, . . . , m}。

命題 4.2 （確定的深度 SRNN 的表示） 令 Ft 和 Gt 是兩個 SRNN 的輸出函數，相關的截斷沃爾泰拉級數分別具有響應核

核

，n=1,…,N，m=1,…,M。那麼

是具有 N+M 個響應核的截斷沃爾泰拉級數：

當且僅當 r=1,…,N+M，其中

如果 Ft 和 Gt 是沃爾泰拉級數（即 N，M=∞），則在 r = 1, 2, . . . 上，

是具有上述響應核

的沃爾泰拉級數（只要它是明確定義的)。

此外，定理 4.2 中的陳述適用於

，即

在定理 4.2 的假設下允許指定形式的收斂級數展開。

定義 4.2 （路徑特徵） 令 X∈C([0, T], E)為有界變差路徑。X 的特徵是 T((E))的元素 S，定義為

其中

當且僅當 n ∈ Z+，

。

令

為

的典範基，那麼我們有：

用

表示對偶配對，有

定理 4.3 （特徵方面的無記憶表示） 設 p 是一個正整數，並假設輸入信號 u 是一個有界變差路徑。那麼 SRNN 的輸出函數 Ft 是

在 p→∞ 的極限，其是路徑特徵的線性泛函，

（可通過向量化與

進行識別），其中

，即

其中，bn(t)僅取決於 t 的係數。

將 SRNN 表述為核機器

我們現在考慮一個監督學習（回歸或分類）的環境，我們給定 N 個訓練輸入輸出對

，其中 un∈χ，為

中有界變差的路徑空間，yn∈R，使得對於所有 n，有

，這裡 FT 是一個連續目標映射。

考慮優化問題：

其中 G 是具有範數

的假設（巴拿赫）空間，

為一個損失函數，R(x)是一個在 x 中嚴格增加的實值函數。

受定理 4.3 的啟發（將 G 視為由 SRNN 引入的假設空間）我們將表明，該問題的解決方案可以表示為對訓練樣本的核擴展。

在下文中，考慮希爾伯特空間：

其中 P 是適當加權的

序列空間，其遵循序列形式為

，其中

Pn(t)是[0, T]上的正交多項式。令

表示 H 上的對稱福克空間，

表示 L∈Z+時

的 L 折張量積。

命題 4.3 令 L∈Z+。考慮映射

，定義為：

其中 K 是 H 上的核，存在一個唯一的 RKHS，表示為具有範數

的

，其中 K 為再生核。

定理 4.4 （表示定理） 考慮時間增加的路徑

，其中 un 是 χ 中

值的輸入路徑，v 是 P 中

值向量。那麼：

(a) 假設空間為

的前文所述優化問題的任何解都允許以下形式的表示：

其中 cn∈R，N 是訓練輸入-輸出對的數量。

(b) 令 L ∈ Z+。如果我們轉而考慮路徑，表示為

，在時間 ti∈[0, T]上，通過對 L+1 個數據點進行線性插值獲得

，則相應優化問題的任何解都具有

的假設空間，表示形式為：

其中 αn∈R，l=1,…,L 時，

。

引用

Lim S H . Understanding Recurrent Neural Networks Using Nonequilibrium Response Theory[J]. 2020.

摘要

循環神經網路（RNN）是一種受大腦啟發的模型，其廣泛的應用於機器學習，以進行連續數據的分析。本工作有助於使用非平衡學說的響應理論更深度地理解 RNN 如何處理輸入信號。對於一類由輸入信號驅動的連續時間隨機 RNN（SRNN），我們為其輸出推導出一個沃爾泰拉級數的序列表示。這種表示法是可解釋的，並將輸入信號從 SRNN 結構中分離出來。序列的核是一些遞歸定義的相關函數，其與完全決定輸出的無擾動動力學相關。利用這種表示的聯繫及其對粗糙路徑理論的影響，我們確定了一個通用特徵——響應特徵，其被證明是輸入信號的張量積的特徵與自然支撐基礎。特別地，我們展示了僅優化了讀出層的權重，而隱藏層的權重保持固定、未被優化的 SRNN，這可被看作是在與響應特徵相關的再生核希爾伯特空間中執行的核機器。

介紹

從時間序列分析到自然語言處理，序列化數據出現在廣泛的場景中。在沒有數學模型的情況下，從數據中提取有用信息，以學習一個數據生成系統是很重要的。

循環神經網路（RNN）是一類受大腦啟發的模型，其專門為學習序列數據而設計，被廣泛地應用於從物理學到金融的各個領域。RNN 是具有反饋連接的神經元網路，從生物學角度比其他適應性模型更具說服力。特別地，RNN 可以使用它們的隱藏狀態（記憶）來處理輸入的可變長度序列。它們是動力系統的通用逼近器，且其本身可被視為一類開放動力系統。

儘管 RNN 近期在儲備池計算、深度學習和神經生物學方面取得了創新和巨大的經驗成功，但很少有研究關注 RNN 工作機制的理論基礎。缺乏嚴格的分析限制了 RNN 在解決科學問題方面的實用性，並可能阻礙下一代網路的系統設計。因此，深入了解該機制對於闡明大型自適應架構的特性，以及徹底改變我們對這些系統的理解而言至關重要。

特別地，人們可能會問的兩個自然且基礎的問題是：

Q1：隨著時間推移的輸入信號如何驅動 RNN 產生輸出？

Q2：它們的響應是否有一個普遍的機制？

本工作的主要目標之一是解決上述問題，以非平衡統計動力學中的非線性響應理論為出發點，針對連續時間 RNN 的隨機版本，簡稱 SRNN（其隱藏狀態被注入了高斯白雜訊）進行分析。我們的方法是跨學科的，為現有的 RNN 理論增加了令人耳目一新的觀點。

隨機循環神經網路（SRNN）

本文固定過濾概率空間（filtered probability space）

，E 代表對 P 的期望，T>0。C(E, F)代表從 E 到 F 的連續映射的巴拿赫空間，其中 E 和 F 是巴拿赫空間。

表示 Rn 上所有有界連續函數的空間。N:={0, 1, 2, . . . }，Z+:={1, 2, . . . }且 R+:= [0, ∞)。上標 T 表示轉置，∗ 表示鄰接。

模型

我們對我們的 SRNN 考慮如下模型。所謂激活函數，是指一個非常數的、利普希茨連續且有界的實值函數。激活函數的例子包括 sigmoid 函數，如實踐中常使用的雙曲切線等。

定義 2.1（連續時間 SRNN）令 t ∈ [0, T]，

為確定的輸入信號。連續時間的 SRNN 描述為以下空間狀態的模型：

其中，公式 1 是隱藏狀態

的隨機微分方程（SDE），帶有漂移係數 φ：

、雜訊係數

和定義在

上的 r 維維納過程

，而公式 2 定義了一個可觀測的激活函數

。

我們考慮 SRNN 的輸入仿射版本，其中：

其中，

是正穩定的，

為激活函數，

和

為常量，

為轉換輸入信號的常量矩陣。

從現在開始，我們將 SRNN 稱為由（1）-（3）定義的系統。SRNN 的隱藏狀態描述了一個處理輸入信號的非自主隨機動力系統。常數 Γ、W、b、C、σ 和 f 中的參數（如果有的話）定義了 SRNN（架構）的（可學習）參數或權重。對於 T > 0，與 SRNN 相關聯的是輸出函數

，其定義為可觀測的 f 的期望值（集合平均值）：

SRNN 的非平衡響應理論

預備知識和符號

在本小節中，我們簡要回顧馬爾可夫過程的預備知識並介紹我們的一些符號。

令 t ∈ [0, T]，

且

是歸一化的輸入信號。在 SRNN（1）-（3）中，我們認為信號

是驅動 SDE 的小振幅 γ（t）的擾動：

未擾動的 SDE 是 Cu 設置為零的系統：

其中，

且

。過程 h 是時間齊次馬爾可夫過程

的擾動，它不一定是穩定的。

擴散過程 h 和

分別與一族無窮小生成元

和

相關，它們是二階橢圓運算元，定義為：

對於任何可觀察的

，其中

。我們將與 h 關聯的轉移運算元

定義為：

對於

，和轉移運算元

（其為一個馬爾科夫半群），它們都是與

相關聯的。

此外，可以在概率測度空間上定義上述生成元和轉移運算元的 L2 伴隨矩陣。我們分別用

和

表示與 h 和

關聯的伴隨生成器，分別用

和

表示與 h 和

關聯的伴隨轉移運算元。我們假設初始測度和過程定律具有關於勒貝格測度的密度。將初始密度表示為

，

滿足與

關聯的前向柯爾莫果洛夫方程（FKE）。

我們採取自然的假設，即擾動和未擾動過程都有相同的初始分布

，這通常不是無擾動動力學的不變分布

。

關鍵思想和形式推導

首先，我們將推導出 SRNN 的輸出函數在驅動輸入信號方面的表示。我們的方法源於非平衡統計動力學的響應理論。在下文中，我們假設任何無限級數都是明確定義的，且求和和積分之間的任何互換都是合理的。

固定一個 T>0，令

足夠小並且

首先，請注意概率密度

的 FKE 是：

其中

，而：

關鍵思想是，由於 ε> 0 很小，我們尋求形式為 ρ 的微擾展開：

將其代入 FKE 並匹配 ε 中的階數，我們得到以下方程層次：

ρn 的形式解可以通過迭代獲得。形式化的描述，我們記

。在不變分布是穩定的特殊情況下，

與時間無關。

請注意，n ≥ 2 時，

，在 n ≥ 2 時，解 ρn 通過遞歸關係而得：

因此，假設下面的無窮級數絕對收斂，我們有：

接下來，我們考慮 SRNN 的隱性動力學的標量值觀測值

，並研究輸入信號擾動引起的該觀測值的平均偏差：

對於擾動動力學的可觀察值的平均值可寫為：

在不喪失一般性的情況下，我們在下文中取

，即 f(h)被認為是均值為零的（相對於 ρinit）。

我們有：

其中

是一階響應核，它們是相對於 ρinit 的僅無擾動動力學函數的平均值。請注意，為了獲得上面的最後一行，我們分部積分並假設 ρinit>0。

該式表達了阿加瓦爾型的非平衡波動-耗散關係。在平穩不變分布的情況下，我們使用（向量值）響應核，恢復統計力學中眾所周知的平衡波動-耗散關係：

其中

。在線性 SRNN（即 φ(h, t)在 h 中是線性的）和 f(h) = h 的特殊情況下，其可簡化為

的協方差函數（相對於 ρ∞）。

到目前為止，我們已經研究了線性響應機制，其中，響應線性地依賴於輸入。現在我們通過將上述推導擴展到 n≥2 的情況。我們表示

，可得

其中

，

是 n 階響應核：

且

n = 2, 3, . . .時，

請注意，這些高階響應核與一階響應核類似，是相對於 ρinit 的一些僅無擾動動力學的函數的平均值。

基於上述結果可得：

其中

是遞歸定義的時間相關核。更重要的是，這些核完全由 SRNN 的未擾動動力學以明確的方式確定。因此，SRNN 的輸出函數可以寫成（實際上是唯一的）上述一系列形式。該陳述在後文中得到了精確表述，從而解決了 (Q1)。

現在我們關注(Q2)。通過展開技術，我們可以得到：

其中，

是與時間和信號

無關的常數。該表達式以系統的方式將驅動輸入信號從 SRNN 架構中分離出來。粗略地說，它告訴我們，SRNN 對輸入信號的響應可以通過將兩部分的乘積相加得到，其中一個描述了 SRNN 的未擾動部分，一個是經過時間變換的輸入信號的迭加積分。這一聲明在後續得到了更精確的闡述，它是解決(Q2)的起點。

主要結果

假設

為了簡單和直觀，我們對 SRNN 使用以下相當嚴格的假設。 這些假設可以通過增加技術成本（我們不在這裡追求）或通過計算近似結果來證明是合理的。

回想一下，我們正在處理確定性輸入信號

。

假設 4.1 固定 T>0 並讓 U 成為

的開集。

(a)

對所有 t∈[0, T]來說都是足夠小的。

(b) 在所有

時，

，並且以概率 1 存在一個緊集 K⊂U，使得在所有

情況下，

。

(c) 係數 a：

和 f：

為分析函數。

(d)

是正定的，

是正穩定的（即，Γ 的所有特徵值的實部都是正的）。

(e) 初始狀態

是一個根據概率密度 ρinit 分布的隨機變數。

假設 4.1(a)意味著我們使用幅度足夠小的輸入信號。這對於確保某些無窮級數以足夠大的收斂半徑絕對收斂非常重要。(b) 和 (c) 確保一些理想的規律性和有界性。特別地，它們意味著 a、f 和它們所有的偏導數都是有界的，且在整個 t∈[0, T]上，ht 和

利普希茨連續。(d) 意味著系統受到的是非退化雜訊的抑制和驅動，這確保了無擾動系統可以指數穩定。(e)是我們分析的自然假設，因為 h 是

的一個擾動。

除非另有說明，否則假設 4.1 是本文中隱含的假設。

進一步符號化。我們現在提供一個空間及其符號的列表：

* L(E1, E2)：從 E1 到 E2 的有界線性運算元的巴拿赫空間（其中||·||表示適當空間上的範數）

*

：具有緊支撐的類

的實值函數空間

*

：類

有界實值函數空間

*

上有界絕對連續度量的空間，其中

，ρ 表示度量 µ 的密度

*

：ρ 加權的 Lp 空間，即函數 f 的空間，使得

，其中 ρ 是加權函數。

SRNN 輸出泛函的表示方法

在保證不喪失一般性的情況下，我們將在下文取 p=1 並假設

。

定義 4.1 （響應函數） 令

是一個有界的可觀察對象。對於 t∈[0,T]，令 Ft 是 C([0, t],R)上的泛函，定義為

，

表示 Ft 相對於 γ 的 n 階泛函導數。對於 n∈Z+，如果存在局部可積函數

，對於所有測試函數

，使得

則

被稱為可觀測 f 的 n 階響應函數。

接下來，在 t∈[0,T]中，令

是任意可觀察函數，且

。

命題 4.1 （響應函數的顯式表達式） 對於 n∈Z+，令

為 f 的 n 階響應函數。那麼，對於

：

(a)

(b) （高階 A-FDT）此外，如果 ρinit 為正，則

其中

推論 4.1 令 n∈Z+，且

。假定在

上有另一個函數

，使得對於所有的

，有

那麼

幾乎處處成立。

定理 4.1 （記憶表示） 令 t∈[0,T]，SRNN 的輸出泛函

是 N→∞ 的極限：

其中

在命題 4.1 中給出。該極限存在，且是唯一的收斂的沃爾泰拉級數。如果 Gt 是另一個具有響應函數

的這樣的級數，那麼 Ft=Gt。

定理 4.2 （無記憶表示） 假設運算元

有一個明確定義的本徵函數展開。那麼，SRNN 的輸出函數

有一個收斂級數展開，這就是 N, M→∞ 的極限：

其中

是常數係數，取決於 pi、li、

的特徵值和特徵函數、f 和 ρinit，但與輸入信號和時間無關。在這裡，pi∈{0, 1, . . . , M}、li∈{1, 2, . . . , m}。

命題 4.2 （確定的深度 SRNN 的表示） 令 Ft 和 Gt 是兩個 SRNN 的輸出函數，相關的截斷沃爾泰拉級數分別具有響應核

核

，n=1,…,N，m=1,…,M。那麼

是具有 N+M 個響應核的截斷沃爾泰拉級數：

當且僅當 r=1,…,N+M，其中

如果 Ft 和 Gt 是沃爾泰拉級數（即 N，M=∞），則在 r = 1, 2, . . . 上，

是具有上述響應核

的沃爾泰拉級數（只要它是明確定義的)。

此外，定理 4.2 中的陳述適用於

，即

在定理 4.2 的假設下允許指定形式的收斂級數展開。

定義 4.2 （路徑特徵） 令 X∈C([0, T], E)為有界變差路徑。X 的特徵是 T((E))的元素 S，定義為

其中

當且僅當 n ∈ Z+，

。

令

為

的典範基，那麼我們有：

用

表示對偶配對，有

定理 4.3 （特徵方面的無記憶表示） 設 p 是一個正整數，並假設輸入信號 u 是一個有界變差路徑。那麼 SRNN 的輸出函數 Ft 是

在 p→∞ 的極限，其是路徑特徵的線性泛函，

（可通過向量化與

進行識別），其中

，即

其中，bn(t)僅取決於 t 的係數。

將 SRNN 表述為核機器

我們現在考慮一個監督學習（回歸或分類）的環境，我們給定 N 個訓練輸入輸出對

，其中 un∈χ，為

中有界變差的路徑空間，yn∈R，使得對於所有 n，有

，這裡 FT 是一個連續目標映射。

考慮優化問題：

其中 G 是具有範數

的假設（巴拿赫）空間，

為一個損失函數，R(x)是一個在 x 中嚴格增加的實值函數。

受定理 4.3 的啟發（將 G 視為由 SRNN 引入的假設空間）我們將表明，該問題的解決方案可以表示為對訓練樣本的核擴展。

在下文中，考慮希爾伯特空間：

其中 P 是適當加權的

序列空間，其遵循序列形式為

，其中

Pn(t)是[0, T]上的正交多項式。令

表示 H 上的對稱福克空間，

表示 L∈Z+時

的 L 折張量積。

命題 4.3 令 L∈Z+。考慮映射

，定義為：

其中 K 是 H 上的核，存在一個唯一的 RKHS，表示為具有範數

的

，其中 K 為再生核。

定理 4.4 （表示定理） 考慮時間增加的路徑

，其中 un 是 χ 中

值的輸入路徑，v 是 P 中

值向量。那麼：

(a) 假設空間為

的前文所述優化問題的任何解都允許以下形式的表示：

其中 cn∈R，N 是訓練輸入-輸出對的數量。

(b) 令 L ∈ Z+。如果我們轉而考慮路徑，表示為

，在時間 ti∈[0, T]上，通過對 L+1 個數據點進行線性插值獲得

，則相應優化問題的任何解都具有

的假設空間，表示形式為：

其中 αn∈R，l=1,…,L 時，

。

結論

在本文中，我們使用非平衡統計動力學的非線性響應理論作為起點，解決了關於一類隨機循環神經網路 (SRNN) 的兩個基本問題，這些網路可以是人工或生物網路的模型。特別地，我們能夠以系統的、逐級的方式來描述 SRNN 對擾動的確定性輸入信號的響應，為這些 SRNN 的輸出函數推導出兩種類型的序列表示，以及在驅動輸入信號方面的深度變體。這提供了對由這些驅動網路所引起的記憶和無記憶表示的性質的探究。此外，通過將這些表示與路徑特徵的概念聯繫起來，我們發現響應特徵集是 SRNN 在處理輸入信號時從中提取信息的構建塊，揭示了 SRNN 運行的普遍機制。特別地，我們通過表示定理表明，SRNN 可以被看作是在與響應特徵相關的再生核希爾伯特空間上運行的核機器。

從數學的角度來看，放寬這裡的假設，並在驅動輸入信號是粗略路徑的一般設置中工作會很有趣，輸入信號的規律性可能會發揮重要作用。人們還可以通過採用此處開發的技術來研究 SRNN 如何響應輸入信號和雜訊驅動（正則化）中的擾動。到目前為止，我們一直專註於介紹中提到的「公式化優先」方法。這裡獲得的結果表明，可以通過設計有效的演算法來利用離散化響應特徵和相關特徵在涉及時間數據的機器學習任務中的使用，來研究”離散化的下一步”，例如在科學與工程中預測由複雜動力系統產生的時間序列。

結論

在本文中，我們使用非平衡統計動力學的非線性響應理論作為起點，解決了關於一類隨機循環神經網路 (SRNN) 的兩個基本問題，這些網路可以是人工或生物網路的模型。特別地，我們能夠以系統的、逐級的方式來描述 SRNN 對擾動的確定性輸入信號的響應，為這些 SRNN 的輸出函數推導出兩種類型的序列表示，以及在驅動輸入信號方面的深度變體。這提供了對由這些驅動網路所引起的記憶和無記憶表示的性質的探究。此外，通過將這些表示與路徑特徵的概念聯繫起來，我們發現響應特徵集是 SRNN 在處理輸入信號時從中提取信息的構建塊，揭示了 SRNN 運行的普遍機制。特別地，我們通過表示定理表明，SRNN 可以被看作是在與響應特徵相關的再生核希爾伯特空間上運行的核機器。

從數學的角度來看，放寬這裡的假設，並在驅動輸入信號是粗略路徑的一般設置中工作會很有趣，輸入信號的規律性可能會發揮重要作用。人們還可以通過採用此處開發的技術來研究 SRNN 如何響應輸入信號和雜訊驅動（正則化）中的擾動。到目前為止，我們一直專註於介紹中提到的「公式化優先」方法。這裡獲得的結果表明，可以通過設計有效的演算法來利用離散化響應特徵和相關特徵在涉及時間數據的機器學習任務中的使用，來研究”離散化的下一步”，例如在科學與工程中預測由複雜動力系統產生的時間序列。