馬爾可夫c語言,馬爾可夫代碼

本文目錄一覽：

• 1、馬爾可夫過程的實際意義
• 2、演算法的分類
• 3、馬爾可夫矩陣分析是什麼來的啊?
• 4、馬爾可夫模型的應用
• 5、c語言遞歸函數

馬爾可夫過程的實際意義

馬爾可夫過程

馬爾可夫過程

Markov process

一類隨機過程。它的原始模型馬爾可夫鏈，由俄國數學家A.A.馬爾可夫於1907年提出。該過程具有如下特性：在已知目前狀態 (現在)的條件下，它未來的演變 (將來)不依賴於它以往的演變 ( 過去 ) 。 例如森林中動物頭數的變化構成——馬爾可夫過程 。在現實世界中，有很多過程都是馬爾可夫過程，如液體中微粒所作的布朗運動、傳染病受感染的人數、車站的候車人數等，都可視為馬爾可夫過程。關於該過程的研究，1931年A.H.柯爾莫哥洛夫在《概率論的解析方法》一文中首先將微分方程等分析的方法用於這類過程，奠定了馬爾可夫過程的理論基礎。1951年前後，伊藤清建立的隨機微分方程的理論，為馬爾可夫過程的研究開闢了新的道路。1954年前後，W.費勒將半群方法引入馬爾可夫過程的研究。流形上的馬爾可夫過程、馬爾可夫向量場等都是正待深入研究的領域。

類重要的隨機過程,它的原始模型馬爾可夫鏈,由俄國數學家Α.Α.馬爾可夫於1907年提出。人們在實際中常遇到具有下述特性的隨機過程：在已知它目前的狀態(現在)的條件下，它未來的演變（將來）不依賴於它以往的演變（過去）。這種已知「現在」的條件下，「將來」與「過去」獨立的特性稱為馬爾可夫性，具有這種性質的隨機過程叫做馬爾可夫過程。荷花池中一隻青蛙的跳躍是馬爾可夫過程的一個形象化的例子。青蛙依照它瞬間或起的念頭從一片荷葉上跳到另一片荷葉上，因為青蛙是沒有記憶的,當現在所處的位置已知時,它下一步跳往何處和它以往走過的路徑無關。如果將荷葉編號並用X0,X1,X2,…分別表示青蛙最初處的荷葉號碼及第一次、第二次、……跳躍後所處的荷葉號碼，那麼{Xn，n≥0} 就是馬爾可夫過程。液體中微粒所作的布朗運動，傳染病受感染的人數，原子核中一自由電子在電子層中的跳躍，人口增長過程等等都可視為馬爾可夫過程。還有些過程（例如某些遺傳過程）在一定條件下可以用馬爾可夫過程來近似。

關於馬爾可夫過程的理論研究，1931年Α.Η.柯爾莫哥洛夫發表了《概率論的解析方法》，首先將微分方程等分析方法用於這類過程，奠定了它的理論基礎。1951年前後，伊藤清在P.萊維和C.H.伯恩斯坦等人工作的基礎上，建立了隨機微分方程的理論，為研究馬爾可夫過程開闢了新的道路。1954年前後，W.弗勒將泛函分析中的半群方法引入馬爾可夫過程的研究中，Ε.Б.登金（又譯鄧肯）等並賦予它概率意義（如特徵運算元等）。50年代初，角谷靜夫和J.L.杜布等發現了布朗運動與偏微分方程論中狄利克雷問題的關係，後來G.A.亨特研究了相當一般的馬爾可夫過程（亨特過程）與位勢的關係。目前，流形上的馬爾可夫過程、馬爾可夫場等都是正待深入研究的領域。

離散時間馬爾可夫鏈 以上述荷花池中的青蛙跳躍過程為例,荷葉號碼的集合E叫做狀態空間，馬爾可夫性表示為：對任意的0≤n1n2…nlm, n0,i1,i2,…，il，i,j∈E，有

只要其中條件概率（見概率）有意義。一般地，設E={0，1,…,M}(M為正整數)或E={0,1,2,…},Xn，n≥0為取值於E的隨機變數序列,如果(1)式成立，則稱{X,n≥0}為馬爾可夫鏈。如果(1)式右方與m無關，則稱為齊次馬爾可夫鏈。這時(1)式右方是馬爾可夫鏈從i出發經n步轉移到j的概率,稱為轉移概率，記為。對於馬爾可夫鏈，人們最關心的是它的轉移的概率規律,而n步轉移矩陣正好描述了鏈的n步轉移規律。由於從i出發經n+m步轉移到j必然是從i出發先經n步轉移到某個k,然後再從k出發(與過去無關地)經m步再轉移到j，因此有

這就是柯爾莫哥洛夫－查普曼方程。根據這一方程，任意步轉移矩陣都可以通過一步轉移矩陣計算出來。因此，每個齊次馬爾可夫鏈的轉移規律可以由它的一步轉移矩陣P來刻畫。P的每一元素非負且每行之和為1,具有這樣性質的矩陣稱為隨機矩陣。例如，設0p1，q=1-p，則M階方陣

為隨機矩陣，它刻畫的馬爾可夫鏈是一個具有反射壁的隨機遊動。設想一質點的可能位置是直線上的整數點 0，1,…,M,0和M稱為壁,它每隔單位時間轉移一次,每次向右或左移動一個單位。如果它處在0或M,單位時間後質點必相應地移動到1或M-1,如果它處於0和M之間的i，則它以概率p轉移到i+1,以概率q轉移到i-1。又如果把P的第一行換成(1,0,…,0),則此時表示0是吸收壁,質點一旦達到0,它將被吸收而永遠處於0。如果不設置壁,質點在直線上的一切整數點上遊動,稱為自由隨機遊動,特別當時，稱為對稱隨機遊動。

為了進一步研究馬爾可夫鏈的運動進程，需要對狀態進行分類。若pij0，則稱i可以直達j，記作i→j,如還有pji0，則記作i凮j，採用這樣的記號，可以用圖形表示運動的進程。例如圖形

表示一個馬爾可夫鏈的運動情況,當鏈處於b1,b2,b3狀態時，將永遠在{b1,b2,b3}中運動,當鏈處於α1,α2,α3,α4狀態時，將永遠在{α1,α2,α3,α4}中運動,而{d1,d2,…}不具有這種性質,因為從d1可一步轉移到b1或d2,自d3可到α1或d4，等等。對一般的馬爾可夫鏈，若C是由一些狀態組成的集合，如果鏈一旦轉移到C中的狀態,它將永遠在C 中轉移，C 就稱為這個鏈的閉集。對閉集C，如果從C 中任一狀態出發經有限步轉移到另一狀態的概率都大於0,則稱C為不可約閉集，例如上例中的{b1,b2，b3}。至於{b1,b2,b3,с1,c2}雖然也是閉集,但卻是可約的。如果從狀態i出發經有限次轉移後回到i的概率為1，則稱i為常返狀態。狀態空間 E可以分解為由一切非常返狀態組成的集 E0（如上例中的{d1,d2,…}）和一些由常返狀態組成的不可約閉集Eα（如上例中的 {b1,b2, b3},{α1，α2,α3,α4},{с1,c2}）的並。這樣，在鏈的轉移中，它或者總是在E0中轉移，或者轉移到某個常返類Eα中,一旦轉移到Eα，它將永遠在Eα中轉移, 而且不時回到其中的每一個狀態。特別，當 E本身是不可約常返閉集時，極限存在,其中0≤rt，t是0)的最大公約數，即鏈的周期,與j無關。近20年建立起來的馬丁邊界理論，更細緻地刻畫了鏈在E0中轉移的情況。它的主要思想是在鏈的狀態空間E 中引進距離並將E 完備化，使得在這個距離下，Xn 以概率1收斂（見概率論中的收斂）。

連續時間馬爾可夫鏈 設E是{0,1,…,M}或{0,1,2，…},{X,t≥0}是一族取值於E的隨機變數,如果在(1)式中, 將n1,n2,…,m,n理解為實數,(1)式仍成立,則稱{Xt，t≥0}為連續時間馬爾可夫鏈。若還與s≥0無關，記為pij(t)，則稱鏈為齊次的。連續時間齊次馬爾可夫鏈也由它的轉移矩陣P(t)=(pij(t))(i,j∈E,t0)所刻畫。P(t)滿足下述條件：①pij(t)≥0，；②柯爾莫哥洛夫-查普曼方程；通常假定：③標準性 這裡δii=1,δij=0(i≠j)。有時直接稱滿足①、②、③的一族矩陣P(t)=(pij(t))，t≥0為轉移矩陣或馬爾可夫鏈。當①中條件放寬為時,稱為廣轉移矩陣,它有很好的解析性質。例如,每個pij(t)在t0時具有連續的有窮導數 P拞(t)；在t＝0，右導數P拞(0)存在,i≠j時P拞(0)非負有窮,但P拞(0)可能為無窮。矩陣Q =(qij)呏(P拞(0))稱為鏈的密度矩陣，又稱Q矩陣。對於每個齊次馬爾可夫鏈{X,t≥0},鍾開萊找到一個具有較好軌道性質(右下半連續)的修正{X慫, t≥0}（即對一切t≥0，P(X慫≠Xt)=0, 且對每個軌道對一切t≥0有），而且以概率1，對任意t≥0, s從大於t的一側趨於t時,X最多只有一個有窮的極限點。

以Q為密度矩陣的廣轉移矩陣稱為Q廣轉移矩陣或 Q過程。在一定條件下，Q廣轉移矩陣P(t),t≥0滿足向後微分方程組

或者向前微分方程組

上面兩個方程組的更普遍形式由柯爾莫哥洛夫於1931年引入。他並提出求解上述方程組的問題,這就是Q矩陣問題或構造問題:給定一個矩陣Q =(qij),滿足0qij＜+∞(i≠j),，是否存在Q廣轉移矩陣?如果存在，何時惟一?如果不惟一，如何求出全部的Q廣轉移矩陣？對於qii都有限的情形，W.費勒於1940年構造了一個最小解p(t),證明了Q 廣轉移矩陣總是存在的；中國學者侯振挺於1974年對於qii都有限的情形找到了Q 廣轉移矩陣的惟一性準則；至於求出全部Q 廣轉移矩陣的問題，僅僅對一些特殊的情形獲得解決。對於Q 的對角線元素全為無窮的情形，D.威廉斯曾獲得了完滿的結果。

生滅過程 考察一個群體成員的數目, 在時間的進程中可增可減，假定在時刻t群體有i個成員，在很短的時間間隔(t，t+Δt)中,群體數目增加或減少兩個或兩個以上幾乎是不可能的,它只可能增加一個或減少（當i0時）一個或保持不變。而增加一個的概率為 ，減少一個的概率為，保持不變的概率為。(pij(t))的密度矩陣是

式中α0≥0,b00，對一切i0,αi0,bi0。具有上述形狀的密度矩陣的齊次馬爾可夫鏈稱為生滅過程。

物理、化學、生物、醫學等的許多實際模型都可以用生滅過程來描述，因此生滅過程有著廣泛的實際應用。不僅如此，生滅過程還有重要的理論研究意義。關於生滅過程的結果已經十分豐富。當α0=0,b00時，只有一個生滅過程的充分必要條件是

。

對上述條件不成立的情形，中國學者王梓坤於1958年建立了「極限過渡法」，構造了全部生滅過程。這個方法的基本思想是用較簡單的杜布過程的軌道來逼近一般過程的軌道。此外，甚至對α0≥0，b00的情形,或更一般的雙邊生滅Q矩陣（即為一切整數）的情形,全部Q廣轉移矩陣也都已構造出來。

一般馬爾可夫過程 設(E，B)為可測空間，X={X，t≥0}為一族取值於E的隨機變數,如果對任意的B，以概率1有

(2)

則稱X為馬爾可夫過程。

馬爾可夫過程的定義還可以進一步擴充。第一,所謂”過去”可以作更廣泛的理解,即(2)中由, Xs所產生的σ域（見概率）可以擴大為一般的σ域Fs，只要Fs包含由｛X,u≤s｝產生的σ域，而當 st時，。如果對任意s≥0，t0，A∈B，以概率1有

(3)

則稱隨機過程X={X,t≥0}為馬爾可夫過程。第二,可以允許過程有壽命ζ，其中ζ是停時（見隨機過程）。這時過程為X={X,tζ}。上述定義仍保留，但應作相應的修改，如{X∈As∈A,sζ)，(3)應理解為在{sζ}上幾乎處處成立。

馬爾可夫過程的許多性質可以通過轉移函數來表達。轉移函數P(s,x,t,A)(0≤s≤t，x∈E,A∈B)是滿足某些條件的四元函數，它可以理解為過程在時刻s時處在x，在時刻t 時轉移到A中的條件概率。如果P(s,x,t, A)=P(t-s,x,A)只依賴於t-s,x及A,則稱轉移函數及相應的馬爾可夫過程為齊次的。設E是d維歐幾里得空間Rd,B為Rd中的波萊爾域（見概率分布）Bd，而且齊次轉移函數滿足下面的登金－金尼條件：對任意 ε0，·。式中Vε(x)={y:｜y-x｜≥ε}，那麼可以選取軌道連續的齊次馬爾可夫過程X，以p(t，x，A)為轉移函數。一類重要的軌道連續馬爾可夫過程是 d維布朗運動。

強馬爾可夫過程 在馬爾可夫性的定義中，”現在”是指固定的時刻，但實際問題中常需把馬爾可夫性中的「現在」這個時刻概念推廣為停時（見隨機過程）。例如考察從圓心出發的平面上的布朗運動，如果要研究首次到達圓周的時刻 τ以前的事件和以後的事件的條件獨立性,這裡τ為停時,並且認為τ是「現在」。如果把「現在」推廣為停時情形的「現在」，在已知「現在」的條件下，「將來」與「過去」無關，這種特性就叫強馬爾可夫性。具有這種性質的馬爾可夫過程叫強馬爾可夫過程。在相當一段時間內，不少人認為馬爾可夫過程必然是強馬爾可夫過程。首次提出對強馬爾可夫性需要嚴格證明的是J.L.杜布。直到1956年，才有人找到馬爾可夫過程不是強馬爾可夫過程的例子。馬爾可夫過程理論的進一步發展表明，強馬爾可夫過程才是馬爾可夫過程真正研究的對象。

擴散過程 歷史上，擴散過程起源於對物理學中擴散現象的研究。雖然現在擴散過程的最一般的定義是軌道連續的馬爾可夫過程，但在1931年柯爾莫哥洛夫對於擴散過程的奠基性研究中，卻是按照轉移函數來定義擴散過程的。直線上的馬爾可夫過程，它有轉移函數P(s，x,t,A)，如果對任意ε0，

(4)

(5)

(6)

而且上述極限關於x是一致的,則稱此過程為一維擴散過程。粗略地說，這些條件刻畫了：在很短時間Δt內，位移也是很小的，對指定的正數ε0，位移超過ε的概率和時間Δt相比可以忽略不計；在偏離不超過 ε的範圍內看，平均偏離與Δt成正比，平均方差也與 Δt成正比。稱(5)中的α(t,x)為偏移係數,它反映偏離的大小；稱(6)中的b(t,x)為擴散係數，它反映擴散的程度。

設轉移函數具有密度函數p(s,x,t,y),則在適當的附加條件下，p(s,x,t,y)滿足方程

(7)

(8)

(7)和(8)分別稱為柯爾莫哥洛夫向前方程和向後方程，也稱為福克爾－普朗克方程。如果轉移函數是齊次的,則α(s,x)=α(x),b(s,x)=b(x)與s無關，且p(t,x,y)滿足

(9)

(10)α和b的某些假定下,可以求上述方程的轉移密度解p,從而可以決定一個馬爾可夫過程。然而,方程的轉移密度解即使存在也未必惟一，因此還要對方程的解附加某些邊界條件，以保持解的惟一性。例如，當α(t，x)=0，b(t，x)=2D (常數D0)時的向前方程，附加邊界條件=0的解是

這是稱之為維納－愛因斯坦過程的擴散過程的轉移密度函數。又例如，當α(t,x)=-βx(β 0),b(t,x)=2D 0時的向前方程附加與上例同樣的邊界條件的解，是稱之為奧恩斯坦－烏倫貝克過程的擴散過程的轉移密度函數。

50年代，費勒引進了推廣的二階微分運算元，用半群方法解析地研究了狀態空間E =【r1,r2】的擴散過程，解決了在r1和r2 處應附加哪些邊界條件,才能使向後方程(10)有一個且只有一個轉移密度函數解的問題，而且找出了全部這樣的邊界條件。對於 E是開區間或半開半閉區間的情形也作了研究。登金、H.P.麥基恩及伊藤清等人對於擴散過程軌道的研究，闡明了費勒的結果的概率意義，從而使一維擴散過程有了較完整的理論。

多維擴散過程是和一個橢圓型偏微分運算元聯繫在一起的，它還有許多未解決的問題，但核心問題之一是多維擴散過程的存在性和惟一性問題；藉助於偏微分方程和概率論方法已經得到一些結果。有趣的是，概率論得到的結果反過來也可以解決微分方程的求解問題，例如，可以把方程的解用一個馬爾可夫過程表現出來。

近年來，人們重視從軌道變化的角度來研究擴散過程。常用的方法是隨機微分方程和鞅問題的求解。流形上的擴散過程理論是近十年來日益受人們重視的新領域，它是用隨機微分方程研究擴散過程的必然延伸。

馬爾可夫過程與位勢理論 在空間中給定一個向量場,如果存在一個函數u使得它的負梯度就是給定的向量場，這個函數就是位勢。高斯在研究電荷分布時提出了古典位勢理論。例如，在空間R3的某物體S 中給定了一個電荷分布μ，那麼空間點x處的電位勢為

一般地，對於空間R3中的測度μ(通常假定具有支撐S )，

稱為測度μ的牛頓位勢。如果不計常數因子的差別，則u可以用三維布朗運動的轉移密度函數p(t,x,y)表現出來：

如果假定μ關於勒貝格測度有密度函數ƒ,則u還可以通過三維布朗運動{X,t≥0}表現出來：

式中Ex表示對從x出發的布朗運動取數學期望。再以和位勢理論緊密聯繫的狄利克雷問題為例，它的解也可以用布朗運動來表述。由此可見,布朗運動與古典位勢之間存在著自然的對應關係。這種對應關係也存在於亨特過程和近代位勢理論之間。亨特過程就是軌道右連續且擬左連續的強馬爾可夫過程。所謂擬左連續，即對任何停時序列τn↑τ，在(τ+∞)上，以概率1有。

馬爾可夫過程的位勢理論主要有三個問題：狄利克雷問題、掃問題和平衡問題。對於布朗運動，這三個問題都得到了很好的解決。

演算法的分類

太多了，

最實用的，但不是最低的分類錯誤率：貝葉斯方法。

最簡單的是最近鄰法，最近鄰法和擴展的例子出現非常受歡迎（或基於存儲器的）方法（基於記憶的）的基礎。

經典：隱馬爾可夫模型（HMM），最大熵，條件隨機場（CRF，這種相對較新）

最流行：簸，裝袋，ADA等提振

馬爾可夫矩陣分析是什麼來的啊?

一類隨機過程。它的原始模型馬爾可夫鏈，由俄國數學家A.A.馬爾可夫於1907年提出。該過程具有如下特性：在已知目前狀態 (現在)的條件下，它未來的演變 (將來)不依賴於它以往的演變 ( 過去 ) 。 例如森林中動物頭數的變化構成——馬爾可夫過程 。在現實世界中，有很多過程都是馬爾可夫過程，如液體中微粒所作的布朗運動、傳染病受感染的人數、車站的候車人數等，都可視為馬爾可夫過程。關於該過程的研究，1931年A.H.柯爾莫哥洛夫在《概率論的解析方法》一文中首先將微分方程等分析的方法用於這類過程，奠定了馬爾可夫過程的理論基礎。1951年前後，伊藤清建立的隨機微分方程的理論，為馬爾可夫過程的研究開闢了新的道路。1954年前後，W.費勒將半群方法引入馬爾可夫過程的研究。流形上的馬爾可夫過程、馬爾可夫向量場等都是正待深入研究的領域。

類重要的隨機過程,它的原始模型馬爾可夫鏈,由俄國數學家Α.Α.馬爾可夫於1907年提出。人們在實際中常遇到具有下述特性的隨機過程：在已知它目前的狀態(現在)的條件下，它未來的演變（將來）不依賴於它以往的演變（過去）。這種已知「現在」的條件下，「將來」與「過去」獨立的特性稱為馬爾可夫性，具有這種性質的隨機過程叫做馬爾可夫過程。荷花池中一隻青蛙的跳躍是馬爾可夫過程的一個形象化的例子。青蛙依照它瞬間或起的念頭從一片荷葉上跳到另一片荷葉上，因為青蛙是沒有記憶的,當現在所處的位置已知時,它下一步跳往何處和它以往走過的路徑無關。如果將荷葉編號並用X0,X1,X2,…分別表示青蛙最初處的荷葉號碼及第一次、第二次、……跳躍後所處的荷葉號碼，那麼{Xn，n≥0} 就是馬爾可夫過程。液體中微粒所作的布朗運動，傳染病受感染的人數，原子核中一自由電子在電子層中的跳躍，人口增長過程等等都可視為馬爾可夫過程。還有些過程（例如某些遺傳過程）在一定條件下可以用馬爾可夫過程來近似。

關於馬爾可夫過程的理論研究，1931年Α.Η.柯爾莫哥洛夫發表了《概率論的解析方法》，首先將微分方程等分析方法用於這類過程，奠定了它的理論基礎。1951年前後，伊藤清在P.萊維和C.H.伯恩斯坦等人工作的基礎上，建立了隨機微分方程的理論，為研究馬爾可夫過程開闢了新的道路。1954年前後，W.弗勒將泛函分析中的半群方法引入馬爾可夫過程的研究中，Ε.Б.登金（又譯鄧肯）等並賦予它概率意義（如特徵運算元等）。50年代初，角谷靜夫和J.L.杜布等發現了布朗運動與偏微分方程論中狄利克雷問題的關係，後來G.A.亨特研究了相當一般的馬爾可夫過程（亨特過程）與位勢的關係。目前，流形上的馬爾可夫過程、馬爾可夫場等都是正待深入研究的領域。

離散時間馬爾可夫鏈 以上述荷花池中的青蛙跳躍過程為例,荷葉號碼的集合E叫做狀態空間，馬爾可夫性表示為：對任意的0≤n1n2…nlm, n0,i1,i2,…，il，i,j∈E，有

只要其中條件概率（見概率）有意義。一般地，設E={0，1,…,M}(M為正整數)或E={0,1,2,…},Xn，n≥0為取值於E的隨機變數序列,如果(1)式成立，則稱{X,n≥0}為馬爾可夫鏈。如果(1)式右方與m無關，則稱為齊次馬爾可夫鏈。這時(1)式右方是馬爾可夫鏈從i出發經n步轉移到j的概率,稱為轉移概率，記為。對於馬爾可夫鏈，人們最關心的是它的轉移的概率規律,而n步轉移矩陣正好描述了鏈的n步轉移規律。由於從i出發經n+m步轉移到j必然是從i出發先經n步轉移到某個k,然後再從k出發(與過去無關地)經m步再轉移到j，因此有

這就是柯爾莫哥洛夫－查普曼方程。根據這一方程，任意步轉移矩陣都可以通過一步轉移矩陣計算出來。因此，每個齊次馬爾可夫鏈的轉移規律可以由它的一步轉移矩陣P來刻畫。P的每一元素非負且每行之和為1,具有這樣性質的矩陣稱為隨機矩陣。例如，設0p1，q=1-p，則M階方陣

為隨機矩陣，它刻畫的馬爾可夫鏈是一個具有反射壁的隨機遊動。設想一質點的可能位置是直線上的整數點 0，1,…,M,0和M稱為壁,它每隔單位時間轉移一次,每次向右或左移動一個單位。如果它處在0或M,單位時間後質點必相應地移動到1或M-1,如果它處於0和M之間的i，則它以概率p轉移到i+1,以概率q轉移到i-1。又如果把P的第一行換成(1,0,…,0),則此時表示0是吸收壁,質點一旦達到0,它將被吸收而永遠處於0。如果不設置壁,質點在直線上的一切整數點上遊動,稱為自由隨機遊動,特別當時，稱為對稱隨機遊動。

為了進一步研究馬爾可夫鏈的運動進程，需要對狀態進行分類。若pij0，則稱i可以直達j，記作i→j,如還有pji0，則記作i凮j，採用這樣的記號，可以用圖形表示運動的進程。例如圖形

表示一個馬爾可夫鏈的運動情況,當鏈處於b1,b2,b3狀態時，將永遠在{b1,b2,b3}中運動,當鏈處於α1,α2,α3,α4狀態時，將永遠在{α1,α2,α3,α4}中運動,而{d1,d2,…}不具有這種性質,因為從d1可一步轉移到b1或d2,自d3可到α1或d4，等等。對一般的馬爾可夫鏈，若C是由一些狀態組成的集合，如果鏈一旦轉移到C中的狀態,它將永遠在C 中轉移，C 就稱為這個鏈的閉集。對閉集C，如果從C 中任一狀態出發經有限步轉移到另一狀態的概率都大於0,則稱C為不可約閉集，例如上例中的{b1,b2，b3}。至於{b1,b2,b3,с1,c2}雖然也是閉集,但卻是可約的。如果從狀態i出發經有限次轉移後回到i的概率為1，則稱i為常返狀態。狀態空間 E可以分解為由一切非常返狀態組成的集 E0（如上例中的{d1,d2,…}）和一些由常返狀態組成的不可約閉集Eα（如上例中的 {b1,b2, b3},{α1，α2,α3,α4},{с1,c2}）的並。這樣，在鏈的轉移中，它或者總是在E0中轉移，或者轉移到某個常返類Eα中,一旦轉移到Eα，它將永遠在Eα中轉移, 而且不時回到其中的每一個狀態。特別，當 E本身是不可約常返閉集時，極限存在,其中0≤rt，t是0)的最大公約數，即鏈的周期,與j無關。近20年建立起來的馬丁邊界理論，更細緻地刻畫了鏈在E0中轉移的情況。它的主要思想是在鏈的狀態空間E 中引進距離並將E 完備化，使得在這個距離下，Xn 以概率1收斂（見概率論中的收斂）。

連續時間馬爾可夫鏈 設E是{0,1,…,M}或{0,1,2，…},{X,t≥0}是一族取值於E的隨機變數,如果在(1)式中, 將n1,n2,…,m,n理解為實數,(1)式仍成立,則稱{Xt，t≥0}為連續時間馬爾可夫鏈。若還與s≥0無關，記為pij(t)，則稱鏈為齊次的。連續時間齊次馬爾可夫鏈也由它的轉移矩陣P(t)=(pij(t))(i,j∈E,t0)所刻畫。P(t)滿足下述條件：①pij(t)≥0，；②柯爾莫哥洛夫-查普曼方程；通常假定：③標準性 這裡δii=1,δij=0(i≠j)。有時直接稱滿足①、②、③的一族矩陣P(t)=(pij(t))，t≥0為轉移矩陣或馬爾可夫鏈。當①中條件放寬為時,稱為廣轉移矩陣,它有很好的解析性質。例如,每個pij(t)在t0時具有連續的有窮導數 P拞(t)；在t＝0，右導數P拞(0)存在,i≠j時P拞(0)非負有窮,但P拞(0)可能為無窮。矩陣Q =(qij)呏(P拞(0))稱為鏈的密度矩陣，又稱Q矩陣。對於每個齊次馬爾可夫鏈{X,t≥0},鍾開萊找到一個具有較好軌道性質(右下半連續)的修正{X慫, t≥0}（即對一切t≥0，P(X慫≠Xt)=0, 且對每個軌道對一切t≥0有），而且以概率1，對任意t≥0, s從大於t的一側趨於t時,X最多只有一個有窮的極限點。

以Q為密度矩陣的廣轉移矩陣稱為Q廣轉移矩陣或 Q過程。在一定條件下，Q廣轉移矩陣P(t),t≥0滿足向後微分方程組

或者向前微分方程組

上面兩個方程組的更普遍形式由柯爾莫哥洛夫於1931年引入。他並提出求解上述方程組的問題,這就是Q矩陣問題或構造問題:給定一個矩陣Q =(qij),滿足0qij＜+∞(i≠j),，是否存在Q廣轉移矩陣?如果存在，何時惟一?如果不惟一，如何求出全部的Q廣轉移矩陣？對於qii都有限的情形，W.費勒於1940年構造了一個最小解p(t),證明了Q 廣轉移矩陣總是存在的；中國學者侯振挺於1974年對於qii都有限的情形找到了Q 廣轉移矩陣的惟一性準則；至於求出全部Q 廣轉移矩陣的問題，僅僅對一些特殊的情形獲得解決。對於Q 的對角線元素全為無窮的情形，D.威廉斯曾獲得了完滿的結果。

生滅過程 考察一個群體成員的數目, 在時間的進程中可增可減，假定在時刻t群體有i個成員，在很短的時間間隔(t，t+Δt)中,群體數目增加或減少兩個或兩個以上幾乎是不可能的,它只可能增加一個或減少（當i0時）一個或保持不變。而增加一個的概率為 ，減少一個的概率為，保持不變的概率為。(pij(t))的密度矩陣是

式中α0≥0,b00，對一切i0,αi0,bi0。具有上述形狀的密度矩陣的齊次馬爾可夫鏈稱為生滅過程。

物理、化學、生物、醫學等的許多實際模型都可以用生滅過程來描述，因此生滅過程有著廣泛的實際應用。不僅如此，生滅過程還有重要的理論研究意義。關於生滅過程的結果已經十分豐富。當α0=0,b00時，只有一個生滅過程的充分必要條件是

。

對上述條件不成立的情形，中國學者王梓坤於1958年建立了「極限過渡法」，構造了全部生滅過程。這個方法的基本思想是用較簡單的杜布過程的軌道來逼近一般過程的軌道。此外，甚至對α0≥0，b00的情形,或更一般的雙邊生滅Q矩陣（即為一切整數）的情形,全部Q廣轉移矩陣也都已構造出來。

一般馬爾可夫過程 設(E，B)為可測空間，X={X，t≥0}為一族取值於E的隨機變數,如果對任意的B，以概率1有

(2)

則稱X為馬爾可夫過程。

馬爾可夫過程的定義還可以進一步擴充。第一,所謂”過去”可以作更廣泛的理解,即(2)中由, Xs所產生的σ域（見概率）可以擴大為一般的σ域Fs，只要Fs包含由｛X,u≤s｝產生的σ域，而當 st時，。如果對任意s≥0，t0，A∈B，以概率1有

(3)

則稱隨機過程X={X,t≥0}為馬爾可夫過程。第二,可以允許過程有壽命ζ，其中ζ是停時（見隨機過程）。這時過程為X={X,tζ}。上述定義仍保留，但應作相應的修改，如{X∈As∈A,sζ)，(3)應理解為在{sζ}上幾乎處處成立。

馬爾可夫過程的許多性質可以通過轉移函數來表達。轉移函數P(s,x,t,A)(0≤s≤t，x∈E,A∈B)是滿足某些條件的四元函數，它可以理解為過程在時刻s時處在x，在時刻t 時轉移到A中的條件概率。如果P(s,x,t, A)=P(t-s,x,A)只依賴於t-s,x及A,則稱轉移函數及相應的馬爾可夫過程為齊次的。設E是d維歐幾里得空間Rd,B為Rd中的波萊爾域（見概率分布）Bd，而且齊次轉移函數滿足下面的登金－金尼條件：對任意 ε0，·。式中Vε(x)={y:｜y-x｜≥ε}，那麼可以選取軌道連續的齊次馬爾可夫過程X，以p(t，x，A)為轉移函數。一類重要的軌道連續馬爾可夫過程是 d維布朗運動。

強馬爾可夫過程 在馬爾可夫性的定義中，”現在”是指固定的時刻，但實際問題中常需把馬爾可夫性中的「現在」這個時刻概念推廣為停時（見隨機過程）。例如考察從圓心出發的平面上的布朗運動，如果要研究首次到達圓周的時刻 τ以前的事件和以後的事件的條件獨立性,這裡τ為停時,並且認為τ是「現在」。如果把「現在」推廣為停時情形的「現在」，在已知「現在」的條件下，「將來」與「過去」無關，這種特性就叫強馬爾可夫性。具有這種性質的馬爾可夫過程叫強馬爾可夫過程。在相當一段時間內，不少人認為馬爾可夫過程必然是強馬爾可夫過程。首次提出對強馬爾可夫性需要嚴格證明的是J.L.杜布。直到1956年，才有人找到馬爾可夫過程不是強馬爾可夫過程的例子。馬爾可夫過程理論的進一步發展表明，強馬爾可夫過程才是馬爾可夫過程真正研究的對象。

擴散過程 歷史上，擴散過程起源於對物理學中擴散現象的研究。雖然現在擴散過程的最一般的定義是軌道連續的馬爾可夫過程，但在1931年柯爾莫哥洛夫對於擴散過程的奠基性研究中，卻是按照轉移函數來定義擴散過程的。直線上的馬爾可夫過程，它有轉移函數P(s，x,t,A)，如果對任意ε0，

馬爾可夫模型的應用

主要應用於語音識別、音字轉換、詞性標註。

自然語言是人類交流信息的工具。很多自然語言處理問題都可以等同於通信系統中的解碼問題–一個人根據接收到的信息，去猜測發話人要表達的意思。這其實就象通信中，人們根據接收端收到的信號去分析、理解、還原發送端傳送過來的信息。比如一個典型的通信系統中：其中s1，s2，s3…表示信息源發出的信號。o1,o2,o3…是接受器接收到的信號。通信中的解碼就是根據接收到的信號o1,o2,o3…還原出發送的信號s1，s2，s3…。

其實人們平時在說話時，腦子就是一個信息源。人們的喉嚨（聲帶），空氣，就是如電線和光纜般的信道。聽眾耳朵的就是接收端，而聽到的聲音就是傳送過來的信號。根據聲學信號來推測說話者的意思，就是語音識別。這樣說來，如果接收端是一台計算機而不是人的話，那麼計算機要做的就是語音的自動識別。同樣，在計算機中，如果我們要根據接收到的英語信息，推測說話者的漢語意思，就是機器翻譯；如果我們要根據帶有拼寫錯誤的語句推測說話者想表達的正確意思，那就是自動糾錯。那麼怎麼根據接收到的信息來推測說話者想表達的意思呢？人們可以利用叫做”隱含馬爾可夫模型” （HiddenMarkovModel） 來解決這些問題。以語音識別為例，當我們觀測到語音信號o1,o2,o3時，要根據這組信號推測出發送的句子s1,s2,s3。顯然，人們應該在所有可能的句子中找最有可能性的一個。用數學語言來描述，就是在已知o1,o2,o3,…的情況下，求使得條件概率

P(s1,s2,s3,…|o1,o2,o3….)達到最大值的那個句子s1,s2,s3,…

當然，上面的概率不容易直接求出，於是人們可以間接地計算它。利用貝葉斯公式並且省掉一個常數項，可以把上述公式等價變換成

P(o1,o2,o3,…|s1,s2,s3….)*P(s1,s2,s3,…)

其中

P(o1,o2,o3,…|s1,s2,s3….)表示某句話s1,s2,s3…被讀成o1,o2,o3,…的可能性,而

P(s1,s2,s3,…)表示字串s1,s2,s3,…本身能夠成為一個合乎情理的句子的可能性，所以這個公式的意義是用發送信號為s1,s2,s3…這個數列的可能性乘以s1,s2,s3…本身可以一個句子的可能性，得出概率。

（讀者讀到這裡也許會問，你現在是不是把問題變得更複雜了，因為公式越寫越長了。別著急，就來簡化這個問題。）人們們在這裡做兩個假設：

第一，s1,s2,s3,…是一個馬爾可夫鏈，也就是說，si只由si-1決定(詳見系列一)；

第二，第i時刻的接收信號oi只由發送信號si決定（又稱為獨立輸出假設,即P(o1,o2,o3,…|s1,s2,s3….)=P(o1|s1)*P(o2|s2)*P(o3|s3)…。

那麼人們就可以很容易利用演算法Viterbi找出上面式子的最大值，進而找出要識別的句子s1,s2,s3,…。

滿足上述兩個假設的模型就叫隱含馬爾可夫模型。我們之所以用「隱含」這個詞，是因為狀態s1,s2,s3,…是無法直接觀測到的。

隱含馬爾可夫模型的應用遠不只在語音識別中。在上面的公式中，如果我們把s1,s2,s3,…當成中文，把o1,o2,o3,…當成對應的英文，那麼人們就能利用這個模型解決機器翻譯問題；如果我們把o1,o2,o3,…當成掃描文字得到的圖像特徵，就能利用這個模型解決印刷體和手寫體的識別。

P(o1,o2,o3,…|s1,s2,s3….)根據應用的不同而又不同的名稱，在語音識別中它被稱為「聲學模型」(AcousticModel)，在機器翻譯中是「翻譯模型」(TranslationModel)而在拼寫校正中是「糾錯模型」(CorrectionModel)。而P(s1,s2,s3,…)就是我們在系列一中提到的語言模型。

在利用隱含馬爾可夫模型解決語言處理問題前，先要進行模型的訓練。常用的訓練方法由伯姆（Baum）在60年代提出的，並以他的名字命名。隱含馬爾可夫模型在處理語言問題早期的成功應用是語音識別。七十年代，當時IBM的FredJelinek(賈里尼克)和卡內基·梅隆大學的JimandJanetBaker(貝克夫婦，李開復的師兄師姐)分別獨立地提出用隱含馬爾可夫模型來識別語音，語音識別的錯誤率相比人工智慧和模式匹配等方法降低了三倍(從30%到10%)。八十年代李開復博士堅持採用隱含馬爾可夫模型的框架，成功地開發了世界上第一個大辭彙量連續語音識別系統Sphinx。

馬爾可夫模型的使用方法

它可以用來預測具有等時間隔（如一年）的時刻點上各類人員的分布狀況。

它是根據歷史數據，預測等時間間隔點上的各類人員分布狀況。此方法的基本思想上根據過去人員變動的規律，推測未來人員變動的趨勢。步驟如下：

①根據歷史數據推算各類人員的轉移率，遷出轉移率的轉移矩陣；

②統計作為初始時刻點的各類人員分布狀況；

③建立馬爾科夫模型，預測未來各類人員供給狀況；

使用馬爾科夫模型進行人力資源供給預測的關鍵是確定出人員轉移率矩陣表，而在實際預測時，由於受各種因素的影響，人員轉移率是很難準確確定出來的，往往都是一種大致的估計，因此會影響到預測結果的準確性。

c語言遞歸函數

遞歸函數：

編程語言中，函數Func(Type a,……)直接或間接調用函數本身，則該函數稱為遞歸函數。遞歸函數不能定義為內聯函數。

在數學上，關於遞歸函數的定義如下：對於某一函數f(x)，其定義域是集合A，那麼若對於A集合中的某一個值X0，其函數值f(x0)由f(f(x0))決定，那麼就稱f(x)為遞歸函數。

函數介紹：

在數理邏輯和計算機科學中，遞歸函數或μ-遞歸函數是一類從自然數到自然數的函數，它是在某種直覺意義上是”可計算的” 。事實上，在可計算性理論中證明了遞歸函數精確的是圖靈機的可計算函數。遞歸函數有關於原始遞歸函數，並且它們的歸納定義(見下)建造在原始遞歸函數之上。但是，不是所有遞歸函數都是原始遞歸函數 — 最著名的這種函數是阿克曼函數。

其他等價的函數類是λ-遞歸函數和馬爾可夫演算法可計算的函數。

例子：

//代碼1

void func()

{

//…

if(…)

func();

else

//…

}

條件：

一個含直接或間接調用本函數語句的函數被稱之為遞歸函數，在上面的例子中能夠看出，它必須滿足以下兩個條件：

1） 在每一次調用自己時，必須是（在某種意義上）更接近於解；

2） 必須有一個終止處理或計算的準則。

梵塔的遞歸函數：

//C

void hanoi(int n,char x,char y,char z)

{

if(n==1)

move(x,1,z);

else

{

hanoi(n-1,x,z,y);

move(x,n,z);

hanoi(n-1,y,x,z);

}

}