馬爾可夫過程

目錄

1、 什么是馬爾可夫過程

2、 馬爾可夫過程的概率分布

3、 馬爾可夫過程的應用舉例

什么是馬爾可夫過程

......

　　1、馬爾可夫性(無後效性)

　　過程或（系統）在時刻t₀所處的狀態爲已知的條件下，過程在時刻t %26gt; t₀所處狀態的條件分布，與過程在時刻t₀之前年處的狀態無關的特性稱爲馬爾可夫性或無後效性。

　　即：過程“將來”的情況與“過去”的情況是無關的。

　　2、馬爾可夫過程的定義

　　具有馬爾可夫性的隨機過程稱爲馬爾可夫過程。

　　用分布函數表述馬爾可夫過程：

　　設I：隨機過程{X(t),tin T}的狀態空間，假如對時間t的任意n個數值:

　　（注：X(t_n)在條件X(t_i) = x_i下的條件分布函數）

　　(注：X(t_n))在條件X(t_{n %26minus; 1}) = x_{n %26minus; 1}下的條件分布函數）

　　或寫成：

　　這時稱過程具馬爾可夫性或無後性，並稱此過程爲馬爾可夫過程。

　　3、馬爾可夫鏈的定義

　　時間和狀態都是離散的馬爾可夫過程稱爲馬爾可夫鏈, 簡記爲。

馬爾可夫過程的概率分布

　　研究時間和狀態都是離散的隨機序列:,狀態空間爲

　　1、用分布律描述馬爾可夫性

　　對任意的正整數n,r和，有：

　　PX_{m + n} = a_j | X_m = a_i，其中。

　　2、轉移概率

　　稱條件概率P_ij(m,m + n) = PX_{m + n} = a_j | X_m = a_i爲馬氏鏈在時刻m處於狀態a_i條件下，在時刻m+n轉移到狀態a_j的轉移概率。

　　說明：轉移概率具胡特點：

　　。

　　由轉移概率組成的矩陣稱爲馬氏鏈的轉移概率矩陣。它是隨機矩陣。

　　3、平穩性

　　當轉移概率P_ij(m,m + n)只與i,j及時間間距n有關時，稱轉移概率具有平穩性。同時也稱些鏈是齊次的或時齊的。

　　此時，記P_ij(m,m + n) = P_ij(n),P_ij(n) = PX_{m + n} = a_j | X_m = a_i(注：稱爲馬氏鏈的n步轉移概率)

　　P(n) = (P_ij(n))爲n步轉移概率矩陣。

　　非凡的, 當 k=1 時,

　　一步轉移概率：P_ij = P_ij(1) = PX_{m + 1} = a_j | X_m = a_i。

　　一步轉移概率矩陣：P(1)

馬爾可夫過程的應用舉例

　　設任意相繼的兩天中，雨天轉晴天的概率爲1/3，晴天轉雨天的概率爲1/2，任一天晴或雨是互爲逆事件。以0表示晴天狀態，以1表示雨天狀態，X_n表示第n天狀態（0或1）。試定出馬氏鏈的一步轉移概率矩陣。又已知5月1日爲晴天，問5月3日爲晴天，5月5日爲雨天的概率各等於多少？

　　解：由於任一天晴或雨是互爲逆事件且雨天轉晴天的概率爲1/3，晴天轉雨天的概率爲1/2，故一步轉移概率和一步轉移概率矩陣分別爲：

　　故5月1日爲晴天，5月3日爲晴天的概率爲：

　　又由於：

　　故5月1日爲晴天，5月5日爲雨天的概率爲：P₀₁(4) = 0.5995