協方差

什么是協方差
　　在概率論和統計學中，協方差用於衡量兩個變量的總體誤差。而方差是協方差的一種特殊情況，即當兩個變量是相同的情況。
　　期望值分別爲E(X) = μ 與 E(Y) = ν 的兩個實數隨機變量X與Y之間的協方差定義爲：
　　
　　其中，E是期望值。它也可以表示爲：
　　
　　直觀上來看，協方差表示的是兩個變量總體的誤差，這與只表示一個變量誤差的方差不同。
　　如果兩個變量的變化趨勢一致，也就是說如果其中一個大於自身的期望值，另外一個也大於自身的期望值，那么兩個變量之間的協方差就是正值。
　　如果兩個變量的變化趨勢相反，即其中一個大於自身的期望值，另外一個卻小於自身的期望值，那么兩個變量之間的協方差就是負值。
　　如果X與Y是統計獨立的，那么二者之間的協方差就是0。這是因爲
　　
　　但是，反過來並不成立。即如果X與Y的協方差爲0，二者並不一定是統計獨立的。
　　協方差cov(X,Y)的度量單位是X的協方差乘以Y的協方差。而取決於協方差的相關性，是一個衡量线性獨立的無量綱的數。
　　協方差爲0的兩個隨機變量稱爲是不相關的。
協方差屬性
　　如果X與Y是實數隨機變量，a與b不是隨機變量，那么根據協方差的定義可以得到：

　　對於隨機變量序列X1, ..., Xn 與 Y1, ..., Ym，有

　　對於隨機變量序列 X1, ..., Xn，有

協方差矩陣
　　分別爲m與n個標量元素的列向量隨機變量X與Y，二者對應的期望值分別爲μ與ν，這兩個變量之間的協方差定義爲m×n矩陣。

　　兩個向量變量的協方差cov(X,Y)與cov(Y,X)互爲轉置矩陣。
　　協方差有時也稱爲是兩個隨機變量之間“线性獨立性”的度量，但是這個含義與线性代數中嚴格的线性獨立性线性獨立不同。