詳解 likelihood ratio

一、什麼是likelihood ratio

likelihood ratio，即似然比，是統計學上的一種概念，通常被用於比較兩種相互競爭的假設的相對證據強度。

它可以用來衡量兩個假設在現實數據情況下的對數比值。其表達式為：

    LR = P(D|H1) / P(D|H2)

其中，P(D|H1)代表在假設H1下，數據集D出現的概率；P(D|H2)代表在假設H2下，數據集D出現的概率。

二、likelihood ratio在假設檢驗中的應用

在假設檢驗中，似然比替代了傳統假設檢驗中的顯著性檢驗，用來評估觀測數據對不同假設的證據程度。

以二項式分布為例，假設有兩個假設：

H1：p = 0.4

H2：p = 0.6

其中，p表示某一事件發生的概率。考慮到我們的假設是要基於已經觀測到的數據集來判斷的，於是我們需要先觀測到一些數據。

在已知數據集D = {22, 26, 28, 30, 32}的情況下，我們可以計算出在假設H1和假設H2下數據集D的概率，並求出likelihood ratio：

    P(D|H1) = 0.0332，P(D|H2) = 0.1795
    LR = 0.185

根據likelihood ratio我們可以得到一個結論：數據集D更有可能來自假設H2（p=0.6），因為likelihood ratio大於1。

三、likelihood ratio在貝葉斯推理中的應用

在貝葉斯推理中，likelihood ratio作為Bayes Factor的一部分被用來計算後驗概率，即：

    posterior odds = Bayes Factor * prior odds

其中，prior odds是先驗概率，Bayes Factor是likelihood ratio的一個轉化，其表達式為：

    Bayes Factor = P(D|H1) / P(D|H2) / (P(H1) / P(H2))

根據貝葉斯定理可以進一步化簡得到：

    Bayes Factor = P(H1|D) / P(H2|D)

其中，P(H1|D)和P(H2|D)分別代表在數據集D下H1和H2的後驗概率。

可以看出，likelihood ratio在貝葉斯推理中起到了至關重要的作用，它不僅可以用來評價觀測數據對不同假設的支持程度，還可以幫助我們計算後驗概率。

四、likelihood ratio的代碼實現

以下代碼實現了likelihood ratio的計算以及對於假設H1和假設H2的判斷。

    def likelihood_ratio(D, H1, H2):
        P_D_H1 = stats.binom(H1['n'], H1['p']).pmf(D).prod()
        P_D_H2 = stats.binom(H2['n'], H2['p']).pmf(D).prod()
        return P_D_H1 / P_D_H2
    
    D = [22, 26, 28, 30, 32]
    H1 = {'n': 50, 'p': 0.4}
    H2 = {'n': 50, 'p': 0.6}
    
    lr = likelihood_ratio(D, H1, H2)
    
    if lr > 1:
        print('數據集D更有可能來自假設H2（p=0.6）')
    else:
        print('數據集D更有可能來自假設H1（p=0.4）')

五、總結

likelihood ratio作為一種重要的統計量，在假設檢驗和貝葉斯推理中都有廣泛的應用。通過對likelihood ratio的詳細闡述，我們可以更好地理解似然比的內涵，並能夠根據likelihood ratio來判斷觀測數據對於不同假設的支持程度。