基於重要性採樣的概率估計

概率估計是機器學習中的一項基礎性任務，其目的是使用已有的數據對未知的隨機變數及其分布進行推斷。在實際應用中，大多數情況下只能收集到一小部分數據，無法全面了解整個概率分布。因此，需要從有限數據中獲取儘可能多的信息來近似真實分布。本文將介紹其中一種基於重要性採樣的方法。

一、重要性採樣

重要性採樣是一種常用的概率分布估計方法，其思想是使用一個已知的容易採樣的分布來估計一個難以直接採樣的分布。重要性採樣的一般步驟如下：

def importance_sampling(p, q, samples):
    # p: 目標分布
    # q: 採樣分布
    # samples: q中採樣的數據
    weights = p(samples) / q(samples)
    return np.mean(weights * samples)

其中p和q分別是目標分布和採樣分布，samples是從採樣分布中獲取的一些樣本。假設我們能夠從q中採樣到x1, x2, …, xn，那麼目標分布的期望可以通過重要性採樣來近似計算：

import numpy as np

def f(x):
    return np.sin(x)

def q(x):
    return np.exp(-x ** 2)

def importance_sampling(p, q, samples):
    weights = p(samples) / q(samples)
    return np.mean(weights * samples)

samples = q(np.random.randn(10000))
print(importance_sampling(f, q, samples))

其中我們使用了一個簡單的例子：目標分布為$f(x)=sin(x)$，採樣分布為$q(x)=e^{-x^2}$。

二、重要性採樣與Monte Carlo方法

重要性採樣可以看作是Monte Carlo方法的一種擴展形式。在Monte Carlo方法中，我們通常是從目標分布中生成樣本，再利用這些樣本來計算函數的期望值。例如，在積分問題中，可以通過隨機抽樣來近似求解：

def monte_carlo(f, a, b, n):
    x = np.random.uniform(a, b, n)
    return (b-a) * np.mean(f(x))

result = monte_carlo(np.sin, 0, np.pi, 10000)
print(result)

這裡計算的是$\int_0^\pi sin(x)dx$。

如果目標分布中的樣本不容易生成，我們可以通過重要性採樣來使用一個容易生成的分布來近似。

三、重要性採樣的優點和缺點

優點

重要性採樣是一種簡單而有效的概率估計方法。相對於前面提到的Monte Carlo方法，其優點在於：

• 不需要從目標分布中生成樣本，而是可以利用一個容易生成的分布。
• 可以更準確地估計概率分布的尾部，因為重要性採樣可以在尾部的樣本區域選擇更多的樣本。

缺點

然而，重要性採樣也存在一些限制：

• 當採樣分布和目標分布差異較大時，重要性採樣可能會失效，估計結果會存在較大誤差。
• 重要性採樣需要對採樣分布進行選取，需要先對目標分布進行一些了解。

四、總結

重要性採樣是一種基於概率分布的估計方法，在機器學習、統計學習、計算機視覺等領域都有廣泛的應用。雖然重要性採樣存在一些局限性，但是在許多場景下，其仍然是一種有效的估計方法。