一、極大似然估計法的原理
極大似然估計法是一種經典的參數估計方法。其核心思想是,在給定觀測數據的情況下,通過尋找最可能產生該數據的模型參數值,來對模型參數進行估計。假設有一組$n$個獨立同分布的隨機變數$X_1,X_2,…,X_n$,其共同的概率密度函數為$f(x;\theta)$,其中,$\theta$為未知參數。那麼,這組觀測數據的聯合概率密度函數為:
$$L(\theta)=\prod_{i=1}^n f(x_i;\theta)$$
極大似然估計的思想就是在所有可能的$\theta$值中,選取一個值$\hat{\theta}$,使得$L(\hat{\theta})$最大。
二、極大似然函數求解步驟
通過對極大似然函數進行求解,就可以得到極大似然估計值。下面是極大似然函數求解的具體步驟:
Step 1:列出聯合概率密度函數$L(\theta)$;
Step 2:對$L(\theta)$取對數,得到對數似然函數$lnL(\theta)$;
Step 3:對$lnL(\theta)$求導,得到導數為0的方程;
Step 4:解方程得到$\hat{\theta}$,即為極大似然估計值。
三、極大似然估計法例題
例題1:假設有一組觀測數據$X_1,X_2,…,X_n$,其服從二項分布$B(n,p)$。試用極大似然估計法估計參數$p$。
解: 根據二項分布的概率密度函數,有: $$f(x_i;p)=C_{n}^{x_i}p^{x_i}(1-p)^{n-x_i}$$ 那麼,該組觀測數據的聯合概率密度函數為: $$L(p)=\prod_{i=1}^n f(x_i;p)=\prod_{i=1}^n C_{n}^{x_i}p^{x_i}(1-p)^{n-x_i}$$ 對$L(p)$取對數,得到對數似然函數: $$lnL(p)=\sum_{i=1}^n lnC_{n}^{x_i}+x_i ln(p)+(n-x_i)ln(1-p)$$ 對$lnL(p)$求導,得到: $$\frac{d lnL(p)}{dp}=\frac{\sum_{i=1}^n x_i}{p}-\frac{\sum_{i=1}^n n-x_i}{1-p}$$ 令導數為0,解得: $$\hat{p}=\frac{\sum_{i=1}^n x_i}{n}$$ 因此,參數$p$的極大似然估計值為$\hat{p}=\frac{\sum_{i=1}^n x_i}{n}$。
例題2:假設有一組觀測數據$X_1,X_2,…,X_n$,其服從正態分布$N(\mu,\sigma^2)$。試用極大似然估計法估計參數$\mu$和$\sigma^2$。
解: 根據正態分布的概率密度函數,有: $$f(x_i;\mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x_i-\mu)^2}{2\sigma^2}\}$$ 那麼,該組觀測數據的聯合概率密度函數為: $$L(\mu,\sigma^2)=\prod_{i=1}^n f(x_i;\mu,\sigma^2)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x_i-\mu)^2}{2\sigma^2}\}$$ 對$L(\mu,\sigma^2)$取對數,得到對數似然函數: $$lnL(\mu,\sigma^2)=-\frac{n}{2}ln(2\pi)-nln(\sigma)-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}$$ 對$lnL(\mu,\sigma^2)$求導,得到: $$\frac{\partial lnL(\mu,\sigma^2)}{\partial\mu}=\frac{\sum_{i=1}^n (x_i-\mu)}{\sigma^2}$$ $$\frac{\partial lnL(\mu,\sigma^2)}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{\sum_{i=1}^n (x_i-\mu)^2}{2\sigma^4}$$ 令導數為0,解得: $$\hat{\mu}=\frac{\sum_{i=1}^n x_i}{n}$$ $$\hat{\sigma}^2=\frac{\sum_{i=1}^n (x_i-\hat{\mu})^2}{n}$$ 因此,參數$\mu$和$\sigma^2$的極大似然估計值分別為$\hat{\mu}=\frac{\sum_{i=1}^n x_i}{n}$和$\hat{\sigma}^2=\frac{\sum_{i=1}^n (x_i-\hat{\mu})^2}{n}$。
四、SPSS極大似然估計法的步驟
在SPSS中,可以通過選擇合適的模型和數據,來進行極大似然估計。其具體步驟如下:
Step 1:在SPSS界面中,選擇Analyze→Regresstion→Binary Logistic或Linear Regression等;
Step 2:在Dependent Variable框中輸入因變數,選擇相關的自變數,並設置為連續變數;
Step 3:在先前假設的模型界面中,選擇Estimate;
Step 4:在Estimate窗口中選擇Method選項卡,選擇Maximum Likelihood;
Step 5:點擊Continue按鈕,得到輸出結果,包括參數估計值、標準誤差、似然比、卡方值等信息。
五、極大似然估計步驟
總結以上討論的極大似然估計法的步驟,包括:
1. 列出聯合概率密度函數;
2. 對聯合概率密度函數取對數,得到對數似然函數;
3. 對對數似然函數求導,得到導數為0的方程;
4. 解方程,得到極大似然估計值。
六、極大似然法的步驟
在實際應用中,極大似然法的步驟也可以歸納為以下三步:
1. 確定參數模型;
2. 計算對數似然函數的導數;
3. 求解導數為0的方程,得到極大似然估計值。
七、極大似然估計法例題求助
例題3:在一次鑄件試驗中,隨機選取10個鑄件,測得其強度值(單位:MPa)為:
330 361 284 328 346 339 341 332 349 353
假定強度值服從正態分布$N(\mu,\sigma^2)$,試用極大似然估計法估計參數$\mu$和$\sigma^2$。
解: 根據樣本數據,有: $$n=10$$ $$\sum_{i=1}^n x_i=3363$$ $$\sum_{i=1}^n (x_i-\bar{x})^2=5868$$ 那麼,該組觀測數據的聯合概率密度函數為: $$L(\mu,\sigma^2)=\prod_{i=1}^n f(x_i;\mu,\sigma^2)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x_i-\mu)^2}{2\sigma^2}\}$$ 對$L(\mu,\sigma^2)$取對數,得到對數似然函數: $$lnL(\mu,\sigma^2)=-5ln(\sigma)-\frac{n}{2}ln(2\pi)-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2$$ 對$lnL(\mu,\sigma^2)$求導,得到: $$\frac{\partial lnL(\mu,\sigma^2)}{\partial\mu}=\frac{\sum_{i=1}^n (x_i-\mu)}{\sigma^2}$$ $$\frac{\partial lnL(\mu,\sigma^2)}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{\sum_{i=1}^n (x_i-\mu)^2}{2\sigma^4}$$ 令導數為0,解得: $$\hat{\mu}=\frac{\sum_{i=1}^n x_i}{n}=336.3$$ $$\hat{\sigma}^2=\frac{\sum_{i=1}^n (x_i-\hat{\mu})^2}{n}=\frac{\sum_{i=1}^n (x_i-\bar{x})^2}{n}=586.8$$ 因此,參數$\mu$和$\sigma^2$的極大似然估計值分別為$\hat{\mu}=336.3$和$\hat{\sigma}^2=586.8$。
原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-tw/n/291885.html