极大似然估计法的步骤

一、极大似然估计法的原理

极大似然估计法是一种经典的参数估计方法。其核心思想是，在给定观测数据的情况下，通过寻找最可能产生该数据的模型参数值，来对模型参数进行估计。假设有一组$n$个独立同分布的随机变量$X_1,X_2,…,X_n$，其共同的概率密度函数为$f(x;\theta)$，其中，$\theta$为未知参数。那么，这组观测数据的联合概率密度函数为：

$$L(\theta)=\prod_{i=1}^n f(x_i;\theta)$$

极大似然估计的思想就是在所有可能的$\theta$值中，选取一个值$\hat{\theta}$，使得$L(\hat{\theta})$最大。

二、极大似然函数求解步骤

通过对极大似然函数进行求解，就可以得到极大似然估计值。下面是极大似然函数求解的具体步骤：

Step 1：列出联合概率密度函数$L(\theta)$；

Step 2：对$L(\theta)$取对数，得到对数似然函数$lnL(\theta)$；

Step 3：对$lnL(\theta)$求导，得到导数为0的方程；

Step 4：解方程得到$\hat{\theta}$，即为极大似然估计值。

三、极大似然估计法例题

例题1：假设有一组观测数据$X_1,X_2,…,X_n$，其服从二项分布$B(n,p)$。试用极大似然估计法估计参数$p$。

解：
根据二项分布的概率密度函数，有：
$$f(x_i;p)=C_{n}^{x_i}p^{x_i}(1-p)^{n-x_i}$$

那么，该组观测数据的联合概率密度函数为：

$$L(p)=\prod_{i=1}^n f(x_i;p)=\prod_{i=1}^n C_{n}^{x_i}p^{x_i}(1-p)^{n-x_i}$$

对$L(p)$取对数，得到对数似然函数：

$$lnL(p)=\sum_{i=1}^n lnC_{n}^{x_i}+x_i ln(p)+(n-x_i)ln(1-p)$$

对$lnL(p)$求导，得到：

$$\frac{d lnL(p)}{dp}=\frac{\sum_{i=1}^n x_i}{p}-\frac{\sum_{i=1}^n n-x_i}{1-p}$$

令导数为0，解得：

$$\hat{p}=\frac{\sum_{i=1}^n x_i}{n}$$

因此，参数$p$的极大似然估计值为$\hat{p}=\frac{\sum_{i=1}^n x_i}{n}$。

例题2：假设有一组观测数据$X_1,X_2,…,X_n$，其服从正态分布$N(\mu,\sigma^2)$。试用极大似然估计法估计参数$\mu$和$\sigma^2$。

解：
根据正态分布的概率密度函数，有：
$$f(x_i;\mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x_i-\mu)^2}{2\sigma^2}\}$$

那么，该组观测数据的联合概率密度函数为：

$$L(\mu,\sigma^2)=\prod_{i=1}^n f(x_i;\mu,\sigma^2)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x_i-\mu)^2}{2\sigma^2}\}$$

对$L(\mu,\sigma^2)$取对数，得到对数似然函数：

$$lnL(\mu,\sigma^2)=-\frac{n}{2}ln(2\pi)-nln(\sigma)-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}$$

对$lnL(\mu,\sigma^2)$求导，得到：

$$\frac{\partial lnL(\mu,\sigma^2)}{\partial\mu}=\frac{\sum_{i=1}^n (x_i-\mu)}{\sigma^2}$$

$$\frac{\partial lnL(\mu,\sigma^2)}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{\sum_{i=1}^n (x_i-\mu)^2}{2\sigma^4}$$

令导数为0，解得：

$$\hat{\mu}=\frac{\sum_{i=1}^n x_i}{n}$$

$$\hat{\sigma}^2=\frac{\sum_{i=1}^n (x_i-\hat{\mu})^2}{n}$$

因此，参数$\mu$和$\sigma^2$的极大似然估计值分别为$\hat{\mu}=\frac{\sum_{i=1}^n x_i}{n}$和$\hat{\sigma}^2=\frac{\sum_{i=1}^n (x_i-\hat{\mu})^2}{n}$。

四、SPSS极大似然估计法的步骤

在SPSS中，可以通过选择合适的模型和数据，来进行极大似然估计。其具体步骤如下：

Step 1：在SPSS界面中，选择Analyze→Regresstion→Binary Logistic或Linear Regression等；

Step 2：在Dependent Variable框中输入因变量，选择相关的自变量，并设置为连续变量；

Step 3：在先前假设的模型界面中，选择Estimate；

Step 4：在Estimate窗口中选择Method选项卡，选择Maximum Likelihood；

Step 5：点击Continue按钮，得到输出结果，包括参数估计值、标准误差、似然比、卡方值等信息。

五、极大似然估计步骤

总结以上讨论的极大似然估计法的步骤，包括：

1. 列出联合概率密度函数；

2. 对联合概率密度函数取对数，得到对数似然函数；

3. 对对数似然函数求导，得到导数为0的方程；

4. 解方程，得到极大似然估计值。

六、极大似然法的步骤

在实际应用中，极大似然法的步骤也可以归纳为以下三步：

1. 确定参数模型；

2. 计算对数似然函数的导数；

3. 求解导数为0的方程，得到极大似然估计值。

七、极大似然估计法例题求助

例题3：在一次铸件试验中，随机选取10个铸件，测得其强度值（单位：MPa）为：

330 361 284 328 346
339 341 332 349 353

假定强度值服从正态分布$N(\mu,\sigma^2)$，试用极大似然估计法估计参数$\mu$和$\sigma^2$。

解：
根据样本数据，有：
$$n=10$$

$$\sum_{i=1}^n x_i=3363$$

$$\sum_{i=1}^n (x_i-\bar{x})^2=5868$$

那么，该组观测数据的联合概率密度函数为：

$$L(\mu,\sigma^2)=\prod_{i=1}^n f(x_i;\mu,\sigma^2)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x_i-\mu)^2}{2\sigma^2}\}$$

对$L(\mu,\sigma^2)$取对数，得到对数似然函数：

$$lnL(\mu,\sigma^2)=-5ln(\sigma)-\frac{n}{2}ln(2\pi)-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2$$

对$lnL(\mu,\sigma^2)$求导，得到：

$$\frac{\partial lnL(\mu,\sigma^2)}{\partial\mu}=\frac{\sum_{i=1}^n (x_i-\mu)}{\sigma^2}$$

$$\frac{\partial lnL(\mu,\sigma^2)}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{\sum_{i=1}^n (x_i-\mu)^2}{2\sigma^4}$$

令导数为0，解得：

$$\hat{\mu}=\frac{\sum_{i=1}^n x_i}{n}=336.3$$

$$\hat{\sigma}^2=\frac{\sum_{i=1}^n (x_i-\hat{\mu})^2}{n}=\frac{\sum_{i=1}^n (x_i-\bar{x})^2}{n}=586.8$$

因此，参数$\mu$和$\sigma^2$的极大似然估计值分别为$\hat{\mu}=336.3$和$\hat{\sigma}^2=586.8$。