跳转到内容
Notes

参数估计

点估计

Section titled “点估计”

如果我们知道了 XX 的分布方式，但是有个未知参数 θ\theta，为了估计 θ\theta 的值，就需要用样本 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n 来构造一个统计量 θ^(X1,X2,⋯ ,Xn)\hat{\theta}(X_1,X_2,\cdots,X_n) 来估计

θ^(X1,X2,⋯ ,Xn)\hat{\theta}(X_1,X_2,\cdots,X_n) 是 θ\theta 的点估计量，θ^(x1,x2,⋯ ,xn)\hat{\theta}(x_1,x_2,\cdots,x_n) 是点估计值

比如说我们知道有个 X∼U(0,θ)X\sim U(0,\theta)，显然 E(X)=θ2=X‾E(X)=\frac{\theta}{2}=\overline{X}，于是我们可以得出 θ^=2X‾\hat{\theta}=2\overline{X}

矩估计

Section titled “矩估计”

这里就是用前面的样本矩 Ak=1n∑k=1nXik\displaystyle A_k=\frac{1}{n}\sum_{k=1}^{n}X_i^k 来代替总体矩 uk=E(Xk)u_k=E(X^k) 也就是先求总体矩 E(XE(X)，再令 X‾=E(X)\overline{X}=E(X) 就能解得对应的 θ^\hat{\theta} 了

最大似然估计

Section titled “最大似然估计”

使当前样本 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n 出现的概率最大的参数值 θ^\hat{\theta} 就是最大似然估计

而似然函数就是刻画样本 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n 出现概率的函数

对于离散型就是

L(X1,X2,⋯ ,Xn;θ)=P{X1=x1,X2=x2,⋯ ,Xn=xn}=∏i=1nP{Xi=xi}L(X_1,X_2,\cdots,X_n;\theta)=P\{ X_1=x_1,X_2=x_2,\cdots,X_n=x_n \}=\prod_{i=1}^n P\{X_i=x_i\}

对于连续型则是

L(X1,X2,⋯ ,Xn;θ)=∏i=1nf(xi;θ)L(X_1,X_2,\cdots,X_n;\theta)=\prod_{i=1}^n f(x_i;\theta)

下面是做法，首先先写出 L(θ)L(\theta)，然后为了方便求导要取对数 ln⁡L(θ)\ln L(\theta)

之后求导算驻点 dln⁡L(θ)dθ=0\displaystyle\frac{d\ln L(\theta)}{d\theta}=0，驻点就是 θ^\hat{\theta}

哪个估计量更好？

Section titled “哪个估计量更好？”

专家找出了三个标准

无偏性

Section titled “无偏性”

如果 E(θ^)=θE(\hat{\theta})=\theta，那 θ^\hat{\theta} 就是 θ\theta 的无偏估计量，如果 lim⁡n→∞E(θ^)=θ\displaystyle\lim_{n\to \infty} E(\hat{\theta})=\theta，那 θ^\hat{\theta} 就是 θ\theta 的渐进无偏估计量

如果 a+b=1a+b=1，那容易得到 aX1+bX2aX_1+bX_2 就是无偏估计

有效性

Section titled “有效性”

如果有两个无偏估计量 θ^1\hat{\theta}_1 和 θ^2\hat{\theta}_2，如果 D(θ^1)≤D(θ^2)D(\hat{\theta}_1)\leq D(\hat{\theta}_2)，那 θ^1\hat{\theta}_1 比 θ^2\hat{\theta}_2 更有效

一致性

Section titled “一致性”

如果有 θ^n=θ^(X1,X2,⋯ ,Xn)\hat{\theta}_n=\hat{\theta}(X_1,X_2,\cdots,X_n) 和任意 ϵ>0\epsilon > 0 有 lim⁡n→∞P{∣θ^n−θ∣<ϵ}=1\displaystyle\lim_{n\to \infty} P\{ |\hat{\theta}_n - \theta| < \epsilon \}=1，也就是 θ^n\hat{\theta}_n 依概率收敛到 θ\theta，那就管 θ^n\hat{\theta}_n 叫做 θ\theta 的一致估计

区间估计

Section titled “区间估计”

在 XX 的分布里面有 θ\theta，X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n 是样本，如果对于给定的 α\alpha ，有 θ^1\hat{\theta}_1 和 θ^2\hat{\theta}_2 使得 P{θ^1<θ<θ^2}=1−αP\{ \hat{\theta}_1 < \theta < \hat{\theta}_2 \}=1-\alpha，就管 (θ^1,θ^2)(\hat{\theta}_1,\hat{\theta}_2) 叫 θ\theta 的置信区间，1−α1-\alpha 是置信水平或者置信度

基本的求解过程就是

先构造一个分布已知的函数 J=J(X1,X2,⋯ ,Xn;θ)J=J(X_1,X_2,\cdots,X_n;\theta)，然后对于给定的置信水平 1−α1-\alpha，利用 JJ 的分布确定 a,ba,b 使得 P{a<J<b}=1−αP\{ a < J < b \}=1-\alpha

然后由 a<J<ba<J<b 可以解得 (θ^1,θ^2)(\hat{\theta}_1,\hat{\theta}_2)，这就是要求的置信区间

必须要注意的是， JJ 只能有一个未知参数 θ\theta

如果未知正态分布的 σ2\sigma^2 要求 μ\mu 的置信区间

那就让 J(X1,X2,⋯ ,Xn;μ)=X‾−μSn∼t(n−1)\displaystyle J(X_1,X_2,\cdots,X_n;\mu)=\frac{\overline{X}-\mu}{\frac{S}{\sqrt n}}\sim t(n-1)，然后让 P{−tα2<J<tα2}=1−αP\{ -t_{\frac{\alpha}{2}} < J < t_{\frac{\alpha}{2}} \}=1-\alpha 就可以了（这里的 SS 是修正后的标准差，可以去这里看）

如果未知正态分布的 μ\mu 要求 σ2\sigma^2 的置信区间

那就让 J(X1,X2,⋯ ,Xn;σ2)=(n−1)S2σ2∼χ2(n−1)\displaystyle J(X_1,X_2,\cdots,X_n;\sigma^2)=\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)

然后继续算 χ−α22(n−1)<J<χα22(n−1)\displaystyle \chi_{-\frac{\alpha}{2}}^2 (n-1) < J < \chi_{\frac{\alpha}{2}}^2 (n-1) 就行了