目录

概率论笔记

第一章 概率论的基本概念

1.1 样本空间,随机事件

  • 样本空间

样本空间:随机试验$E $所有可能的结果组成的集合称为样本空间,记为$S$(或者称为$Ω$)

样本点:样本空间的元素, 即试验$E $的每个可能的结果, 称为样本点 (or基本事件) 常记为$e $,$S = {e1,e2…..}$

  • 随机事件

随机事件: 样本空间$S$的子集,用大写字母$A、B、C$等表示

事件发生:所谓事件$A$发生,当且仅当这个子集中的一个样本点出现

基本事件:仅含一个样本点的随机事件

  • 事件之间的运算

交换律:$A\cup B=B\cup A$,$AB=BA$

结合律:$(A\cup B)\cap C=A\cup (B\cup C)$

分配律:$A(B\cup C)=(AB)\cup (AC)$,$A\cup(BC)=(A\cup B)(A\cup C)$

德·摩根律:$\overline{AB}=\overline{A}\cup\overline{B}​$,$\overline{A\cup B}=\overline{A} \overline{B}​$

1.2 频率与概率

随机事件德频率:$f_n(A)=\frac{事件A出现的次数m}{实验总次数n}$

概率性质:

$P(\varnothing)=0​$

有限可加性:$P(\cup^n_{i=1}A_i)=\sum^n_{i=1}P(A_i)​$,$A_i​$互不相容,$P(A \cup B)=P(A)+P(B),AB=\Phi_{零事件}​$

$P(B-A)=P(B)-P(AB)$

$P(A \cup B)=P(A)+P(B)-P(AB)$

加法定理:$P(A \cup B\cup C)=P(A)+P(B)+P(C)-P(AB)-P(BC)-P(AC)+P(ABC)​$

$P(\overline{A})=1-P(A)$

一般地,设盒中有$N$个球,其中有$M$个白球,现从中任抽$n$个球,则这$n$个球中恰有$k$个白球的概率是:$P=\frac{C^k_MC^{n-k}_{N-M}}{C^n_n}​$

1.3 条件概率与贝叶斯公式

条件概率:$P(B|A)=\frac{P(AB)}{P(A)}$

性质:

$P(B|A)\ge0$

$P(S_{整体}|A)=1​$

可列可加性:$P(\cup^n_{i=1}B_i|A_i)=\sum^n_{i=1}P(B_i|A_i)$,$B_i$互不相容

$P(B_1\cup B_2|A)=P(B_1|A)+P(B_2|A)-P(B_1B_2|A)$

$P(\overline{B}|A)=1-P(B|A)$

$P(B_1-B_2|A)=P(B_1|A)-P(B_1B_2|A)$

乘法法则:$P(ABC)=P(A)P(B|A)P(C|AB)$

  • 全概率公式

设$B_1,B_2,…,B_n$是$S$的一个划分,且$P(S_i)>0$,则对于任意事件$A\in S$有:

$P(A)=\sum^n_{i=1}P(B_i)P(A|B_i)$,每个划分上$A$出现的概率相加就是$A在S$上出现的概率

  • 贝叶斯公式

设$B_1,B_2,…,B_n$是$S$的一个划分,且$P(S_i)>0$,$A$为$ S$任意事件,$P(A)>0$,则:

$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{sum^n_{j=1}P(B_j)P(A|B_j)}=\frac{P(B_i)P(A|B_i)}{P(A)}$

$A$已经发生,求$A$发生在划分$B_i$上的概率,就是$A$发生在划分$B_i$上的概率除以$A$在$S$上发生的概率.

1.4 事件独立性

定义:事件$A$发生对$B$发生的概率没有影响,可视为事件$A$与$B$相互独立,即:

$P(B|A)=P(B),P(AB)=P(A)P(B)$

性质:事件$A,B$独立 和 事件$A,B$互不相容 不能同时成立

下列四组事件,有相同独立性:一组互相独立,其他也独立

$A与B$

$A与\overline{B}$

$\overline{A}与B$

$\overline{A}与\overline{B}​$

事件$A,B,C$相互独立与事件$A,B,C$两两独立不同

第二章 随机变量及其分布

2.1 随机变量

分布律的性质:

非负性:$p_k\ge0,k=1,2,…$

归一性:$\sum^\infty_{k=1}p_k=1$

2.2 离散随机变量及其分布

0-1分布:

$X$ $0$ $1$
$P$ $1-p$ $p$

二项分布:$X\sim b(n,p)​$

$P{X=k}=C^k_np^kq^{n-k},k=0,1,2,…,n$

泊松定理:当二项分布$n$较大,$p$较小(一般$n>20,p<0.05$),有

$C^k_np^k(1-p)^{n-k}\approx\frac{e^{-\lambda}\lambda^k}{k!},k=0,1,2…$

式中$\lambda=np​$

泊松分布:$X\sim \pi(\lambda)$

$P{X=k}=e^{-\lambda}\frac{\lambda^k}{k!}$

2.3 随机变量的分布函数

定义:设$X$为随机变量,$x$是任意实数,称函数

$F(x)=P{X\le x},-\infty<x<+\infty$

为X的分布函数

离散型:点点计较 $F(X)=P{X\le x}=\sum_{k:x_k<x}p_k$

连续型:$F(X)=P{X\le x}=\int_{-\infty}^xf(t)dt$

2.4 连续随机变量及其概率密度

连续型:$F(X)=P{X\le x}=\int_{-\infty}^xf(t)dt$

其中$f(x)$称为$X$的概率密度函数,常写为 $X\sim f(x)$

概率密度函数性质

非负性:$f(x)\ge0,\forall x\in(-\infty,+\infty)$

规范性:$\int^{+\infty}_{-\infty}f(x)dx=1$

  • 几个常用连续性分布

均匀分布

$$ X\sim f(x)= \left \{ \begin{aligned} {\frac{1}{b-a}} ,a\lt x\lt b\\ 0,其他 \end{aligned} \right. $$

指数分布:$X\sim E(\theta)$

$$ f(x)=\left\{ \begin{aligned} {\frac{1}{\theta}}e^{-\frac{x}{\theta}},x>0\\ 0,x\le 0 \end{aligned} \right. $$

分布函数

$$ f(x)=\left\{ \begin{aligned} {1-}e^{-\frac{x}{\theta}},x>0\\ 0,x\le 0 \end{aligned} \right. $$

指数分布无记忆性:$P{X>s+t|X>s}=P{X>t}$

正态分布:$X\sim N(\mu,\sigma^2)$

$$ f(X)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-u)^2}{2\sigma^2}} $$

定义 $X\sim N(0,1)$为标准正太分布,密度函数$\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$,分布函数$\Phi(x)$

一般正太分布标准化:$Z=\frac{x-\mu}{\sigma}\sim N(0,1)$

2.5 随机变量的函数的分布

对于离散型,用分布表

  • 连续型随机变量的函数的分布

设X为一个连续型随机变量,其概率密度函数为$f(X)$,$y=g(x)$为一个连续函数,求随机变量$Y=g(X)$的概率密度函数

  1. 求$Y$的分布函数$F_Y(y)$

    $F_Y(y)=P(Y\le y)=P{g(X)<=y}=\int_{g(x)\le y}f(x)dx​$

  2. 对$F_Y(y)$求导,得到$f_Y(y)$

    $f_Y(y)=(F_Y(y))‘​$

定理:正态分布的线性函数仍服从正态分布

设$X \sim N(\mu,\sigma^2),Y=aX+bY(a\ne 0)$,则$Y \sim N(a\mu+b,(a\sigma)^2)$

第三章 二维随机变量及其分布

3.1 二维随机变量

定义:设$X、Y$ 为定义在同一样本空间$Ω$上的随机变量,则称向量$(X,Y)$为$Ω$上的一个二维随机变量。

二维变量联合分布函数:

$F(x,y)=P{X\le x \cap Y\le y}=^{记作}P{X\le x,Y\le y}​$

离散型:$F(x,y)=\sum_{x_i<x}\sum_{y_j<y}p_{ij}$

连续型:$F(x,y)=\int_{-\infty}^x\int_{-\infty}^yf(u,v)dudv​$

$f(x,y)$称为联合密度函数

3.2 边缘分布

设二维随机变量$(X,Y)$的分布函数为$F(x,y)$,

$F_X(x)=P{X\le x}=P{X\le x,Y<+\infty}=F(x,+\infty)​$

$F_Y(y)=P{Y\le y}=P{X< +\infty,Y\le y}=F(+\infty,y)$

连续型:

$F_X(x)=F(x,+\infty)=\int^x_{-\infty}[\int^{+\infty}_{-\infty}f(x,y)dy]dx$

边缘概率密度函数:

$f_X(x)=\int^{+\infty}_{-\infty}f(x,y)dy​$

$f_Y(y)=\int^{+\infty}_{-\infty}f(x,y)dx$

3.3 条件分布

3.4 独立性

若$F(x,y)=F_X(x)F_Y(y)$,则$X,y$相互独立,$f(x,y)=f_X(x)f_Y(y)$

第四章 随机变量的数字特征

4.1 数学期望

离散型随机变量数学期望:$E(x)=\sum^{+\infty}_{k=1}x_kp_k​$

连续性随机变量数学期望:$E(X)=\int^{+\infty}_{-\infty}xf(x)dx$

  • 随机变量的函数的数学期望

一维情形:设$Y=g(X)$是随机变量$X$的函数

​ 离散型:$E(Y)=E[g(X)]=\sum^\infty_{k=1}g(x_k)p_k$

​ 连续型:概率密度为$f(x)$,$E(Y)=E[g(X)]=\int^{+\infty}_{-\infty}g(x)f(x)dx$

二维情形:设$Z=g(X,Y)$是随机变量$X,Y$的函数

​ 离散型:$P{X=x_i,Y=y_i}=p_{ij}$,$E[g(X,Y)]=\sum_i\sum_jg(x_i,y_j)p_{ij}$

​ 连续型:联合概率密度$f(x,y)$,$E[g(X,Y)]=\int^{+\infty}_{-\infty}\int^{+\infty} _{-\infty}g(x,y)f(x,y)dxdy$

  • 数学期望的性质

$E(C)=C​$,$C​$为常数

$E(CX)=CE(X)​$

$E(X+Y)=E(X)+E(Y)​$

$X,Y$相互独立时:$E(XY)=E(X)E(Y)$

4.2 方差

定义:若$E{[X-E(X)]^2}$存在,则称其为随机变量$X$的方差,记为$D(X)$。

若$X$为离散型:$D(X)=\sum^{+\infty}_{k=1}(x_k-E(X))^2p_k$

若$X$为连续型:$D(X)=\int^{+\infty}_{-\infty}(x-E(X))^2f(x)dx$

计算方差常用公式:$D(X)=E(X^2)-E(X)^2$

  • 方差的性质

$D(C)=0$

$D(aX+b)=a^2D(X)$

$D(X\pm Y)=D(X)+D(Y)\pm 2E((X-E(X))(Y-E(Y)))​$

若$X,Y$相互独立:$D(X\pm Y)=D(X)+D(Y)$

二维随机变量方差

$D(X,Y)=(D(X),D(Y))$

$D(X)=\int^{+\infty} _{-\infty}[x-E(X)]^2f_x(x)dx=\int^{+\infty} _{-\infty}\int^{+\infty} _{-\infty}[x-E(X)]^2f(x,y)dxdy​$

$D(Y)=\int^{+\infty} _{-\infty}[y-E(Y)]^2f_y(y)dx=\int^{+\infty} _{-\infty}\int^{+\infty} _{-\infty}[y-E(Y)]^2f(x,y)dxdy​$

常用:若$X_i\sim N(\mu_i,\sigma_i^2),i=1,2,…,n​$,且他们相互独立,他们的线性组合$C_1X_1+C_2X_2+…+C_nX_n​$仍然服从正态分布:$C_1X_1+C_2X_2+…+C_nX_n\sim N(C_1\mu_1+C_2\mu_2+…+C_n\mu_n,\sigma^2_1+\sigma^2_2+…+\sigma^2_n)​$

分布 密度函数 期望 方差
二项分布$X\sim B(n,p)$ $p{X=k}=C^k_np^k(1-p)^{n-k}$ $np$ $np(1-p)$
泊松分布$X\sim P(\lambda)$ $p{X=k}=\frac{\lambda^k}{k!}e^{-\lambda}$ $\lambda$ $\lambda$
均匀分布 $f(x)=\left\{\begin{aligned}\frac{1}{b-a},a<x<b\\ 0,其他\end{aligned}\right.$ $\frac{a+b}{2}$ $\frac{1}{12}(b-a)^2$
正态分布$X\sim N(\mu,\sigma^2)$ $f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$ $\mu$ $\sigma ^2$
指数分布 $f(x)=\left\{\begin{aligned}\frac{1}{\theta}e^{-\frac{x}{\theta}},x>0\\0,x\le0\end{aligned}\right.$ $\theta$ $\theta^2$

4.3 协方差及相关系数

定义:称$E([X-E(X)][Y-E(Y)])​$为$X,Y​$的协方差,记为$cov(X,Y)=E([X-E(X)][Y-E(Y)])​$

离散型: $cov(X,Y)=\sum^{+\infty}_{i=1}\sum^{+\infty}_{j=1}[x_i-E(X)][y_j-E(Y)]p_{ij}$

连续型: $cov(X,Y)=\int^{+\infty}_{-\infty}\int^{+\infty}_{-\infty}[x-E(X)][y-E(Y)]f(x,y)dxdy​$

当$COV(X,Y)>0$时,称$X$与$Y$正相关;当$COV(X,Y)<0$时,称$X$与$Y$负相关;当$COV(X,Y)=0$时,称$X$与$Y$不相关

协方差计算:$cov(X,Y)=E(XY)-E(X)E(Y)$,或方差性质计算

性质

$cov(X,Y)=cov(Y,X)$

$cov(aX,bY)=abcov(X,Y)$

$cov(X+Y,Z)=cov(X,Z)+cov(Y,Z)$

$cov(X,X)=D(X)​$

相关系数:$\rho_{XY}=\frac{cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$

$|\rho_{XY}|\le1$

$|\rho_{XY}=1|$称$X$与$Y$全相关,存在常数$a,b$,使$P{Y=aX+b}=1$

第五章 大数定律及中心极限定理

5.1 大数定律

  • 切比雪夫不等式

设随机变量$X$的方差$D(X)$存在,则对于任意实数$\varepsilon>0$:

$$P(|X-E(X)|\ge\varepsilon)\le\frac{D(X)}{\varepsilon^2}$$,等价于:$P(|X-E(X)|<\varepsilon)\ge1-\frac{D(X)}{\varepsilon^2}$

说明:粗鲁哦估计$X$与均值之间范围的关系,实际很少运用

5.2 中心极限定理

客观背景:客观实际中,许多随机变量是由大量 相互独立的偶然因素的综合影响所形成,每一个微小 因素,在总的影响中所起的作用是很小的,但总起来, 却对总和有显著影响,这种随机变量往往近似地服从正态分布

研究在什么条件下,大量独立随机变量和的分布以正态分布为极限,这一类定理称为中心极限定理

  • 定理1

应用:

对于独立的随机变量序列${X_n}$,不管$X_i(i=1,2,…,n)$服从什么分布,只要他们是独立同分布,且有相同的数学期望和方差,那么,当$n$充分大时,这些随机变量之和$\sum^n_{i=1}X_i\sim^{近似}N(n\mu,n\sigma^2)$。$\bar{X} \sim N(\mu,\frac{\sigma^2}{n})$

  • 定理2

二项分布的极限分布是正态分布:当n很大,p不是很小时,不能再用泊松定理

设$Y_n \sim B(n,p)$,当$n$很大时,$Y_n \sim^{近似} N(np,np(1-p))$。

第六章 样本与统计量

6.1 随机样本

  • 总体和样本

总体 —— 所研究的对象的某个(或某些)数量指标的全体,它是一个随机变量(或多维随机变量). 记为X.

个体 ——即总体的每个数量指标,可看作随机变量$X$ 的某个取值.用$X_i$表示.

容量 ——总体中所包含个体的个数

有限总体 ——容量为有限的总体

无限总体—— 容量为无限的总体

样本 —— 从总体中抽取的部分个体.用$(X1,X2,…Xn)​$表示,$ n​$为样本容量。在数理统计中,有意义的样本容量一般要求$n≥50​$才有统计意义

设总体$X$的分布函数为$F(X)$,则样本$(X_1,X_2…X_n)$的联合分布函数为:

$$ F_总(X_1,X_2,…,X_n)=\prod^n_{i=1}F(x_i)​$$

若总体$X$的概率密度为$f(X)$,则样本的联合概率密度为:

$$ f_总(X_1,X_2,…,X_n)=\prod^n_{i=1}f(x_i)$$

  • 统计量

样本是统计推断的依据,但在实际问题中,往往不是直接使用样本本身,而是针对不同的问题构造不同的样本函数,利用这种样本的函数进行统计推断。这个构造出来的函数,就是统计量 !

设$(X_1,X_2,…X_n)$是取自总体$X$的一个样本,$g(X_1,X_2,…X_n)$是$(X_1,X_2,…X_n)$且步含有未知参数的实值连续函数,则称随机变量$g(X_1,X_2,…X_n)$为统计量

若$(x_1,x_2,…x_n)$是一个样本值,称$g(x_1,x_2,…x_n)​$为统计量的一个样本值

几个常用的统计量

样本均值(sample mean):$\bar{X}=\frac{1}{n}\sum^n_{i=1}X_i​$

样本方差(sample variance):$S^2=\frac{1}{n-1}\sum^n_{i=1}(X_i-\bar{X})^2=\frac{1}{n-1}(\sum^n_{i=1}X_i^2-n\bar{X}^2)$

样本均方差或标准差:$S=\sqrt{\frac{1}{n-1}\sum^n_{i=1}(X_i-\bar{X})^2}​$

样本$K$阶原点矩:$A_k=\frac{1}{n}\sum^n_{i=1}X^k_i$

样本$K​$阶中心距:$\frac{1}{n}\sum^n_{i=1}(X_i-\bar{X})^k​$

$k$阶矩的概念:

定义:设$X$为随机变量,若$E(|X|^k)$存在,则称$E(X^k)$为$X$的$k$阶原点矩,记作$\mu^k=E(X^k)$

样本的$k$阶原点矩,记作$A_k=\frac{1}{n}\sum^n_{i=1}X_i^k​$

结论:$A^k\xrightarrow{P}\mu^k,(n\rightarrow\infty),k=1,2…​$ 辛钦大数定理 矩估计法的理论依据

6.2 抽样分布

统计量的分布称为抽样分布。在使用统计量进行统计推断时常需要知道它的分布。当总体的分布函数为已知时,抽样分布是确定的,然而要求出统计量的精确分布,一般来说是困难的。

由于正态总体是最常见的总体,因此这里主要讨论正态总体下的抽样分布

数理统计的三大分布:$\chi^2分布$ $t分布$ $F分布$,他们都与正太分布有密切的联系。

  • $\chi^2分布​$

定义:设总体$X\sim N(0,1)​$,$(X_1,X_2,…,X_n)​$是$X​$的一个样本,则称统计量$\chi^2=X_1^2+X_2^2+…+X_n^2​$服从自由度为$n​$的$\chi^2分布​$,记作$\chi^2\sim \chi^2(n)​$

自由度是指独立随机变量的个数,$\chi^2分布$的密度函数为:

$$ f(y)=\left\{ \begin{aligned} {\frac{1}{2^{n/2}\Gamma(n/2)}y^{n/2-1}e^{-y/2}},y\ge0\\ 0,y<0 \end{aligned} \right.。。。\Gamma(n+1)=n! $$
其图形随自由度的不同而有所改变.也就是说,当样本量超过10的时候很接近了正态分布!

https://blog-1256556944.file.myqcloud.com/public//概率论/图片1.png

$\chi^2分布$的上$\alpha$分位点:满足$P{\chi^2(n)>\chi_\alpha^2(n)}=\int_{\chi^2(n)}^{+\infty}f(y)dy=\alpha$的数$\chi^2_\alpha(n)$为$\chi^2$分布的上$\alpha$分位点。

https://blog-1256556944.file.myqcloud.com/public//概率论/图片2.png

性质

期望与方差:设$\chi^2 \sim \chi^2(n)​$,则$E(\chi^2)=n​$,$D(\chi^2)=2n​$

$\chi^2分布$的可加性:设$\chi^2_1 \sim \chi^2(n_1)$,$\chi^2_2 \sim \chi^2(n_2)$,$\chi^2_1 $与$\chi^2_1 $ 相互独立,则$\chi^2_1+\chi^2_1 \sim \chi^2(n_1+n_2) $

若$X_1,X_2,…,X_n$相互独立,都服从$N(0,1)$, 则$X_1^2+X_2^2+…+X_n^ 2~ \chi^2 (n)$,反之若$X \sim \chi^2 (n)$ ,则$X$可以分解成$ n $个相互独立的标准正态随机变量的平方和。

  • $t分布​$

定义:设随机变量$X \sim N(0,1)​$,$Y \sim \chi^2(n)​$,且$X​$与$Y​$相互独立,则称统计量$T=\frac{X}{\sqrt{Y/n}}​$服从自由度为$n​$的$t​$分布或学生氏分布,记作$T \sim t(n)​$.

$t$分布的概率密度为:$f(t)=\frac{\Gamma(\frac{n+1}{2})}{\sqrt{n\pi}\Gamma(\frac{n}{2})}(1+\frac{t^2}{n})^{-\frac{n+1}{2}},-\infty<t<+\infty$

其形状类似标准正太分布,$n​$较大时,$t​$分布近似于标准正太分布,当$n>30​$时,$t​$分布与标准正态分布$N(0,1)​$就非常接近.

性质

若$X \sim N(0,1)​$,$Y \sim \chi^2(n)​$,且$X​$与$Y​$相互独立,则$T=\frac{X}{\sqrt{Y/n}}​$。反之若$T=\frac{X}{\sqrt{Y/n}}​$,则有互相独立的$X \sim N(0,1)​$,$Y \sim \chi^2(n)​$,使得$T=\frac{X}{\sqrt{Y/n}}​$。

$f(t)​$是偶函数

对于给定的$\alpha(0<\alpha<1)​$,称满足条件$P{T>t_\alpha(n)}=\int_{t_\alpha{n}}^{+\infty}f(t)dt=\alpha​$的数$t_\alpha(n)​$为$t​$分布的上$\alpha​$分位点。

  • $F分布$

定义:设随机变量$X \sim \chi^2(n_1)$,$Y \sim \chi^2(n_2)$,且相互独立,则称随机变量$F=\frac{X/n_1}{Y/n_2}$服从第一自由度为$n_1$,第二自由度为$n_2$的$F$分布,记作$F \sim F(n_1,n_2)​$。

性质:若$X \sim F(n_1,n_2)​$,则$\frac{1}{X} \sim F(n_2,n_1)​$。

$F$ 分布的上$\alpha$分位点:对于给定的$0<\alpha<1$,称满足条件$P{F(n_1,n_2)>F_\alpha(n_1,n_2)}=\alpha$的数$F_\alpha(n_1,n_2)$为$F$分布的上$\alpha$分位点。

第七章 参数估计

数理统计问题:如何选取样本来对总体的种种统计特征作出判断。

参数估计问题:知道随机变量(总体)的分布类型,但它的一个或多个参数未知,根据样本来估计总体的参数,这类问题称为参数估计(paramentric estimation)

参数估计的类型——点估计区间估计

7.1 点估计方法

设总体$X$的分布函数的形式已知,但含有一个或多个未知参数:$\theta_1,\theta_2,…,\theta_k$

设$X_1,X_2,…,X_n​$为总体的一个样本,构造$k​$个统计量:

$$ \left. \begin{aligned} \theta_1(X_1,X_2,...,X_n)\\ \theta_2(X_1,X_2,...,X_n)\\ ..............\\ \theta_k(X_1,X_2,...,X_n)\\ \end{aligned} \right\}随机变量 $$

当测得样本值$(x_1,x_2,…,x_n)$时,代入上述统计量,即可得到$k$个数:

$$ \left. \begin{aligned} \hat{\theta_1}(x_1,x_2,...,x_n)\\ \hat{\theta_2}(x_1,x_2,...,x_n)\\ ..............\\ \hat{\theta_k}(x_1,x_2,...,x_n)\\ \end{aligned} \right\}数值 $$

称数$\hat{\theta_1}…\hat{\theta_k}$为未知参数${\theta_1}…{\theta_k}$的估计值

对应统计量为未知参数${\theta_1}…{\theta_k}$的估计量

7.2 参数的矩法估计

用样本的矩作为总体距的估计量,集体做法如下:

$$ \left\{ \begin{aligned} \mu_1=\mu_1(\theta_1,...,\theta_k)\\ \mu_2=\mu_2(\theta_1,...,\theta_k)\\ ................\\ \mu_k=\mu_k(\theta_1,...,\theta_k) \end{aligned} \right. $$
这里总体$X$的分布函数中含有$K$个参数。从上式解出这$K$个参数可得 $$ \left\{ \begin{aligned} \theta_1=\theta_1(\mu_1,...,\mu_k)\\ \theta_2=\theta_2(\mu_1,...,\mu_k)\\ ................\\ \theta_k=\theta_k(\mu_1,...,\mu_k) \end{aligned} \right. $$ 用$A_i$代替上式中的$\mu_i$: $$ \left. \begin{aligned} \hat{\theta}_1=\theta_1(A_1,...,A_k)\\ \hat{\theta}_2=\theta_2(A_1,...,A_k)\\ ................\\ \hat{\theta}_k=\theta_k(A_1,...,A_k) \end{aligned} \right \}未知参数\theta_1...\theta_k的矩估计量 $$

代入一组样本值得$k$个数,可得矩估计量的观察值矩估计值

例题:设某总体$X$得数学期望为$E(X)=\mu$,方差$D(X)=\sigma^2$,$X_1,X_2,…,X_n$为样本,试求$\mu$和$\sigma^2$的矩估计量。

解:总体的$K$阶原点矩为 $\mu_1=\mu$

$\mu_2=E(X^2)=D(X)+E(X)^2=\sigma^2+\mu^2$

可得:$\mu=\mu_1$ $\sigma^2=\mu_2-\mu_1^2$

样本的$K​$阶原点矩为 $A_1=\bar{X}​$ $A_2=\frac{1}{n}\sum^n_{i=1}X_i^2​$

由矩法估计,领$A_i$代替$\mu_i$,可得$\mu$和$\sigma^2$的矩估计量为:$\hat{u}=\bar{X}$ , $\hat{\sigma}^2=\frac{1}{n}\sum^n_{i=1}X_i^2-\bar{X}^2=\frac{1}{n}\sum^n_{i=1}(X_i-\bar{X})^2​$

7.3 极大似然估计

7.4 区间估计