概率论常用公式（持续更新）

$\S$1第一章

$\S$1.1条件概率

$$P(B|A)=\frac{P(AB)}{P(A)}$$

 扩展可得

$$P(\bigcup^{\infty}_{i=1} B_i|A)=\sum_{i=1}^{\infty} P(B_i|A)$$

$\S$1.2全概率公式

$$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+···+P(A|B_n)P(B_n)$$

$\S$1.3贝叶斯公式

$$P(B_i|A)=\frac{P(B_iA)}{P(A)}=\frac{P(A|B_i)P(B_i)}{\sum\nolimits^n_{j=1}P(A|B_j)P(B_j)},j=1,2,···,3$$

$\S$2第二章

$\S$2.1伯努利实验

  需要注意n重伯努利试验结果是二项分布。

$\S$2.2二项分布

  记为 $X\sim b(n,p)$

$$P\{X=k\}=C_n^kp^kq^{n-k},k=0,1,2,···,n$$

$\S$2.3泊松分布

  记为$X \sim\pi(\lambda)$

$$P\{X=k\}=\frac{\lambda^ke^{-k}}{k!}$$

$\S$2.3.1泊松定理

  设$\lambda>0$是一个常数，n是任意正整数，设$np_n=\lambda$，则对于任何一固定的非负整数k，有：

$$\lim_{n \to \infty}C_n^kp_n^k(1-p_n)^{n-k}=\frac{\lambda^ke^{-k}}{k!}$$

$\S$2.4分布函数

  定义 设X是一个随机变量，x是任意实数，函数

$$F(x)=P\{X\leq x\},-\infty<x<\infty$$

称为X的分布函数

$\S$2.5概率密度函数

  如果对于随机变量X的分布函数F(x)，存在非负可积函数f(x)，使对于任意实数x有

$$F(x) = \int^x_{-\infty}f(t)dt$$

则称X为连续性随机变量，f(x)成为X的概率密度函数，简称概率密度

$\S$2.6 均匀分布

  若连续型随机变量$X$具有概率密度

$$f(n)= \begin{cases} \frac{1}{b-a}, & a<x<b \\ 0, & \mbox{其他} \end{cases}$$

则称$X$在区间(a,b)上服从均匀分布，记为$X \sim U(a,b)$

$\S$2.7指数分布

  若连续性随机变量$X$的概率密度为

$$f(x)= \begin{cases} \frac{1}{\theta}e^{-\frac{x}{\theta}}, & x>0 \\ 0, & \mbox{其他} \end{cases}$$

其中$\theta>0$为常数，则称$X$为服从参数$\theta$的指数分布

$\S$2.8正态分布

  若连续性随机变量$X$的概率密度为

$$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

其中$\mu,\sigma(\sigma>0)$为常数，则称$X$服从参数为$\mu,\sigma$的正态分布或高斯分布，记为$X\sim N(\mu,\sigma^2)$

标准正态分布的概率密度和分布函数分别用$\varphi(x),\Phi(x)$表示，即有

$$\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$$ $$\Phi(x)=\frac{1}{\sqrt{2\pi}}\int^x_{-\infty}e^{-\frac{t^2}{2}}dt$$

且有

$$\Phi(-x)=1-\Phi(x)$$

$\S2.8.1$正态分布转化引理

  若$X\sim N(\mu,\sigma^2)$，则$Z=\frac{X-\mu}{\sigma}\sim N$

$\S$2.9随机变量的函数分布

定理 若随机变量$X$具有概率密度$f_x(x),-\infty<x<\infty$，又设函数$g(x)$处处可导且恒有$g’(x)>0$(或恒有$g’(x)<0$)，则$Y=g(X)$是连续性随机变量，其概率密度为

$$f_y(y)= \begin{cases} f_x[h(y)]|h'(y)|, & \alpha<y<\beta \\ 0, & \mbox{其他} \end{cases}$$

其中$\alpha=min{g(-\infty),g(\infty)},\beta=max{g(-\infty),g(\infty)},h(y)$是$g(x)$的反函数

$\S$2.9.1例题1

$\S$2.9.2例题2

$\S$3第三章

$\S$3.1二维随机变量

对于二维随机变量$(X,Y)$的分布函数$F(x,y)$，如果存在非负可积函数$f(x,y)$使对于任意$x,y$有

$$F(x,y)=\int^y_{-\infty}\int^x_{\infty}f(u,v)dudv$$

则称$(X,Y)$是连续型的二维随机变量，函数$f(x,y)$称为二维随机变量$(X,Y)$的概率密度，或者称为随机变量$X$和$Y$的联合概率密度

$\S$3.2边缘分布

对于连续型随机变量$(X,Y)$，设他的概率密度为$f(x,y)$，由于

$$F_X(x)=F(x,\infty)=\int_{-\infty}^x[\int_{-\infty}^{\infty}f(x,y)dy]dx$$

由前面的知识可以知道$X$是一个连续型随机变量，其概率密度为

$$f_X(x)=\int^{\infty}_{-\infty}f(x,y)dy$$

同样，$Y$也是一个连续型随机变量，其概率密度为

$$f_Y(y)=\int^{\infty}_{-\infty}f(x,y)dx$$

分别称为$f_x(x),f_y(y)$为$(X,Y)$关于$X$和关于$Y$的边缘概率密度

$\S$3.4相互独立的随机变量

  定义 设$F(x,y)$及$F_X(x)$,$F_y(y)$分别是二维随机变量$(X,Y)$的分布函数及边缘分布函数，若对于所有的$x,y$有

$$F(x,y)=F_X(x)F_Y(y)$$

则称随机变量$X$和$Y$是相互独立的。

  定理 设$(X_1,X_2,\dots,X_m)$和$(Y_1,Y_2,\dots,Y_n)$相互独立，则$X_i(i=1,2,\dots,n)$相互独立。又若$(h,g)$是连续函数，则$h(X_1,X_2,\dots,X_m)$和$g(Y_1,Y_2,\dots,Y_n)$相互独立

$\S$3.5两个随机变量的函数的分布

  一般设$X,Y$互相独立且$X\sim N(\mu_1,\sigma^2_1),Y\sim N(\mu_2,\sigma^2_2)$由推算可知，$Z=X+Y$仍然服从正态分布，且有$Z\sim N(\mu_1+\mu_2,\sigma^2_1+\sigma_2^2)$,这个结论还能推广到$n$个独立正态随机变量之和的情况。即若$X_i\sim N(\mu_i,\sigma_i^2)(i=1,2,\dots,n)$，且他们互相独立，则他们的和$Z=X_1+X_2+\dots+X_n$仍然服从正态分布，且有$Z\sim N(\mu_1+\mu_2+\dots +\mu_n,\sigma_1^2+\sigma^2_2+\dots +\sigma^2_n)$。

  更一般地，可以证明有限个互相独立的正态随机变量的线性组合仍然服从正态分布

  若$Z=X+Y$，有

$$f_Z(z)=\int_{-\infty}^{\infty}f_X(x)f_Y(z-x)dx$$

或

$$f_Z(z)=\int_{-\infty}^{\infty}f_X(z-y)f_Y(y)dy$$

  若$Z=\frac{X}{Y}$，有

$$f_Z(z)=\int_{-\infty}^{\infty}|x|f(x,xz)dx$$

若两个随机变量相互独立

$$f_Z(z)=\int_{-\infty}^{\infty}|x|f_X(x)f_Y({xz})dx$$

  若$Z=XY$，有

$$f_Z(z)=\int_{-\infty}^{\infty}\frac{1}{|x|}f(x,\frac{z}{x})dx$$

若两个随机变量相互独立

$$f_Z(z)=\int_{-\infty}^{\infty}\frac{1}{|x|}f_X(x)f_Y({\frac{z}{x}})dx$$

$\S$4第四章 随机变量的数字特征

$\S$4.1数学期望

  定义 设离散型随机变量$X$的分布律为

$$P\{X=x_k\}=p_k,k=1,2,\dots.$$

若级数

$$\sum_{k=1}^{\infty}x_kp_k$$

绝对收敛，则称级数$\sum_{k=1}^{\infty}x_kp_k$的和为随机变量$X$的数学期望，记为$E(X)$。即

$$E(X)=\sum_{k=1}^{\infty}x_kp_k$$

设连续型随机变量$X$的概率密度为$f(x)$，若积分$\int{-\infty}^{\infty}xf(x)dx$绝对收敛，则称积分$\int{-\infty}^{\infty}xf(x)dx$的值为随机变量$X$的数学期望记为$E(X)$。即

$$E(X)=\int_{-\infty}^{\infty}xf(x)dx$$

数学期望简称期望，又称为均值

数学期望的几个定理：

1. 设$C$是常数，则有$E(C)=C$。

2. 设$X$是一个随机变量，$C$是常数，则有

$$E(CX)=CE(X)$$

1. $E(XY)=E(X)(Y)$

2. $E(X+Y)=E(X)+E(Y)$

$\S$4.2 方差

  定义 设$X$是一个随机变量，若$E{[X-E(X)]^2}$存在，则称$E{[X-E(X)]^2}$为$X$的方差，记为$D(X)$或$Var(X)$，即

$$D(X)=Var(X)=E\{[X-E(X)]^2\}$$

在应用上还引入$\sqrt{D(X)}$，记为$\sigma(X)$，称为标准差或均方差

方差的计算公式除了上述的还有

$$D(X)=\sum_{k=1}^{\infty}[x_k-E(X)]^2p_k$$ $$D(X)=\int_{-\infty}^{\infty}[X-E(X)]^2f(x)dx$$ $$D(X)=E(X^2)-[E(X)]^2$$

方差的几个性质如下

1. $D(C)=0$，C是常数
2. $D(CX)=C^2D(X)$,$D(X+C)=D(X)$
3. $D(X+Y)=D(X)+D(Y)+2E{[X-E(X)][Y-E(Y)]}$特别的如果$X,Y$相互独立，$D(X+Y)=D(X)+D(Y)$

  定理 设随机变量$X$具有数学期望和方差，则对于任何正数$\varepsilon$，不等式

$$P\{|X-\mu|\geq \varepsilon\}\leq\frac{\sigma ^2}{\varepsilon ^2}$$

成立。这一不等式称为切比雪夫不等式。

$\S$4.3 协方差和相关系数

  定义 量$E{[X-E(X)][Y-E(Y)]}$成为随机变量$X$与$Y$ 的协方差。记为$Cov(X,Y)$，即

$$Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}$$

而

$$\rho_XY=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

称为随机变量$X$与$Y$ 的相关系数

$\S$4.4 矩、协方差矩阵

  定义 设$X$与$Y$ 是随机变量，若

$$E(X^k),k=1,2,\dots$$

存在，称它为$X$的k阶原点矩，简称k阶矩。

若

$$E\{[X-E(X)]^k\},k=2,3,\dots$$

存在，称它为$X$的k阶中心矩

若

$$E(X^kY^l),k,l=1,2,\dots$$

存在，称它为$X$与$Y$ 的k+l阶混合矩

若

$$E\{[X-E(X)]^k[Y-E(Y)]^l\}k,l=1,2,\dots$$

存在，称它为$X$与$Y$ 的k+l阶混合中心距

$\S$5 大数定律及中心极限定理

$\S$5.1 大数定律

弱大数定理

对于任何$\varepsilon > 0$，有

$$\lim_{n \to \infty}\{|\frac{1}{n}\sum_{k=1}^{\infty}X_k - \mu|<\varepsilon\}=1$$

这个$X$序列被称为依概率收敛于$\mu$，记为

$$X_n \xrightarrow{P}a$$

若随机变量$X1,X_2,\dots,X_n,\dots$相互独立，服从同一分布且具有数学期望$E(X_k)=\mu$,则序列$\bar{X}=\frac{1}{n}\sum{k=1}^{n}X_k$依概率收敛于$\mu$，即$\bar{X} \xrightarrow{P}a$

伯努利大数定理

设$f_A$是n次独立重复实验中事件A发生的次数，p是时间A在每次实验中发生的概率，则对于任意正数$\varepsilon>0$有

$$\lim_{n \to \infty}P\{|\frac{f_A}{n}-p|<\varepsilon\}=1$$

$\S$5.2中心极限定理

  定理一（独立同分布的中心极限定理） 设随机变量$X_1,X_2,\dots,X_n$相互独立，服从同一分布且具有数学期望$E(X_k)=\mu,D(X_k)=\sigma^2$

$\S$6 样本及抽样分布

$\S$6.1 随机样本

  我们将实验的全部可能的观察值称为总体，这些值不一定都相同，数目上也不一定是有限的，每一个可能观察值称为个体。总体中所包含的个体的个数称为总体的容量。容量有限的称为有限总体，容量为无限的称为无限总体。

  定义 设$X$是具有分布函数$F$的随机变量，若$X_1,X_2,\dots,X_n$是具有同一分布函数$F$的、相互独立的随机变量，则称$X_1,X_2,\dots,X_n$为从分布函数$F$（或者总体F，或总体X）得到的容量为n的简单随机样本，简称样本，他们的观察值$x_1,x_2,\dots,x_n$称为样本值，又称为$X$的n个独立的观察值。

$\S$6.2 直方图和箱线图

中位数和四分位数的定义（略）

$\S$6.3 抽样分布

  定义 设$X_1,X_2,\dots,X_n$是来自总体$X$的一个样本，$g(X_1,X_2,\dots,X_n)$是$X_1,X_2,\dots,X_n$的函数，若$g$中不含未知数，则称$g(X_1,X_2,\dots,X_n)$是一统计量。

下面列出的几个常用的统计量。设$X_1,X_2,\dots,X_n$是来自总体$X$的一个样本，$x_1,x_2,\dots,x_n$是这一样本的观察值，定义

• 样本平均值

$$\bar{X}=\frac{1}{2}\sum_{i=1}^nX_i$$; * 样本方差 $$S^2=\frac{1}{n-1}\sum_{i-1}^n(X_i-\bar{X})^2=\frac{1}{n-1}(\sum_{i=1}^nX_i-n\bar{X}^2)$$; * 样本标准差 $$S=\sqrt{S^2}=\sqrt{\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2}$$

• 样本$k$阶原点矩

$A_k=\frac{1}{n}\sum_{i=1}^{n}X_i^k,k=1,2,3,\dots$;

• 样本$k$阶中心矩

$B_k=\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^k,k=2,3,\dots$;

（一）$\chi^2$分布