常用概率分布

Summary Table

Distribution	Denotion	P.d.f.	Mean $\mu$	Variance $\sigma^2$
Bernoulli	$Bernoulli(p)$	$f(x)=\begin{cases}p&\text{if $x=1$}\\1-p&\text{if $x=0$}\end{cases}$	$p$	$p(1-p)$
Geometric	$Geometric(p)$	$f(x)=(1-p)^{x-1}p$	$1/p$	$\frac{1-p}{p^2}$
Binomial	$Binomial(n,p)$	$f(x)=\binom{n}{x}p^x(1-p)^{n-x}$	$np$	$np(1-p)$
Negative Binomial	$NB(r,p)$	$f(x)=\binom{x-1}{r-1}(1-p)^{x-r}p^r$	$r/p$	$rp(1-p)$

伯努利分布

几何分布

超几何分布

二项分布

负二项分布

指数分布

泊松分布

一个 Bernoulli Experiment 只有两个结果：True or False。

f(x)=\begin{cases} p&\text{if \(x=1\)}\\ 1-p&\text{if \(x=0\)} \end{cases}

期望： $p$
方差： $p(1-p)$

Try until first success. Say, succeed at $x$ -th trial, then this indicates we have failed previous $x-1$ trials. Assume the probability to win is $p$ . 记为服从几何分布 $Geometric(p)$ 。

f(x)=(1-p)^{x-1}p

期望

几何分布 $Geometric(p)$ 的期望是 $1\over p$

推导

我们就是要求

\begin{aligned} E[X]=&\sum_{i=1}^{\infin} (1-p)^{i-1}p\times i\\ =&p\times\Bigg(\sum_{i=1}^{\infin} i(1-p)^{i-1}\Bigg) \end{aligned}

记 $A=\sum_{i=1}^{\infin} i(1-p)^{i-1}$ ，那么用移项相消

\begin{aligned} A&=\sum_{i=1}^{\infin} i(1-p)^{i-1}\\ (1-p)A&=\sum_{i=1}^{\infin} i(1-p)^{i}\\ \implies pA&=\sum_{i=1}^{\infin} (1-p)^{i-1}\\ pA&=\sum_{i=0}^{\infin} (1-p)^i\\ &=\frac{1}{p}\\ A&=\frac{1}{p^2} \end{aligned}

再代入，可以得到 $E[X]=pA=\frac{1}{p}$

方差

几何分布的方差是 $\sigma^2=\frac{1-p}{p^2}$

推导

根据方差的公式， $\sigma_x^2=E[(x-\mu_x)^2]=E[x^2]-\mu_x^2$

超几何分布的意义可以解释为： $N$ 个样本，其中 $K$ 个是不合格的。从这 $N$ 个中抽取 $n$ 个，其中 $k$ 个是不合格的的概率为

p(n,k,N,K)=\frac{\binom{K}{k}\binom{N-K}{n-k}}{\binom{N}{n}}

期望

期望为 $\frac{nK}{N}$

方差

方差为 $\frac{nK(N-K)(N-n)}{N^2(N-1)}$

Try $n$ time, and succeed $x$ times. 本质上是多次伯努利实验。因此求期望和方差可以看作是多次互相独立的伯努利实验的结果的线性相加。

期望 open

二项分布 $Binomial(n,p)$ 的期望是 $np$ 。

推导 open

列出定义式：

\begin{aligned} E[K]&=\sum_{k=1}^{\infin}k\binom{n}{k}p^k(1-p)^{n-k}\\ &=\sum_{k=1}^{\infin}n\binom{n-1}{k-1}p^k(1-p)^{n-k}\\ &=np\sum_{k=1}^{\infin}\binom{n-1}{k-1}p^{k-1}(1-p)^{n-k}\\ &=np(p+1-p)^{n-1}\\ &=np \end{aligned}

方差 open

二项分布 $Binomial(n,p)$ 的方差为 $np(1-p)$

Succeed $r$ times at $k$ -th trial。相当于对前 $k-1$ 次来说，成功 $r-1$ 次，而第 $k$ 次必定成功。

期望 open

期望 $r\over p$

方差 open

方差 $rp\over (1-p)$

指数分布是对于连续性随机变量而言的。

f(x)=\begin{cases} \lambda e^{-\lambda x}&x\ge 0\\ 0&x\lt 0 \end{cases}

期望

期望是 $\frac{1}{\lambda}$ 。

方差

方差是 $1\over \lambda^2$ 。

泊松分布可以这样理解：考虑 $n$ 次伯努利实验，而且在这 $n$ 次伯努利实验中，实验的成功概率 $p_n$ 是与 $n$ 有关的。当 $np_n\to \lambda\gt 0$ 的时候，二项分布的概率函数就趋近于泊松分布的概率函数

P(X=k)=\binom{n}{k}p_n^{k}(1-p_n)^{n-k}\to \frac{\lambda^k}{k!}e^{-\lambda}

这个概率函数可以写成递推的形式

p(k)=\frac{\lambda}{k}p(k-1)

泊松分布的期望

泊松分布的期望为 $\lambda$

泊松分布的方差

泊松分布的方差为 $\lambda$

Distribution	Denotion	P.d.f.	Mean $\mu$	Variance $\sigma^2$
Bernoulli	$Bernoulli(p)$	$f(x)=\begin{cases}p&\text{if \(x=1\)}\\1-p&\text{if \(x=0\)}\end{cases}$	$p$	$p(1-p)$
Geometric	$Geometric(p)$	$f(x)=(1-p)^{x-1}p$	$1/p$	$\frac{1-p}{p^2}$
Binomial	$Binomial(n,p)$	$f(x)=\binom{n}{x}p^x(1-p)^{n-x}$	$np$	$np(1-p)$
Negative Binomial	$NB(r,p)$	$f(x)=\binom{x-1}{r-1}(1-p)^{x-r}p^r$	$r/p$	$rp(1-p)$