5. 概率论中的常用计算技巧

前四章介绍了常见函数图形、导数、一元积分和二重积分的基本法则。 在实际做概率论题目时,验证概率之和等于 1、求分布函数、算数学期望 $E(X)$ 与方差 $D(X)$, 反复用到的计算动作集中在下面七项。把这七项练熟,绝大多数分布的推导和习题计算都能顺畅算完。

5.1 换元积分法(凑微分与变量代换)

当被积函数里含有复合函数,例如 $e^{-\lambda x}$、$e^{-x^2/2}$ 或正态密度函数时, 基本积分表不能直接套用。这时引入新变量 $u = g(x)$,把复合函数的内层整个替换成一个字母,原积分就会化简成基本积分。

定积分换元公式写为

$$ \int_a^b f\bigl(g(x)\bigr) g'(x)\,dx = \int_{g(a)}^{g(b)} f(u)\,du $$

做定积分换元时必须同时改三处。第一,把被积函数里的 $g(x)$ 换成 $u$。 第二,把微分 $g'(x)\,dx$ 换成 $du$(或者反解出 $x = h(u)$,再把 $dx$ 换成 $h'(u)\,du$)。 第三,把原来的积分上下限 $x = a$、$x = b$ 代入 $u = g(x)$,换成新变量 $u$ 的上下限 $g(a)$ 和 $g(b)$。 换了积分限以后,直接用 $u$ 的新上下限代入原函数求值,不需要再代回 $x$。

例(线性换元):计算指数分布的总概率($\lambda > 0$) $$ \int_0^{+\infty} \lambda e^{-\lambda x}\,dx $$ 令 $u = \lambda x$,则 $du = \lambda\,dx$。当 $x = 0$ 时 $u = 0$,当 $x \to +\infty$ 时 $u \to +\infty$。原式化为 $$ \int_0^{+\infty} e^{-u}\,du = \bigl[-e^{-u}\bigr]_0^{+\infty} = 0 - (-1) = 1 $$
例(正态分布标准化):设 $X \sim N(\mu, \sigma^2)$,求区间概率 $$ P(a \le X \le b) = \int_a^b \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}\,dx $$ 作线性换元,同时替换变量、微分和上下限: $$ z = \frac{x-\mu}{\sigma}, \qquad x = \mu + \sigma z, \qquad dx = \sigma\,dz $$ $$ x = a \implies z = \frac{a-\mu}{\sigma}, \qquad x = b \implies z = \frac{b-\mu}{\sigma} $$ 把 $dx = \sigma\,dz$ 代入后,$\sigma$ 与分母的 $\sigma$ 约掉,原积分变成标准正态分布的积分 $$ P(a \le X \le b) = \int_{\frac{a-\mu}{\sigma}}^{\frac{b-\mu}{\sigma}} \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}}\,dz = \Phi\left(\frac{b-\mu}{\sigma}\right) - \Phi\left(\frac{a-\mu}{\sigma}\right) $$

例题 1

计算下面的广义积分:

$$ \int_0^{+\infty} x e^{-\frac{x^2}{2}}\,dx $$

解:

指数上的内层函数是 $u = \frac{x^2}{2}$,它的微分恰好是 $du = x\,dx$,被积函数外面的 $x$ 正好用来凑微分。 当 $x = 0$ 时 $u = 0$,当 $x \to +\infty$ 时 $u \to +\infty$。

$$ \begin{align} \int_0^{+\infty} x e^{-\frac{x^2}{2}}\,dx &= \int_0^{+\infty} e^{-u}\,du \\ &= \bigl[-e^{-u}\bigr]_0^{+\infty} \\ &= 0 - (-1) = 1 \end{align} $$

单独一个 $e^{-x^2/2}$ 没有初等原函数,但是乘上 $x$ 之后就可以通过 $u = \frac{x^2}{2}$ 直接积出来。 二维正态分布换成极坐标后,径向积分同样具有这一形式:

$$ \int_0^R e^{-\frac{r^2}{2}} r\,dr = 1 - e^{-\frac{R^2}{2}} $$

5.2 分步积分法(处理乘积型积分)

计算连续型随机变量的数学期望与二阶矩时,需要计算下面两个积分:

$$ E(X) = \int_{-\infty}^{+\infty} x f(x)\,dx, \qquad E(X^2) = \int_{-\infty}^{+\infty} x^2 f(x)\,dx $$

密度函数 $f(x)$ 前面多乘了一个 $x$ 或 $x^2$。对于指数分布、伽马分布和正态分布,被积函数会变成「幂函数乘指数函数」, 这时要用分步积分法把幂函数的次数降下来。

定积分的分步积分公式由乘积求导法则 $(uv)' = u'v + uv'$ 移项积分得到:

$$ \int_a^b u(x) v'(x)\,dx = \bigl[u(x) v(x)\bigr]_a^b - \int_a^b u'(x) v(x)\,dx $$

写成微分记号就是

$$ \int_a^b u\,dv = \bigl[u v\bigr]_a^b - \int_a^b v\,du $$

选取 $u$ 和 $dv$ 的原则很明确。把求导后次数会降低的幂函数(例如 $x$ 或 $x^2$)选作 $u$, 把容易写出原函数的指数部分(例如 $e^{-\lambda x}\,dx$ 或 $x e^{-x^2/2}\,dx$)凑成 $dv$。 这样求导一次,$u'$ 的次数就减少 1。

概率论里的分步积分常带有无穷上限 $+\infty$。计算边界项时,需要用到一条重要极限。 只要 $\lambda > 0$,指数衰减的速度远快于任何幂函数增长的速度,因此对任意正数 $n$ 都有

$$ \lim_{x \to +\infty} x^n e^{-\lambda x} = 0, \qquad \lim_{x \to +\infty} x^n e^{-\frac{x^2}{2}} = 0 $$

例:取 $u = x$,$dv = e^x\,dx = d(e^x)$,计算定积分 $$ \int_0^1 x e^x\,dx = \int_0^1 x\,d(e^x) = \bigl[x e^x\bigr]_0^1 - \int_0^1 e^x\,dx = (e - 0) - (e - 1) = 1 $$

例题 2

设随机变量 $X$ 服从参数为 $\lambda$($\lambda > 0$)的指数分布,密度函数在 $x > 0$ 时为 $f(x) = \lambda e^{-\lambda x}$,求 $E(X)$。

解:

按定义列出积分,取 $u = x$,把 $\lambda e^{-\lambda x}\,dx$ 凑成 $dv = d(-e^{-\lambda x})$。

$$ \begin{align} E(X) &= \int_0^{+\infty} x \cdot \lambda e^{-\lambda x}\,dx \\ &= \int_0^{+\infty} x\,d\bigl(-e^{-\lambda x}\bigr) \\ &= \Bigl[-x e^{-\lambda x}\Bigr]_0^{+\infty} - \int_0^{+\infty} \bigl(-e^{-\lambda x}\bigr)\,dx \\ &= (0 - 0) + \int_0^{+\infty} e^{-\lambda x}\,dx \\ &= \left[-\frac{1}{\lambda} e^{-\lambda x}\right]_0^{+\infty} \\ &= \frac{1}{\lambda} \end{align} $$

第三行方括号里的边界项在 $x = 0$ 时显然为 0,在 $x \to +\infty$ 时因为指数衰减比 $x$ 快,极限也是 0。

例题 3

设 $Z \sim N(0,1)$,求标准正态分布的二阶矩:

$$ E(Z^2) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{+\infty} x^2 e^{-\frac{x^2}{2}}\,dx $$

解:

单独的 $e^{-x^2/2}\,dx$ 无法凑成初等函数的微分,但 $x e^{-x^2/2}\,dx = d(-e^{-x^2/2})$ 可以。 因此把 $x^2$ 拆成 $x \cdot x$,取 $u = x$,$dv = x e^{-x^2/2}\,dx = d(-e^{-x^2/2})$。

$$ \begin{align} E(Z^2) &= \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{+\infty} x \cdot \left(x e^{-\frac{x^2}{2}}\,dx\right) \\ &= \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{+\infty} x\,d\left(-e^{-\frac{x^2}{2}}\right) \\ &= \frac{1}{\sqrt{2\pi}} \Bigl[-x e^{-\frac{x^2}{2}}\Bigr]_{-\infty}^{+\infty} + \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{+\infty} e^{-\frac{x^2}{2}}\,dx \\ &= 0 + 1 = 1 \end{align} $$

倒数第二步里的积分正好是标准正态密度在全实轴上的积分,数值等于 1:

$$ \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{+\infty} e^{-\frac{x^2}{2}}\,dx = 1 $$

5.3 奇偶函数与对称区间积分

当积分区间关于原点对称,即形如 $[-a, a]$ 或 $(-\infty, +\infty)$,并且广义积分收敛时,先看被积函数的奇偶性可以省去大量计算。

判断乘积函数的奇偶性时,规则与正负号相乘一致。奇函数乘偶函数是奇函数,两个奇函数相乘是偶函数,两个偶函数相乘仍是偶函数。 概率论里像 $e^{-x^2/2}$、$\frac{1}{1+x^2}$ 这样的对称密度函数都是偶函数,乘上 $x$ 或 $x^3$ 就变成奇函数,乘上 $x^2$ 则是偶函数。

例:求标准正态分布的数学期望。被积函数 $x e^{-x^2/2}$ 是奇函数乘偶函数,结果是奇函数,而且在全实轴上绝对可积,因此不用算原函数即可直接得出 $$ E(Z) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{+\infty} x e^{-\frac{x^2}{2}}\,dx = 0 $$ 同理,标准正态分布的所有奇数阶矩 $E(Z^3)$、$E(Z^5)$ 全都等于 0。
例:若区间和密度函数关于点 $\mu$ 对称,做一次平移 $t = x - \mu$ 就能化成关于原点对称。 例如求一般正态分布 $X \sim N(\mu, \sigma^2)$ 的期望,把被积变量拆成 $x = (x-\mu) + \mu$: $$ E(X) = \int_{-\infty}^{+\infty} (x-\mu) f(x)\,dx + \mu \int_{-\infty}^{+\infty} f(x)\,dx = 0 + \mu \cdot 1 = \mu $$ 第一项关于 $x = \mu$ 反对称,积分为 0;第二项里密度函数在全实轴上的积分为 1,立刻得到 $E(X) = \mu$。

5.4 二项式定理与组合恒等式(离散型求和)

对于离散型随机变量,积分号变成求和号。二项分布 $X \sim B(n, p)$ 的分布律是

$$ P(X = k) = \binom{n}{k} p^k (1-p)^{n-k}, \qquad k = 0, 1, \dots, n $$

二项分布的求和完全建立在二项式定理之上:

$$ (a + b)^n = \sum_{k=0}^n \binom{n}{k} a^k b^{n-k}, \qquad \text{其中 } \binom{n}{k} = \frac{n!}{k!(n-k)!} $$

例:验证二项分布所有可能取值的概率之和等于 1。在二项式定理中取 $a = p$,$b = 1-p$,得 $$ \sum_{k=0}^n \binom{n}{k} p^k (1-p)^{n-k} = \bigl(p + (1-p)\bigr)^n = 1^n = 1 $$

求二项分布的期望时,求和号里面多乘了一个 $k$:

$$ E(X) = \sum_{k=0}^n k \binom{n}{k} p^k (1-p)^{n-k} $$

因为每一项前面的系数多了 $k$,不能直接套二项式定理。解决办法是把组合数拆成阶乘,用分子上的 $k$ 约掉分母 $k!$ 里的 $k$, 化成 $n-1$ 阶的组合数:

$$ k \binom{n}{k} = k \cdot \frac{n!}{k!(n-k)!} = \frac{n \cdot (n-1)!}{(k-1)!\bigl((n-1)-(k-1)\bigr)!} = n \binom{n-1}{k-1} \qquad (k \ge 1) $$

同理,算方差需要求 $E\bigl[X(X-1)\bigr]$,这时分子上有 $k(k-1)$,可以连约两次,化成 $n-2$ 阶的组合数:

$$ k(k-1) \binom{n}{k} = n(n-1) \binom{n-2}{k-2} \qquad (k \ge 2) $$

例题 4

设 $X \sim B(n, p)$,求 $E(X)$。

解:

写出期望定义式。当 $k = 0$ 时第一项为 0,所以求和从 $k = 1$ 开始。 用上面的组合恒等式变形,提出公因式 $np$,再令 $j = k - 1$ 换下标:

$$ \begin{align} E(X) &= \sum_{k=0}^n k \binom{n}{k} p^k (1-p)^{n-k} \\ &= \sum_{k=1}^n n \binom{n-1}{k-1} p \cdot p^{k-1} (1-p)^{(n-1)-(k-1)} \\ &= np \sum_{j=0}^{n-1} \binom{n-1}{j} p^j (1-p)^{(n-1)-j} \\ &= np \cdot \bigl(p + (1-p)\bigr)^{n-1} \\ &= np \end{align} $$

这套「约去 $k$、提公因式、下标平移 $j = k-1$、凑回 1」的四步法,在二项分布和泊松分布里完全通用。

5.5 等比级数与泰勒级数(无穷级数求和)

几何分布和泊松分布的取值有无穷多个($k = 0, 1, 2, \dots$),计算它们的概率和与数学期望要用到无穷级数。 概率论课程只要求掌握两条无穷级数公式。第一条是等比级数,对应几何分布。第二条是 $e^x$ 的泰勒展开,对应泊松分布。

5.5.1 等比级数及其求导

当公比满足 $|r| < 1$ 时,无穷等比级数收敛:

$$ \sum_{k=0}^{\infty} r^k = 1 + r + r^2 + \cdots = \frac{1}{1-r}, \qquad \sum_{k=1}^{\infty} r^k = r + r^2 + \cdots = \frac{r}{1-r} $$

如果求和式里带有系数 $k$,只需对上面的等比级数两边关于 $r$ 求导:

$$ \sum_{k=1}^{\infty} k r^{k-1} = \frac{d}{dr}\left(\frac{1}{1-r}\right) = \frac{1}{(1-r)^2} \qquad (|r| < 1) $$

例:几何分布表示首次成功所需的试验次数,其中 $0 < p < 1$,分布律为 $$ P(X = k) = (1-p)^{k-1} p, \qquad k = 1, 2, \dots $$ 记 $r = 1-p$,则所有概率之和与数学期望分别为 $$ \sum_{k=1}^{\infty} P(X = k) = p \sum_{k=1}^{\infty} r^{k-1} = p \cdot \frac{1}{1-r} = p \cdot \frac{1}{p} = 1 $$ $$ E(X) = p \sum_{k=1}^{\infty} k r^{k-1} = p \cdot \frac{1}{(1-r)^2} = p \cdot \frac{1}{p^2} = \frac{1}{p} $$

5.5.2 指数函数的泰勒级数

对任意实数 $\lambda$,自然指数函数 $e^{\lambda}$ 可以展开为无穷级数:

$$ e^{\lambda} = \sum_{k=0}^{\infty} \frac{\lambda^k}{k!} = 1 + \lambda + \frac{\lambda^2}{2!} + \frac{\lambda^3}{3!} + \cdots $$

只要在离散求和式里看到分母是阶乘 $k!$、分子是幂次 $\lambda^k$,就往 $e^{\lambda}$ 上凑。

例题 5

设随机变量 $X$ 服从参数为 $\lambda$($\lambda > 0$)的泊松分布,验证全概率之和为 1,并求 $E(X)$。泊松分布的分布律为

$$ P(X = k) = \frac{\lambda^k}{k!} e^{-\lambda}, \qquad k = 0, 1, 2, \dots $$

解:

先把与下标 $k$ 无关的因子 $e^{-\lambda}$ 提到求和号外面,剩下的级数恰好是 $e^{\lambda}$ 的展开式:

$$ \sum_{k=0}^{\infty} P(X = k) = e^{-\lambda} \sum_{k=0}^{\infty} \frac{\lambda^k}{k!} = e^{-\lambda} \cdot e^{\lambda} = 1 $$

再算期望 $E(X)$。$k = 0$ 的项等于 0,从 $k = 1$ 开始求和,用分子上的 $k$ 约去分母 $k!$ 里的 $k$,得到 $(k-1)!$,再提出一个 $\lambda$:

$$ \begin{align} E(X) &= \sum_{k=0}^{\infty} k \cdot \frac{\lambda^k}{k!} e^{-\lambda} \\ &= \sum_{k=1}^{\infty} \frac{\lambda^k}{(k-1)!} e^{-\lambda} \\ &= \lambda e^{-\lambda} \sum_{k=1}^{\infty} \frac{\lambda^{k-1}}{(k-1)!} \end{align} $$

令 $j = k - 1$,当 $k$ 从 $1$ 取到 $\infty$ 时,$j$ 从 $0$ 取到 $\infty$:

$$ E(X) = \lambda e^{-\lambda} \sum_{j=0}^{\infty} \frac{\lambda^j}{j!} = \lambda e^{-\lambda} \cdot e^{\lambda} = \lambda $$

5.6 常见积分核(利用已知密度免算积分)

任何一个合法的概率密度函数 $f(x)$ 在整个实轴上的积分都恒等于 1。 反过来,如果题目要算的积分恰好长成某个已知分布密度的形状,只缺少前面的归一化常数, 就不需要真的去换元或分步积分,把常数补齐即可直接写出结果。下面两组积分核在概率论里出现频率最高。

5.6.1 正态积分核(高斯积分)

因为正态分布 $N(\mu, \sigma^2)$ 的密度在 $(-\infty, +\infty)$ 上积分为 1,把系数移到等号右边,立得

$$ \int_{-\infty}^{+\infty} e^{-\frac{(x-\mu)^2}{2\sigma^2}}\,dx = \sqrt{2\pi}\,\sigma $$

特殊地,当 $\mu = 0$、$\sigma = 1$ 时,以及只积正半轴时,有

$$ \int_{-\infty}^{+\infty} e^{-\frac{x^2}{2}}\,dx = \sqrt{2\pi}, \qquad \int_0^{+\infty} e^{-\frac{x^2}{2}}\,dx = \sqrt{\frac{\pi}{2}}, \qquad \int_{-\infty}^{+\infty} e^{-a x^2}\,dx = \sqrt{\frac{\pi}{a}} \quad (a > 0) $$

例题 6

计算下面的反常积分:

$$ \int_{-\infty}^{+\infty} e^{-\frac{1}{2}(x^2 - 4x)}\,dx $$

解:

指数上是关于 $x$ 的二次三项式,先配方得 $x^2 - 4x = (x-2)^2 - 4$。 把常数项拆出来提到积分号外:

$$ \begin{align} \int_{-\infty}^{+\infty} e^{-\frac{1}{2}(x^2 - 4x)}\,dx &= \int_{-\infty}^{+\infty} e^{-\frac{(x-2)^2 - 4}{2}}\,dx \\ &= e^2 \int_{-\infty}^{+\infty} e^{-\frac{(x-2)^2}{2}}\,dx \\ &= \sqrt{2\pi}\,e^2 \end{align} $$

倒数第二步里的积分正好对应 $\mu = 2$、$\sigma = 1$ 的正态分布核,数值等于 $\sqrt{2\pi}$。

5.6.2 伽马积分核(阶乘积分)

在区间 $[0, +\infty)$ 上,把例题 2 的分步积分连续做 $n$ 次,可以得到任意非负整数 $n$ 的阶乘积分公式:

$$ \int_0^{+\infty} x^n e^{-x}\,dx = n!, \qquad \int_0^{+\infty} x^n e^{-\lambda x}\,dx = \frac{n!}{\lambda^{n+1}} \quad (\lambda > 0,\; n = 0, 1, 2, \dots) $$

记住这条公式后,遇到指数分布或伽马分布求期望、方差和高阶矩,可以直接代 $n$ 的数值写出答案,不必每次重做分步积分。

例:设 $X \sim \text{Exp}(\lambda)$,利用阶乘积分公式直接求 $E(X)$、$E(X^2)$ 与方差 $D(X)$。 取 $n = 1$ 和 $n = 2$,分别得到 $$ E(X) = \lambda \int_0^{+\infty} x e^{-\lambda x}\,dx = \lambda \cdot \frac{1!}{\lambda^2} = \frac{1}{\lambda} $$ $$ E(X^2) = \lambda \int_0^{+\infty} x^2 e^{-\lambda x}\,dx = \lambda \cdot \frac{2!}{\lambda^3} = \frac{2}{\lambda^2} $$ $$ D(X) = E(X^2) - \bigl[E(X)\bigr]^2 = \frac{2}{\lambda^2} - \frac{1}{\lambda^2} = \frac{1}{\lambda^2} $$

5.7 方差与矩的代数拆解技巧

除了微积分和级数本身,把所求的量先做一步代数变形再放入积分号或求和号,往往能让计算量减半。 最常用的变形有三条。

例:接着例题 5 求泊松分布 $X \sim \text{Poisson}(\lambda)$ 的方差。先算 $E\bigl[X(X-1)\bigr]$: $$ E\bigl[X(X-1)\bigr] = \sum_{k=2}^{\infty} k(k-1) \frac{\lambda^k}{k!} e^{-\lambda} = \lambda^2 e^{-\lambda} \sum_{k=2}^{\infty} \frac{\lambda^{k-2}}{(k-2)!} = \lambda^2 e^{-\lambda} \cdot e^{\lambda} = \lambda^2 $$ 再代回二阶矩与方差公式: $$ E(X^2) = E\bigl[X(X-1)\bigr] + E(X) = \lambda^2 + \lambda $$ $$ D(X) = E(X^2) - \bigl[E(X)\bigr]^2 = (\lambda^2 + \lambda) - \lambda^2 = \lambda $$

5.8 常用方法速查表

看到的式子特征 优先选用的方法 概率论中的典型场景
指数或函数内层是线性式 $\lambda x$、$\frac{x-\mu}{\sigma}$,或外层刚好有内层导数 $x e^{-x^2/2}$ 换元积分法(5.1 节):令 $u = g(x)$,同时替换被积式、微分和上下限 正态分布标准化、瑞利分布积分、极坐标下面积元素 $r\,dr$ 的积分
幂函数乘指数函数,例如 $x e^{-\lambda x}$、$x^2 e^{-x^2/2}$,且幂次多出一阶 分步积分法(5.2 节):选幂函数作 $u$ 求导降次,指数部分凑进 $dv$ 指数分布、伽马分布、正态分布的期望与二阶矩推导
积分区间为 $[-a, a]$ 或 $(-\infty, +\infty)$,被积函数关于原点反对称或对称 奇偶性(5.3 节):奇函数得 0,偶函数折半乘 2 标准正态分布、对称均匀分布的期望与奇数阶中心矩
有限项求和,通项含组合数与幂次乘积 $\binom{n}{k} p^k (1-p)^{n-k}$ 二项式定理与组合降阶恒等式(5.4 节) 二项分布的概率归一性验证、期望与方差推导
无穷求和,通项是公比的幂 $r^{k-1}$ 或 $k r^{k-1}$ 等比级数 $\frac{1}{1-r}$ 及其导数 $\frac{1}{(1-r)^2}$(5.5.1 节) 几何分布的概率求和与期望推导
无穷求和,通项分母带阶乘 $\frac{\lambda^k}{k!}$ 泰勒级数展开式 $e^{\lambda}$(5.5.2 节) 泊松分布的概率归一性、期望与方差推导
全实轴上的高斯函数,或正半轴上的 $x^n e^{-\lambda x}$ 常见积分核(5.6 节):直接套 $\sqrt{2\pi}\sigma$ 或 $\frac{n!}{\lambda^{n+1}}$ 快速写出正态、指数、伽马分布的各阶矩与常数系数