概率论与数理统计

概率论与数理统计#

覆盖概率论与数理统计的核心概念、常用公式与基本方法。统计学的核心思想：用样本信息估计总体信息。

第一部分概率论#

一、随机事件与概率#

1.1 基本概念#

随机试验：可以在相同条件下重复进行、每次结果可能不同但所有可能结果已知的试验。
样本空间：随机试验所有可能结果组成的集合，记作 $\Omega$；每个可能结果称为样本点。
随机事件：样本空间的子集，简称事件。由单个样本点组成的事件称为基本事件。
必然事件：$\Omega$ 本身；不可能事件：空集 $\varnothing$。

1.2 事件的关系与运算#

设 $A$、$B$ 为事件：

关系/运算	符号	含义
包含	$A \subset B$	$A$ 发生必有 $B$ 发生
相等	$A = B$	$A \subset B$ 且 $B \subset A$
和事件	$A \cup B$	$A$、$B$ 至少一个发生
积事件	$A \cap B$（或 $AB$）	$A$、$B$ 同时发生
差事件	$A - B$	$A$ 发生而 $B$ 不发生
互斥（互不相容）	$AB = \varnothing$	$A$、$B$ 不能同时发生
对立（互逆）	$\overline{A}$	$A$ 不发生，$\overline{A} = \Omega - A$

运算律：

交换律、结合律、分配律：$A(B \cup C) = AB \cup AC$；
德摩根律：$\overline{A \cup B} = \overline{A} \cap \overline{B}$，$\overline{A \cap B} = \overline{A} \cup \overline{B}$。

1.3 概率的定义与性质#

古典概型：样本空间只有有限个等可能的基本事件，则

\[ P(A) = \frac{A \text{ 包含的基本事件数}}{\text{基本事件总数}} \]

几何概型：试验结果等可能地落在某个可度量区域 $\Omega$ 内，则

\[ P(A) = \frac{\text{区域 } A \text{ 的度量（长度/面积/体积）}}{\text{区域 } \Omega \text{ 的度量}} \]

概率的公理化定义（Kolmogorov）：设 $P$ 是定义在事件域上的实值函数，满足：

非负性：$P(A) \geq 0$；
规范性：$P(\Omega) = 1$；
可加性：对两两互斥的事件 $A_1, A_2, \dots$，有 $P(\bigcup_i A_i) = \sum_i P(A_i)$。

常用性质：

$P(\varnothing) = 0$；
对立事件：$P(\overline{A}) = 1 - P(A)$；
加法公式：$P(A \cup B) = P(A) + P(B) - P(AB)$，三个事件时 $P(A \cup B \cup C) = P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$；
减法公式：$P(A - B) = P(A) - P(AB)$，若 $B \subset A$，则 $P(A - B) = P(A) - P(B)$。

1.4 条件概率与乘法公式#

设 $P(A) > 0$，在事件 $A$ 发生的条件下事件 $B$ 发生的概率为

\[ P(B | A) = \frac{P(AB)}{P(A)} \]

乘法公式：$P(AB) = P(A) P(B|A) = P(B) P(A|B)$。推广到多个事件：

\[ P(A_1 A_2 \cdots A_n) = P(A_1) P(A_2 | A_1) P(A_3 | A_1 A_2) \cdots P(A_n | A_1 A_2 \cdots A_{n-1}) \]

1.5 全概率公式与贝叶斯公式#

若 $B_1, B_2, \dots, B_n$ 是样本空间的一个划分（两两互斥且并集为 $\Omega$），则

全概率公式：

\[ P(A) = \sum_{j=1}^{n} P(B_j) P(A | B_j) \]

贝叶斯公式：

\[ P(B_i | A) = \frac{P(AB_i)}{P(A)} = \frac{P(B_i) P(A | B_i)}{\displaystyle \sum_{j=1}^{n} P(B_j) P(A | B_j)} \]

贝叶斯估计是执果索因：在已知结果 $A$ 发生的情况下，求 $B_i$（某个原因）发生的概率，即探究是哪个原因导致了 $A$ 的发生。

判断要点：

如果求一个结果发生的概率，而且知道这个结果有不同的原因，考虑全概率公式；
已知结果发生，求某个原因发生的概率，考虑贝叶斯公式。

例如：结果为晚点、不晚点，原因为乘飞机、乘动车、乘非机动车。设 $A$：晚点；$B_1$：乘飞机；$B_2$：乘动车；$B_3$：乘非机动车，即可用全概率公式求 $P(A)$，用贝叶斯公式求 $P(B_i | A)$。

贝叶斯推断中的几个函数#

设 $\theta$ 为未知参数，$x_1, x_2, \dots, x_n$ 为样本观测值：

$\theta$ 的先验分布：$\pi(\theta)$，表示试验（抽样）前对 $\theta$ 的认识；
条件密度函数（似然）：$P(x_1, x_2, \dots, x_n \mid \theta)$；
联合密度函数：$P(x_1, x_2, \dots, x_n, \theta) = P(x_1, x_2, \dots, x_n \mid \theta)\, \pi(\theta)$；
后验密度函数（后验分布）： $$ \pi(\theta \mid x_1, x_2, \dots, x_n) = \frac{P(x_1, x_2, \dots, x_n, \theta)}{P(x_1, x_2, \dots, x_n)} = \frac{P(x_1, x_2, \dots, x_n \mid \theta)\, \pi(\theta)}{\int P(x_1, x_2, \dots, x_n \mid \theta)\, \pi(\theta)\, \mathrm{d}\theta} $$
边际分布（$x_1, x_2, \dots, x_n$ 的无条件分布）： $$ P(x_1, x_2, \dots, x_n) = \int P(x_1, x_2, \dots, x_n \mid \theta)\, \pi(\theta)\, \mathrm{d}\theta $$

1.6 事件的独立性#

若 $P(AB) = P(A)P(B)$，则称事件 $A$、$B$ 相互独立。

若 $A$、$B$ 独立，则 $A$ 与 $\overline{B}$、$\overline{A}$ 与 $B$、$\overline{A}$ 与 $\overline{B}$ 也相互独立；
互斥与独立是不同概念：互斥强调不能同时发生，独立强调一个事件的发生不影响另一个事件的概率；
三个及以上事件的独立需要两两独立且联合独立。

二、随机变量及其分布#

2.1 随机变量与分布函数#

随机变量：定义在样本空间 $\Omega$ 上的实值函数 $X = X(\omega)$。

分布函数：

\[ F(x) = P(X \leq x), \quad -\infty < x < +\infty \]

分布函数 $F(x)$ 的性质：

单调不减；
$F(-\infty) = 0$，$F(+\infty) = 1$；
右连续。

2.2 离散型随机变量#

设 $X$ 的取值为 $x_1, x_2, \dots$，称 $p_k = P(X = x_k)$ 为分布律，满足 $p_k \geq 0$ 且 $\sum_k p_k = 1$。

常见离散分布：

两点分布（0-1 分布）$X \sim B(1, p)$#

\[ P(X = 1) = p, \quad P(X = 0) = 1 - p \]

期望 $E(X) = p$，方差 $D(X) = p(1-p)$。

二项分布 $X \sim B(n, p)$#

$n$ 次独立重复试验（伯努利试验）中事件发生 $k$ 次的概率：

\[ P(X = k) = C_n^k p^k (1-p)^{n-k}, \quad k = 0, 1, \dots, n \]

期望 $E(X) = np$，方差 $D(X) = np(1-p)$。

当 $n$ 很大、$p$ 很小时，二项分布近似于泊松分布 $P(\lambda)$（$\lambda = np$）。

泊松分布 $X \sim P(\lambda)$#

\[ P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k = 0, 1, 2, \dots \]

期望 $E(X) = \lambda$，方差 $D(X) = \lambda$。泊松分布常用于描述单位时间（或单位面积）内随机事件发生的次数。

几何分布#

首次成功所需试验次数 $k$ 的概率：

\[ P(X = k) = (1-p)^{k-1} p, \quad k = 1, 2, \dots \]

期望 $E(X) = \dfrac{1}{p}$，方差 $D(X) = \dfrac{1-p}{p^2}$。

超几何分布#

$N$ 件产品中有 $M$ 件次品，不放回抽取 $n$ 件，其中次品数 $X$ 服从超几何分布：

\[ P(X = k) = \frac{C_M^k C_{N-M}^{n-k}}{C_N^n} \]

期望 $E(X) = \dfrac{nM}{N}$。

2.3 连续型随机变量#

若存在非负函数 $f(x)$，使分布函数 $F(x) = \int_{-\infty}^{x} f(t)\, \mathrm{d}t$，则称 $X$ 为连续型随机变量，$f(x)$ 为概率密度函数，满足 $f(x) \geq 0$ 且 $\int_{-\infty}^{+\infty} f(x)\, \mathrm{d}x = 1$。

注意：概率密度函数图像的纵坐标代表的是概率密度，其曲线下面积（总面积）等于 1；$P(X = a) = 0$，即连续型随机变量取单点的概率为 0，概率由区间表示：

\[ P(a < X \leq b) = \int_a^b f(x)\, \mathrm{d}x = F(b) - F(a) \]

常见连续分布：

均匀分布 $X \sim U(a, b)$#

\[\begin{split} f(x) = \begin{cases} \dfrac{1}{b-a}, & a < x < b \\[6pt] 0, & \text{其他} \end{cases} \end{split}\]

期望 $E(X) = \dfrac{a+b}{2}$，方差 $D(X) = \dfrac{(b-a)^2}{12}$。

指数分布 $X \sim \mathrm{Exp}(\lambda)$#

\[\begin{split} f(x) = \begin{cases} \lambda e^{-\lambda x}, & x > 0 \\[4pt] 0, & x \leq 0 \end{cases} \quad (\lambda > 0) \end{split}\]

期望 $E(X) = \dfrac{1}{\lambda}$，方差 $D(X) = \dfrac{1}{\lambda^2}$。

指数分布具有无记忆性：$P(X > s + t \mid X > s) = P(X > t)$，常用于描述寿命、等待时间等。

正态分布 $X \sim N(\mu, \sigma^2)$#

\[ f(x) = \frac{1}{\sqrt{2\pi}\,\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}, \quad -\infty < x < +\infty \]

期望 $E(X) = \mu$，方差 $D(X) = \sigma^2$。曲线关于 $x = \mu$ 对称，$\sigma$ 越小曲线越尖峭。

标准正态分布 $N(0, 1)$：$\mu = 0, \sigma = 1$，分布函数记作 $\Phi(x)$。标准化：

\[ Z = \frac{X - \mu}{\sigma} \sim N(0, 1) \]

3σ 原则：$P(\mu - \sigma < X < \mu + \sigma) \approx 0.6827$，$P(\mu - 2\sigma < X < \mu + 2\sigma) \approx 0.9545$，$P(\mu - 3\sigma < X < \mu + 3\sigma) \approx 0.9973$。

2.4 常用分布速查表#

分布	概率函数 / 密度	期望 $E(X)$	方差 $D(X)$
两点分布 $B(1,p)$	$P(X{=}1)=p$	$p$	$p(1-p)$
二项分布 $B(n,p)$	$P(X{=}k)=C_n^k p^k(1-p)^{n-k}$	$np$	$np(1-p)$
泊松分布 $P(\lambda)$	$P(X{=}k)=\dfrac{\lambda^k e^{-\lambda}}{k!}$	$\lambda$	$\lambda$
几何分布	$P(X{=}k)=(1-p)^{k-1}p$	$\dfrac{1}{p}$	$\dfrac{1-p}{p^2}$
超几何分布	$P(X{=}k)=\dfrac{C_M^k C_{N-M}^{n-k}}{C_N^n}$	$\dfrac{nM}{N}$	—
均匀分布 $U(a,b)$	$f(x)=\dfrac{1}{b-a}$	$\dfrac{a+b}{2}$	$\dfrac{(b-a)^2}{12}$
指数分布 $\mathrm{Exp}(\lambda)$	$f(x)=\lambda e^{-\lambda x}$	$\dfrac{1}{\lambda}$	$\dfrac{1}{\lambda^2}$
正态分布 $N(\mu,\sigma^2)$	$f(x)=\dfrac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$	$\mu$	$\sigma^2$

三、多维随机变量#

3.1 联合分布、边缘分布与条件分布#

设 $(X, Y)$ 为二维随机变量，联合分布函数 $F(x, y) = P(X \leq x, Y \leq y)$。

离散型：联合分布律 $p_{ij} = P(X = x_i, Y = y_j)$；边缘分布律 $p_{i\cdot} = \sum_j p_{ij}$，$p_{\cdot j} = \sum_i p_{ij}$；条件分布律 $P(X = x_i | Y = y_j) = \dfrac{p_{ij}}{p_{\cdot j}}$。
连续型：联合密度 $f(x, y)$；边缘密度 $f_X(x) = \int_{-\infty}^{+\infty} f(x, y)\, \mathrm{d}y$，$f_Y(y)$ 同理；条件密度 $f_{X|Y}(x|y) = \dfrac{f(x, y)}{f_Y(y)}$。

3.2 随机变量的独立性#

若对任意 $x, y$ 有 $F(x, y) = F_X(x) F_Y(y)$（等价地，$f(x,y) = f_X(x) f_Y(y)$ 或 $p_{ij} = p_{i\cdot} p_{\cdot j}$），则 $X$ 与 $Y$ 相互独立。

3.3 二维正态分布#

$(X, Y)$ 服从二维正态分布 $N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$ 时，边缘分布仍为正态分布；当且仅当相关系数 $\rho = 0$ 时 $X$ 与 $Y$ 独立。

四、随机变量的数字特征#

4.1 数学期望#

离散型：$E(X) = \sum_k x_k p_k$；连续型：$E(X) = \int_{-\infty}^{+\infty} x f(x)\, \mathrm{d}x$。

性质：

$E(C) = C$，$E(aX + b) = aE(X) + b$；
可加性：$E(X \pm Y) = E(X) \pm E(Y)$；
若 $X$、$Y$ 独立，则 $E(XY) = E(X)E(Y)$（独立是充分条件而非必要条件）。

常用公式：$E(X^2) = E^2(X) + D(X)$。

4.2 方差#

\[ D(X) = E[(X - E(X))^2] = E(X^2) - [E(X)]^2 \]

性质：

$D(C) = 0$，$D(aX + b) = a^2 D(X)$；
$D(X \pm Y) = D(X) + D(Y) \pm 2\mathrm{Cov}(X, Y)$；若 $X$、$Y$ 独立，则 $D(X \pm Y) = D(X) + D(Y)$；
标准差（均方差）：$\sigma(X) = \sqrt{D(X)}$。

4.3 协方差与相关系数#

\[ \mathrm{Cov}(X, Y) = E[(X - E(X))(Y - E(Y))] = E(XY) - E(X)E(Y) \]

性质：

$\mathrm{Cov}(X, Y) = \mathrm{Cov}(Y, X)$，$\mathrm{Cov}(X, X) = D(X)$；
$\mathrm{Cov}(aX + b, cY + d) = ac\,\mathrm{Cov}(X, Y)$；
$\mathrm{Cov}(X_1 + X_2, Y) = \mathrm{Cov}(X_1, Y) + \mathrm{Cov}(X_2, Y)$。

相关系数（标准化的协方差）：

\[ \rho_{XY} = \frac{\mathrm{Cov}(X, Y)}{\sqrt{D(X)}\sqrt{D(Y)}}, \quad |\rho_{XY}| \leq 1 \]

$|\rho|$ 越接近 1，线性相关程度越强；$\rho = 0$ 称 $X$、$Y$ 不相关；
独立 ⇒ 不相关，但不相关 ≠ 独立（只有联合正态时二者等价）。

4.4 切比雪夫不等式#

对任意 $\varepsilon > 0$：

\[ P(|X - E(X)| \geq \varepsilon) \leq \frac{D(X)}{\varepsilon^2} \]

它说明随机变量取值偏离期望超过 $\varepsilon$ 的概率不超过 $D(X)/\varepsilon^2$，是估计概率上界、证明大数定律的基础工具。

五、大数定律与中心极限定理#

5.1 大数定律#

设 $X_1, X_2, \dots, X_n$ 独立同分布，期望 $E(X_i) = \mu$，方差有限，则样本均值依概率收敛于总体均值：

\[ \frac{1}{n}\sum_{i=1}^{n} X_i \xrightarrow{P} \mu \]

实际含义：当试验次数足够多时，频率稳定于概率、样本均值稳定于总体均值（辛钦大数定律）；同时，频率的稳定也解释了古典概型中”试验次数越多越接近理论概率”的现象。

5.2 中心极限定理#

设 $X_1, X_2, \dots, X_n$ 独立同分布，$E(X_i) = \mu$，$D(X_i) = \sigma^2 > 0$，则当 $n$ 充分大时：

\[ \frac{\sum_{i=1}^{n} X_i - n\mu}{\sqrt{n}\,\sigma} \xrightarrow{d} N(0, 1) \]

即 $\sum_{i=1}^{n} X_i$ 近似服从 $N(n\mu, n\sigma^2)$。这就是为什么很多统计量可以近似用正态分布处理（如样本均值的分布、二项分布的大样本近似）。

第二部分数理统计#

六、基本概念与抽样分布#

6.1 总体、样本与统计量#

总体：研究对象的全体；个体：总体中的每个成员；样本：从总体中抽取的部分个体 $(X_1, X_2, \dots, X_n)$，$n$ 为样本容量。
简单随机样本：样本相互独立且与总体同分布，即 i.i.d.（independent and identically distributed，独立同分布）；
统计量：不含未知参数的样本函数，如：

统计量	公式	说明
样本均值	$\overline{X} = \dfrac{1}{n}\sum_{i=1}^{n} X_i$	总体均值 $\mu$ 的估计
样本方差	$S^2 = \dfrac{1}{n-1}\sum_{i=1}^{n}(X_i - \overline{X})^2$	分母为 $n-1$，保证无偏
样本标准差	$S = \sqrt{S^2}$	—
$k$ 阶样本矩	$A_k = \dfrac{1}{n}\sum_{i=1}^{n} X_i^k$	矩估计用

6.2 三大抽样分布#

设 $X_1, \dots, X_n$ 独立同分布于 $N(0, 1)$：

$\chi^2$ 分布：$\chi^2 = X_1^2 + \cdots + X_n^2 \sim \chi^2(n)$，$E = n$，$D = 2n$；
$t$ 分布：$t = \dfrac{Z}{\sqrt{\chi^2(n)/n}} \sim t(n)$，其中 $Z \sim N(0,1)$ 与 $\chi^2(n)$ 独立。$t$ 分布关于 0 对称，自由度越大越接近 $N(0,1)$；
$F$ 分布：$F = \dfrac{\chi^2(n_1)/n_1}{\chi^2(n_2)/n_2} \sim F(n_1, n_2)$。

6.3 正态总体的抽样分布#

设 $X_1, \dots, X_n$ 来自正态总体 $N(\mu, \sigma^2)$，则

\[ \frac{\overline{X} - \mu}{\sigma / \sqrt{n}} \sim N(0, 1), \qquad \frac{\overline{X} - \mu}{S / \sqrt{n}} \sim t(n-1), \qquad \frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1) \]

且 $\overline{X}$ 与 $S^2$ 相互独立。样本均值 $\overline{X}$ 的标准误为 $\sigma/\sqrt{n}$，用 $S/\sqrt{n}$ 估计。

七、描述统计#

描述统计用于归纳样本数据的基本特征：

集中趋势：均值 $\overline{x}$、中位数、众数。均值受极端值影响大，中位数更稳健；
离散程度：极差（最大值 − 最小值）、方差/标准差、四分位距 $IQR = Q_3 - Q_1$；
分布形状：偏度（对称性，正偏右尾长）、峰度（尖峭程度，正态分布峰度为 0/3 视定义而定）；
常用图示：直方图（分布形态）、箱线图（中位数、四分位数与离群点）、QQ 图（正态性辅助判断）。

八、参数估计#

8.1 点估计#

矩估计法：令样本矩等于总体矩（如 $\overline{X} = E(X)$，$A_2 = E(X^2)$），解方程得参数估计值。例：正态总体 $N(\mu, \sigma^2)$ 中 $\hat{\mu} = \overline{X}$，$\hat{\sigma}^2 = \dfrac{1}{n}\sum (X_i - \overline{X})^2$。

最大似然估计（MLE）：选择使样本出现的”可能性”最大的参数值。步骤：

写出似然函数 $L(\theta) = \prod_{i=1}^{n} f(x_i; \theta)$（离散型为分布律连乘）；
取对数得 $\ln L(\theta)$（连乘变连加，便于求导）；
对 $\theta$ 求导并令其为 0，解似然方程；
验证解为最大值点，得 $\hat{\theta}$。

例：指数分布 $\mathrm{Exp}(\lambda)$ 的 MLE 为 $\hat{\lambda} = \dfrac{1}{\overline{X}}$；正态总体 $N(\mu, \sigma^2)$ 的 MLE 为 $\hat{\mu} = \overline{X}$、$\hat{\sigma}^2 = \dfrac{1}{n}\sum (X_i - \overline{X})^2$（注意 $\hat{\sigma}^2$ 有偏，修正后即无偏样本方差 $S^2$）。

8.2 估计量的评价标准#

无偏性：$E(\hat{\theta}) = \theta$。样本方差 $S^2$ 是 $\sigma^2$ 的无偏估计（故分母用 $n-1$）；
有效性：两个无偏估计中，方差越小越有效；
一致性（相合性）：$n \to \infty$ 时 $\hat{\theta}$ 依概率收敛于 $\theta$。矩估计和最大似然估计一般都具有一致性。

8.3 区间估计#

置信区间与置信水平#

置信区间：若 $P(\underline{\theta} \leq \theta \leq \overline{\theta}) \geq 1 - \alpha$，则 $[\underline{\theta}, \overline{\theta}]$ 是 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间。

$1 - \alpha$ 称为置信水平（置信度），指该区间包含参数 $\theta$ 真值的可信程度；
$\alpha$ 是显著性水平，二者满足 置信水平 = 1 − 显著性水平 $\alpha$；
置信区间并不唯一，区间长度也不唯一；
查表时注意：分位数符号的下角标为概率值（如 $z_{\alpha/2}$、$t_{\alpha/2}(n-1)$、$\chi^2_{\alpha/2}(n-1)$ 等）。角标有三种叫法，含义相同：1）信任系数，2）置信度，3）置信水平。

如何解读置信水平 95%（频率解释）：重复抽样 100 次并各构造一个区间，大约有 95 个区间包含参数真值。对一次抽样得到的单个区间，只能说”有 95% 的把握该区间包含 $\theta$”，不能说”$\theta$ 以 95% 的概率落在这个区间内”——因为 $\theta$ 是未知常数而非随机变量，随机的是区间。

构造步骤（枢轴量法）#

找一个含待估参数 $\theta$ 且分布已知（不含其他未知参数）的枢轴量，如正态总体均值用 $Z = \dfrac{\overline{X} - \mu}{\sigma/\sqrt{n}}$ 或 $t = \dfrac{\overline{X} - \mu}{S/\sqrt{n}}$；
由置信水平 $1-\alpha$ 确定上、下分位数；
解不等式反解出 $\theta$，得到置信区间。

常用置信区间公式#

正态总体 $N(\mu, \sigma^2)$，样本容量 $n$，置信水平 $1-\alpha$：

待估参数	条件	置信区间
均值 $\mu$	$\sigma^2$ 已知	$\overline{X} \pm z_{\alpha/2} \dfrac{\sigma}{\sqrt{n}}$
均值 $\mu$	$\sigma^2$ 未知	$\overline{X} \pm t_{\alpha/2}(n-1) \dfrac{S}{\sqrt{n}}$
方差 $\sigma^2$	$\mu$ 未知	$\left( \dfrac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)},\; \dfrac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)} \right)$
总体比例 $p$	大样本（$n$ 大，$np$、$n(1-p) \geq 5$）	$\hat{p} \pm z_{\alpha/2} \sqrt{\dfrac{\hat{p}(1-\hat{p})}{n}}$，其中 $\hat{p}$ 为样本比例

区间长度与样本量、置信水平的关系：

样本量 $n$ 越大，区间越窄（估计越精确），因为标准误 $\sigma/\sqrt{n}$ 随 $n$ 增大而减小；
置信水平 $1-\alpha$ 越高（如 99% vs 95%），$z_{\alpha/2}$ 越大，区间越宽——精确度与可靠性不可兼得。

置信区间与假设检验的对偶关系#

同一套枢轴量既可用于构造置信区间，也可用于检验假设。对双侧检验，二者结论一致：

\[ \text{置信水平为 } 1-\alpha \text{ 的置信区间不包含 } \mu_0 \iff \text{在显著性水平 } \alpha \text{ 下拒绝 } H_0: \mu = \mu_0 \]

即”区间估计”回答参数落在哪里，”假设检验”回答参数是否等于某个值，两者互为补充。

九、假设检验#

9.1 基本概念#

因为我们无法获得总体信息，一般先根据经验提出假设，再检验假设是否成立，这个过程叫假设检验 ¹ ¹统计学假设检验中 p 值的含义具体是什么？。

假设检验包含两个相互排斥的假设：原假设（$H_0$）和备择假设（$H_1$）。原假设一般是统计者想要拒绝的假设，备择假设是统计者想要接受的假设。

为什么要拒绝原假设呢？在假设检验中，如果样本证据不够充分，我们会选择接受原假设；只有当样本中出现了足够强的证据时，才推翻/拒绝原假设。而我们的目标是希望样本能够代表总体，所以当然希望样本提供的信息越多越好。

基本步骤 [1]：

提出原假设与备择假设；
从所研究总体中抽取一个随机样本；
构造检验统计量；
根据显著性水平确定拒绝域临界值；
计算检验统计量并与临界值比较，作出判断。

显著性水平与两类错误：

量化拒绝原假设的概率：$P(\text{拒绝 } H_0 \mid H_0 \text{ 为真}) \leq \alpha$。当原假设为真时，我们错误地拒绝原假设的概率不超过 $\alpha$，$\alpha$ 称为显著性水平（一般取 0.05）。直观理解：先假设 $H_0$ 为真，在 $H_0$ 为真的条件下，出现当前样本结果的概率仅为 $\alpha$——若 $\alpha$ 很小，则原假设成立时几乎不可能得到现在这个结果，因此有较大把握拒绝原假设（”错得很显著”）。
第 I 类错误（弃真错误，$\alpha$ 错误）：$H_0$ 为真时拒绝 $H_0$；
第 II 类错误（取伪错误，$\beta$ 错误）：$H_0$ 为假（$H_1$ 为真）时不拒绝 $H_0$，即 $P(\text{不拒绝 } H_0 \mid H_0 \text{ 为假}) = \beta$。

有了这些量化指标，就能判断某些数据是否服从某个分布，或者说，判断是否有足够的理由相信这些数据服从某个分布。P.S. 原假设一般是假定某个数据服从均值为 $x$、方差为 $y$ 的正态分布或其他分布。

p 值：在 $H_0$ 为真的假设下，得到当前样本结果（或更极端结果）的概率。$p$ 值比 $\alpha$ 小，就有更充足的理由否定原假设（双侧检验需视情况乘 2）。

9.2 检验统计量#

检验统计量是根据样本数据计算的随机变量，用于决定是否否定原假设：它将样本数据与原假设下的预期结果进行比较，可用于计算 $p$ 值 ² ²检验统计量是什么？。根据原假设中假定的概率模型，不同的假设检验使用不同的检验统计量：

假设检验	检验统计量
$Z$ 检验	$Z$ 统计量
$t$ 检验	$t$ 统计量
方差分析	$F$ 统计量
$\chi^2$ 检验	$\chi^2$ 统计量

以 $Z$ 检验为例：检验统计量 $Z$ 在原假设下服从标准正态分布，拒绝域由 $z_{\alpha/2}$ 界定。若执行 $\alpha = 0.05$ 的双尾 $Z$ 检验，查表获取 $Z$ 统计量查表（又称 $Z$ 值）得 $z_{0.05/2} = 1.960$，拒绝域为 $(-\infty, -1.960) \cup (1.960, +\infty)$。

若计算出的检验统计量 $\dfrac{|\overline{x} - \mu_0|}{\sigma/\sqrt{n}}$ 落在拒绝域内（结果大于 1.960），就有理由拒绝原假设。需要注意的是，拒绝原假设需要两个条件缺一不可：

检验统计量落在拒绝域：$\text{检验统计量} \geq \text{原假设下的某分布}_{\alpha/2}$；
$P(\text{拒绝 } H_0 \mid H_0 \text{ 为真}) \leq \alpha$。

9.3 单正态总体的假设检验#

设 $X_1, \dots, X_n$ 来自正态总体 $N(\mu, \sigma^2)$：

检验对象	条件	原假设	检验统计量	拒绝域（显著性水平 $\alpha$）
均值 $\mu$	$\sigma^2$ 已知	$\mu = \mu_0$	$Z = \dfrac{\overline{X} - \mu_0}{\sigma/\sqrt{n}} \sim N(0,1)$	$\lvert Z \rvert > z_{\alpha/2}$
均值 $\mu$	$\sigma^2$ 未知	$\mu = \mu_0$	$t = \dfrac{\overline{X} - \mu_0}{S/\sqrt{n}} \sim t(n-1)$	$\lvert t \rvert > t_{\alpha/2}(n-1)$
方差 $\sigma^2$	$\mu$ 未知	$\sigma^2 = \sigma_0^2$	$\chi^2 = \dfrac{(n-1)S^2}{\sigma_0^2} \sim \chi^2(n-1)$	$\chi^2 > \chi^2_{\alpha/2}(n-1)$ 或 $< \chi^2_{1-\alpha/2}(n-1)$

9.4 双正态总体的假设检验（简介）#

设两独立正态总体 $X \sim N(\mu_1, \sigma_1^2)$、$Y \sim N(\mu_2, \sigma_2^2)$，样本容量 $n_1, n_2$：

均值差（$\sigma_1^2 = \sigma_2^2$ 未知）：$t = \dfrac{(\overline{X} - \overline{Y}) - (\mu_1 - \mu_2)}{S_p \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} \sim t(n_1 + n_2 - 2)$，其中 $S_p^2 = \dfrac{(n_1-1)S_1^2 + (n_2-1)S_2^2}{n_1 + n_2 - 2}$ 为合并方差；
方差比：$F = \dfrac{S_1^2}{S_2^2} \sim F(n_1 - 1, n_2 - 1)$，用于检验 $\sigma_1^2 = \sigma_2^2$（方差齐性检验）。

十、分布检验#

10.1 $\chi^2$ 拟合优度检验#

前提条件：

总体分布已知（即 $H_0$ 中指定了具体的分布形式）；
属于非参数假设检验问题（检验的对象是”分布形式”而非具体参数）。

思想：把样本取值空间划分为 $k$ 个互不相交的区间，比较每个区间的实际频数 $f_i$ 与在原假设成立时的理论频数 $np_i$，构造统计量：

\[ \chi^2 = \sum_{i=1}^{k} \frac{(f_i - np_i)^2}{np_i} \]

当 $H_0$ 成立且样本量足够大时，该统计量近似服从 $\chi^2(k-1-r)$ 分布（$r$ 为用样本估计的参数个数），值越大说明实际数据与理论分布的偏差越大。

分布中不含未知参数的 $\chi^2$ 检验法（$r = 0$）
- 总体为离散分布时的 $\chi^2$ 检验法；
- 总体为连续分布时的 $\chi^2$ 检验法（先划分区间）；
分布中含未知参数的 $\chi^2$ 检验法（先用样本估计参数，自由度相应减少）。

注意：一般要求每个区间的理论频数 $np_i \geq 5$，必要时需合并区间。

10.2 列联表独立性检验#

用于判断两个分类变量之间是否相互独立。将数据整理成 $r \times c$ 列联表，用与拟合优度相同的 $\chi^2$ 统计量比较实际频数与”独立假设”下的期望频数：

\[ \text{期望频数} = \frac{\text{行合计} \times \text{列合计}}{\text{总合计}} \]

统计量近似服从 $\chi^2((r-1)(c-1))$ 分布。若 $\chi^2$ 值过大（$p$ 值小于 $\alpha$），则拒绝独立假设，认为两个变量之间存在关联。

10.3 正态性检验#

用于判断样本是否来自正态总体：

W 检验（Shapiro-Wilk）：小样本（$n \leq 50$）场合效果好，基于顺序统计量的线性组合构造统计量；
D 检验（D’Agostino）：基于偏度和峰度构造统计量，适合较大样本。

此外，实践中也常用**正态概率图（QQ 图）**等图示方法辅助判断。

十一、方差分析#

方差分析是检验两个或多个总体均值之间是否存在差异的方法。

方差分析的目的是将试验误差所引起的结果差异与试验条件的改变（即各因子不同水平的变化）所引起的结果差异区分开，以便抓住问题的实质；此外，还要将试验结果的主要因子和次要因子区分开，以便集中力量研究几个主要因子。

11.1 单因素方差分析#

实质是检验若干个具有相同方差的正态总体的均值是否相等的一种统计方法。

基本思想：把总变差（离差平方和 $SST$）分解为组间变差（$SSA$，由因子不同水平引起）与组内变差（$SSE$，由随机误差引起）之和，构造 $F$ 统计量：

\[ F = \frac{SSA / (s-1)}{SSE / (n-s)} \sim F(s-1, n-s) \]

其中 $s$ 为水平数，$n$ 为总样本量。若 $F$ 值过大（组间差异显著大于随机误差），则拒绝”各水平均值相等”的原假设。

11.2 无交互作用的双因素无重复试验方差分析#

两个因子 $A$、$B$，每种水平组合只做一次试验。总变差分解为三部分：

\[ SST = SSA + SSB + SSE \]

即因子 $A$ 引起的变差、因子 $B$ 引起的变差与随机误差变差，分别用 $F$ 检验判断两个因子的影响是否显著。

11.3 有交互作用的双因素方差分析#

每种水平组合需要重复试验多次，总变差分解为四部分：

\[ SST = SSA + SSB + SS_{A\times B} + SSE \]

多出的 $SS_{A\times B}$ 为交互作用变差——两个因子同时变化时产生的、单独作用无法解释的效应。

十二、回归分析与相关分析#

12.1 一元线性回归#

研究一个（或多个）自变量与因变量之间相关关系的统计方法，核心是建立回归方程并进行检验：

一元线性回归：$y = a + bx + \varepsilon$，用最小二乘法估计参数 $a$、$b$（使残差平方和最小）；
显著性检验：$t$ 检验（回归系数是否显著不为零）、$F$ 检验（回归方程整体是否显著）、拟合优度 $R^2$（回归平方和占总变差的比例，$0 \leq R^2 \leq 1$，越接近 1 拟合越好）；
多元回归：推广到多个自变量 $y = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p + \varepsilon$。

12.2 相关分析#

皮尔逊相关系数（样本）：$r = \dfrac{\sum (x_i - \overline{x})(y_i - \overline{y})}{\sqrt{\sum (x_i - \overline{x})^2 \sum (y_i - \overline{y})^2}}$，$|r| \leq 1$，衡量两个变量的线性相关程度；
相关系数的显著性可通过 $t$ 检验完成：$t = \dfrac{r\sqrt{n-2}}{\sqrt{1-r^2}} \sim t(n-2)$；
相关与回归的关系：回归描述”因变量如何随自变量变化”（有方向），相关描述”两个变量关联的强弱”（无方向）；相关分析不区分因果。

十三、正交试验设计#

正交试验设计方法是一种研究多因子试验问题的重要数学方法。主要使用正交表这一工具来进行整体设计、综合比较、统计分析。其核心是：用较少的试验次数，通过正交表的均衡分散性，同时考察多个因子及其交互作用，再配合方差分析判断各因子的显著性。

关系/运算	符号	含义
包含	\(A \subset B\)	\(A\) 发生必有 \(B\) 发生
相等	\(A = B\)	\(A \subset B\) 且 \(B \subset A\)
和事件	\(A \cup B\)	\(A\)、\(B\) 至少一个发生
积事件	\(A \cap B\)（或 \(AB\)）	\(A\)、\(B\) 同时发生
差事件	\(A - B\)	\(A\) 发生而 \(B\) 不发生
互斥（互不相容）	\(AB = \varnothing\)	\(A\)、\(B\) 不能同时发生
对立（互逆）	\(\overline{A}\)	\(A\) 不发生，\(\overline{A} = \Omega - A\)

分布	概率函数 / 密度	期望 \(E(X)\)	方差 \(D(X)\)
两点分布 \(B(1,p)\)	\(P(X{=}1)=p\)	\(p\)	\(p(1-p)\)
二项分布 \(B(n,p)\)	\(P(X{=}k)=C_n^k p^k(1-p)^{n-k}\)	\(np\)	\(np(1-p)\)
泊松分布 \(P(\lambda)\)	\(P(X{=}k)=\dfrac{\lambda^k e^{-\lambda}}{k!}\)	\(\lambda\)	\(\lambda\)
几何分布	\(P(X{=}k)=(1-p)^{k-1}p\)	\(\dfrac{1}{p}\)	\(\dfrac{1-p}{p^2}\)
超几何分布	\(P(X{=}k)=\dfrac{C_M^k C_{N-M}^{n-k}}{C_N^n}\)	\(\dfrac{nM}{N}\)	—
均匀分布 \(U(a,b)\)	\(f(x)=\dfrac{1}{b-a}\)	\(\dfrac{a+b}{2}\)	\(\dfrac{(b-a)^2}{12}\)
指数分布 \(\mathrm{Exp}(\lambda)\)	\(f(x)=\lambda e^{-\lambda x}\)	\(\dfrac{1}{\lambda}\)	\(\dfrac{1}{\lambda^2}\)
正态分布 \(N(\mu,\sigma^2)\)	\(f(x)=\dfrac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\)	\(\mu\)	\(\sigma^2\)

待估参数	条件	置信区间
均值 \(\mu\)	\(\sigma^2\) 已知	\(\overline{X} \pm z_{\alpha/2} \dfrac{\sigma}{\sqrt{n}}\)
均值 \(\mu\)	\(\sigma^2\) 未知	\(\overline{X} \pm t_{\alpha/2}(n-1) \dfrac{S}{\sqrt{n}}\)
方差 \(\sigma^2\)	\(\mu\) 未知	\(\left( \dfrac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)},\; \dfrac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)} \right)\)
总体比例 \(p\)	大样本（\(n\) 大，\(np\)、\(n(1-p) \geq 5\)）	\(\hat{p} \pm z_{\alpha/2} \sqrt{\dfrac{\hat{p}(1-\hat{p})}{n}}\)，其中 \(\hat{p}\) 为样本比例

假设检验	检验统计量
\(Z\) 检验	\(Z\) 统计量
\(t\) 检验	\(t\) 统计量
方差分析	\(F\) 统计量
\(\chi^2\) 检验	\(\chi^2\) 统计量

检验对象	条件	原假设	检验统计量	拒绝域（显著性水平 \(\alpha\)）
均值 \(\mu\)	\(\sigma^2\) 已知	\(\mu = \mu_0\)	\(Z = \dfrac{\overline{X} - \mu_0}{\sigma/\sqrt{n}} \sim N(0,1)\)	\(\lvert Z \rvert > z_{\alpha/2}\)
均值 \(\mu\)	\(\sigma^2\) 未知	\(\mu = \mu_0\)	\(t = \dfrac{\overline{X} - \mu_0}{S/\sqrt{n}} \sim t(n-1)\)	\(\lvert t \rvert > t_{\alpha/2}(n-1)\)
方差 \(\sigma^2\)	\(\mu\) 未知	\(\sigma^2 = \sigma_0^2\)	\(\chi^2 = \dfrac{(n-1)S^2}{\sigma_0^2} \sim \chi^2(n-1)\)	\(\chi^2 > \chi^2_{\alpha/2}(n-1)\) 或 \(< \chi^2_{1-\alpha/2}(n-1)\)

统计量	公式	说明
样本均值	\(\overline{X} = \dfrac{1}{n}\sum_{i=1}^{n} X_i\)	总体均值 \(\mu\) 的估计
样本方差	\(S^2 = \dfrac{1}{n-1}\sum_{i=1}^{n}(X_i - \overline{X})^2\)	分母为 \(n-1\)，保证无偏
样本标准差	\(S = \sqrt{S^2}\)	—
\(k\) 阶样本矩	\(A_k = \dfrac{1}{n}\sum_{i=1}^{n} X_i^k\)	矩估计用