数理统计基础#
基本介绍#
统计学最核心的思想：用样本信息估计总体信息。
但是永远无法获得总体信息，所以我们只能多做实验，然后以某些标准判断该样本能否代表总体。
下面罗列一些常用的判断标准，仅供参考。
假设检验#
因为我们无法获得总体信息，所以我们一般先根据经验提出假设，然后检验假设是否成立，这个过程叫假设检验。
假设检验的基本步骤 1统计学假设检验中 p 值的含义具体是什么？：
提出原假设与备择假设
从所研究总体中出抽取一个随机样本
构造检验统计量
根据显著性水平确定拒绝域临界值
计算检验统计量与临界值进行比较
假设检验包含两个相互排斥的假设，分别称为原假设（\(H_0\)）和备择假设（\(H_1\)）。
原假设一般是统计者想要拒绝的假设，而备择假设是统计者想要接受的假设。
为什么要拒绝原假设呢？在假设检验中，如果样本中的证据不够充分，我们会选择接受原假设。 只有当样本中出现了足够强的证据时，我们才会推翻/拒绝原假设。 而我们的目标是希望样本能够代表整体，所以当然希望样本提供的信息越多越好。
量化一下拒绝原假设的概率，如下所示：
上面这个条件概率表示：当原假设为真时，我们错误地拒绝原假设的概率不超过 \(\alpha\)。
如果这个不等式成立，则表示： 我们首先假设了 \(H_0\) 为真，但实际上我们用 \(H_0\) 为真这个条件算了一下，出现当前这个样本组合的概率是 \(\alpha\)。
我们用直觉就可以知道，如果这个 \(\alpha\) 很小，那么，在原假设成立的条件下，我们几乎不可能得到现在这个结果。 因此，我们就可以有很大的把握拒绝原假设，认为原假设不成立。而这个 \(\alpha\) 的学术名字叫显著性水平。 （错的很显著）
原假设为真时，我们拒绝了原假设。这样，我们得到的结论和提出的假设不一致，也就是，我们判断失误了。 而这种类型的失误叫第 I 类错误，也叫弃真错误或 \(\alpha\) 错误。
相似地，还有第 II 类错误，也叫取伪错误或 \(\beta\) 错误。它是指在原假设为假（即 \(H_1\) 为真）的条件下， 我们没有拒绝原假设。公式如下：
有了这个量化指标，我们就能够判断，是否可以认为某些数据是否服从某个分布了。 或者说，是否有足够的理由相信这些数据服从某些分布。
P.S. 原假设一般是假设某个数据是否服从均值为 \(x\) 方差为 \(y\) 的正态分布或其他分布。
在给出了显著性水平的情况下，根据原假设提出的数据服从的分布，我们通过查表可以得到上面不等式是否成立。
上面讲完了假设检验的整体步骤，同时提到了显著性水平和两类错误的概念，下面将对检验统计量做一下梳理。
检验统计量#
检验统计量是根据样本数据计算的随机变量，它用在假设检验中。 可以使用检验统计量来确定是否要否定原假设。检验统计量将您的数据与原假设下的预期结果进行比较。 检验统计量可用于计算 p 值 2检验统计量是什么？。
根据原假设中假定的概率模型，不同的假设检验使用不同的检验统计量。常见的检验及其检验统计量包括 [2]：
假设检验 |
检验统计量 |
|---|---|
\(Z\) 检验 |
\(Z\) 统计量 |
\(t\) 检验 |
\(t\) 统计量 |
方差分析 |
\(F\) 统计量 |
\(\mathcal{X}^2\) 检验 |
\(\mathcal{X}^2\) 统计量 |
先看下面公式中，不等式右面的取值，显著性水平 \(\alpha\) 这个阈值通常是人为设定的，通常取 0.05。
如何计算不等式左边的取值？答案是根据样本来算。先对公式 (1) 进行细节化：
以 \(Z\) 检验为例，检验统计量为 \(Z\) 统计量，这是原假设下的标准正态分布，公式 (2) 变为公式 (3) ：
假设您执行 \(\alpha\) 为 0.05 的双尾 \(Z\) 检验，查表获取 \(Z\) 统计量 （又称为 \(Z\) 值）得 \(z_{0.05/2} = 1.960\)。
首先，通过 \(Z\) 值我们可以在分布图上画出一个拒绝域 \((-\infty, -z_{0.025}) \cup (z_{0.025}, +\infty)\)。
然后，就要计算检验统计量的值了，看看它是不是落在了拒绝域内。
如果计算出来的检验统计量 \(\displaystyle\frac{|\bar{x}-\mu_0|}{\sigma/\sqrt{n}}\) 的值落在了拒绝域内（也就是说，这个结果大于 1.960），我们就有理由拒绝原假设。
假如算出来的检验统计量的值为 \(k\)，从分布图上，以 \((k, +\infty)\) 为区间，会得到一个概率（双尾检验需乘以 2）， 这个概率叫 \(p\) 值。如果 \(p\) 值比 \(\alpha\) 还小，那么我们就有更充足的理由来否定原假设。
至此，假设检验就结束了。
需要注意的是，我们这里要否定原假设时，需要保证两个不等式的成立，缺一不可：
\(\text{检验统计量} \geq \text{原假设下的某分布}_{\alpha/2}\)
\(P(\text{拒绝 } H_0 | H_0 \text{为真}) \leq \alpha\)
参数估计#
矩估计
最大似然估计
区间估计
估计评价
区间估计的置信水平与假设检验的显著性水平 \(\alpha\) 满足：置信水平 = 1 − \(\alpha\)
分布检验#
分布检验（拟合优度检验）用于判断样本数据是否来自某个假定的分布。
前提条件：
总体分布已知（即 \(H_0\) 中指定了具体的分布形式）；
属于非参数假设检验问题（检验的对象是”分布形式”而非具体参数）。
\(\mathcal{X}^2\) 拟合优度检验#
思想：把样本取值空间划分为 \(k\) 个互不相交的区间，比较每个区间的实际频数 \(f_i\) 与 在原假设成立时的理论频数 \(np_i\)，构造统计量：
当 \(H_0\) 成立且样本量足够大时，该统计量近似服从 \(\mathcal{X}^2(k-1-r)\) 分布 （\(r\) 为用样本估计的参数个数），值越大说明实际数据与理论分布的偏差越大。
分布中不含未知参数的 \(\mathcal{X}^2\) 检验法（\(r=0\)）
总体为离散分布时的 \(\mathcal{X}^2\) 检验法
总体为连续分布时的 \(\mathcal{X}^2\) 检验法（先划分区间）
分布中含未知参数的 \(\mathcal{X}^2\) 检验法（先用样本估计参数，自由度相应减少）
注意：一般要求每个区间的理论频数 \(np_i \geq 5\)，必要时需合并区间。
列联表独立性检验#
用于判断两个分类变量之间是否相互独立。将数据整理成 \(r \times c\) 列联表，用与拟合优度相同的 \(\mathcal{X}^2\) 统计量比较实际频数与”独立假设”下的期望频数：
统计量近似服从 \(\mathcal{X}^2((r-1)(c-1))\) 分布。若 \(\mathcal{X}^2\) 值过大（\(p\) 值小于 \(\alpha\)）， 则拒绝独立假设，认为两个变量之间存在关联。
正态性检验#
用于判断样本是否来自正态总体：
W 检验（Shapiro-Wilk）：小样本（\(n \leq 50\)）场合效果好，基于顺序统计量的线性组合构造统计量；
D 检验（D’Agostino）：基于偏度和峰度构造统计量，适合较大样本。
此外，实践中也常用**正态概率图（QQ 图）**等图示方法辅助判断。
方差分析#
方差分析是检验两个或多个总体均值之间是否存在差异的方法。
方差分析的目的是将试验误差所引起的结果差异与试验条件的改变（即各因子不同水平的变化）所引起的结果差异区分开， 以便能够抓住问题的实质，此外，还要将试验结果的主要因子和次要因子区分开来，以便集中力量研究几个主要因子。
单因素方差分析#
实质是检验若干个具有相同方差的正态总体的均值是否相等的一种统计方法。
基本思想：把总变差（离差平方和 \(SST\)）分解为组间变差（\(SSA\)，由因子不同水平引起） 与组内变差（\(SSE\)，由随机误差引起）之和，构造 \(F\) 统计量：
其中 \(s\) 为水平数，\(n\) 为总样本量。若 \(F\) 值过大（组间差异显著大于随机误差），则拒绝”各水平均值相等”的原假设。
无交互作用的双因素无重复试验方差分析#
两个因子 \(A\)、\(B\)，每种水平组合只做一次试验。总变差分解为三部分：
即因子 \(A\) 引起的变差、因子 \(B\) 引起的变差与随机误差变差，分别用 \(F\) 检验判断两个因子的影响是否显著。
有交互作用的双因素方差分析#
每种水平组合需要重复试验多次，总变差分解为四部分：
多出的 \(SS_{A\times B}\) 为交互作用变差——两个因子同时变化时产生的、单独作用无法解释的效应。
回归分析#
研究一个（或多个）自变量与因变量之间相关关系的统计方法，核心是建立回归方程并进行检验：
一元线性回归：\(y = a + bx + \varepsilon\)，用最小二乘法估计参数 \(a\)、\(b\)；
显著性检验：\(t\) 检验（回归系数是否显著不为零）、\(F\) 检验（回归方程整体是否显著）、拟合优度 \(R^2\)（回归平方和占总变差的比例）；
多元回归：推广到多个自变量 \(y = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p + \varepsilon\)。
正交试验设计#
正交试验设计方法是一种研究多因子试验问题的重要数学方法。主要使用正交表这一工具来进行整体设计、综合比较、统计分析。