判断几组数据之间是否有显著差异 Hypothesis Testing 假设检验
数据之间的差异,是随机波动,还是有统计证据的差别。
假设检验
根据提供的数据计算并判断,观察到的差异或关联是否达到 统计学意义上的显著水平。
用数据区分「真实差异」和「随机波动」
生产中没有任何两组数据会完全相同。改善前不良率 3.2%,改善后 2.6%—— 这 0.6% 是改善真的起了作用,还是换一批样本就会变回去?
假设检验就是回答这个问题的方法:先假定「两者没有差异」, 再看手上的数据是否强到足以推翻这个假定。推翻不了,就不能宣称改善有效; 推翻得了,才有底气说差异是真的。
它判断的是差异是否真实存在,不是差异有多大、也不是差异是谁造成的。
- 被告默认无罪 → H₀:默认没有差异
- 控方出示证据 → 收集样本数据
- 证据是否够强 → P 值是否小于 0.05
- 证据不足 ≠ 清白 → P ≥ 0.05 ≠ 没有差异
什么时候需要做假设检验
只要结论是「A 和 B 不一样」或「X 和 Y 有关系」,就需要用假设检验来支撑。
H₀ 和 Hₐ 分别代表什么
默认成立的那一方:没有差异、没有关联、等于目标值。 它是被检验的对象,而不是想要证明的结论。
与 H₀ 对立的那一方:有差异、有关联、不等于目标值。 通常就是真正关心、并希望用数据支持的结论。
假设检验只有两种结论:拒绝 H₀ 或 不能拒绝 H₀, 永远得不到「H₀ 成立」。就像法庭只会判「有罪」或「证据不足」,不会判「清白」。
P 值到底在说什么
P 值回答一个问题:假如 H₀ 是对的(真的没有差异), 那么出现眼前这样、甚至更极端的数据结果,概率有多大? 换句话说,它衡量的是「这一切纯属巧合」的可能性。
如果真的没有差异,这样的数据太罕见了。 比起「碰巧」,更合理的解释是 H₀ 本身不成立——差异是真实的。
这样的数据用「随机波动」就能解释得通, 没有理由推翻 H₀。注意:这不等于证明了两者相同。
这条判断线的含义是:接受自己有 5% 的概率冤枉 H₀, 把随机波动误判成真实差异。行业惯例取 0.05,风险高的场合可以收紧到 0.01。
常用假设检验:H₀、Hₐ 与 P-value 判断
| 典型使用场景 | 假设检验方法 | H₀原假设 | Hₐ备择假设 | P ≥ 0.05不能拒绝 H₀ | P < 0.05拒绝 H₀ |
|---|---|---|---|---|---|
| 当前不良率是否不同于 3%;合格率是否达到既定水平 | 1-Proportion 单比例检验 | p = p₀例:产品合格率 = 95% | p ≠ p₀例:产品合格率 ≠ 95% | 没有足够证据说明该比例与目标值不同 | 该比例与目标值存在显著差异 |
| 改善前后不良率;两个供应商的合格率比较 | 2-Proportion 双比例检验 | p₁ = p₂例:改善前后不良率相同 | p₁ ≠ p₂例:改善前后不良率不同 | 没有足够证据说明两个比例不同 | 两个比例存在显著差异 |
| 供应商与缺陷类型;产线与缺陷类别;多个比例的整体比较 | Chi-square 卡方检验 | 两个分类变量相互独立例:供应商与缺陷类型无关联 | 两个分类变量存在关联例:供应商与缺陷类型有关联 | 没有足够证据说明两个分类变量有关联 | 两个分类变量存在显著关联 |
| 平均重量是否等于 100 g;平均强度是否偏离目标 | 1-Sample t 单样本 t 检验 | μ = μ₀例:平均重量 = 100 g | μ ≠ μ₀例:平均重量 ≠ 100 g | 没有足够证据说明总体均值偏离目标值 | 总体均值与目标值存在显著差异 |
| 新旧工艺平均值;两个独立供应商的平均性能比较 | 2-Sample t 双样本 t 检验 | μ₁ = μ₂例:新旧工艺平均强度相同 | μ₁ ≠ μ₂例:新旧工艺平均强度不同 | 没有足够证据说明两个总体均值不同 | 两个总体均值存在显著差异 |
| 三个及以上供应商、配方、工艺条件或产线的均值比较 | ANOVA 方差分析 | μ₁ = μ₂ = μ₃ = …例:3 个供应商平均强度相同 | 至少有一组均值不同例:至少 1 个供应商平均强度不同 | 没有足够证据说明各组总体均值存在差异 | 至少一组总体均值存在显著差异 |
| 温度与粘度、速度与强度、压力与尺寸之间的线性相关 | Correlation 相关性检验 | ρ = 0例:温度与粘度无线性相关 | ρ ≠ 0例:温度与粘度存在线性相关 | 没有足够证据支持两个变量存在线性相关 | 两个变量存在线性相关的统计证据 |
| 判断连续数据的分布特征,为后续统计方法选择提供依据 | Normality Test 正态性检验 | 数据来自正态分布例:产品重量数据符合正态分布 | 数据不来自正态分布例:产品重量数据不符合正态分布 | 没有足够证据拒绝正态分布假设 | 数据与正态分布存在显著偏离 |
表中以双侧检验为基础示例。若研究问题明确要求判断“更高”“更低”或“改善后更好”, Hₐ 可以定义为单侧方向;后续判断树会根据实际场景确定。
假设检验之前,需要先确认样本量是否足够
样本量决定研究能够识别多小的真实差异。样本量不足时, 即使实际存在差异,也可能得到 P ≥ 0.05。
选择正确的假设检验
根据数据类型、比较组数和数据关系选择方法。选定后填写实际样本量,直接生成数据收集表。
你要比较的结果是什么类型?
你要比较几个比例?
两组二分类结果是否来自同一对象的一一配对?
你要比较几个均值?
两组连续数据是否来自同一对象或明确一一配对?
一个比例与目标值比较
例:不良率是否与 3% 有差异
两个独立比例比较
例:供应商 A vs B 不良率
同一对象前后二分类结果
例:同一样品前后 Pass / Fail
分类变量分布 / 关联比较
例:供应商 × 缺陷类型
一个均值与目标比较
例:平均重量 vs 100 g
同一对象前后连续数据
例:同一样品前后强度
两个独立均值比较
例:两个供应商平均强度
三个及以上独立总体均值
例:3 个供应商平均强度
填写样本量,生成数据表与分析 Prompt
选好方法后,填写实际每组样本量,直接生成对应的数据收集格式。数据收集完成后,只需要一段分析 Prompt。
不确定时,请先使用上方第 03 部分判断树。
有问题?联系作者
如果以上操作、样本量计算或 Prompt 使用过程中有任何问题, 请通过邮件联系作者。