Cyber Sigma Lab

ACADEMY IMPROVEMENT VALIDATION

判断几组数据之间是否有显著差异 Hypothesis Testing 假设检验

数据之间的差异,是随机波动,还是有统计证据的差别。

02 HYPOTHESIS TESTING

假设检验

根据提供的数据计算并判断,观察到的差异或关联是否达到 统计学意义上的显著水平。

概念

用数据区分「真实差异」和「随机波动」

生产中没有任何两组数据会完全相同。改善前不良率 3.2%,改善后 2.6%—— 这 0.6% 是改善真的起了作用,还是换一批样本就会变回去?

假设检验就是回答这个问题的方法:先假定「两者没有差异」, 再看手上的数据是否强到足以推翻这个假定。推翻不了,就不能宣称改善有效; 推翻得了,才有底气说差异是真的。

它判断的是差异是否真实存在,不是差异有多大、也不是差异是谁造成的。

类比 它和法庭判案是同一套逻辑
  • 被告默认无罪 → H₀:默认没有差异
  • 控方出示证据 → 收集样本数据
  • 证据是否够强 → P 值是否小于 0.05
  • 证据不足 ≠ 清白 → P ≥ 0.05 ≠ 没有差异
应用场景

什么时候需要做假设检验

只要结论是「A 和 B 不一样」或「X 和 Y 有关系」,就需要用假设检验来支撑。

改善效果验证 改善后不良率从 3.2% 降到 2.6%,是真的降了,还是正常波动
两组对比 新旧工艺、两条产线、两个班次的平均值或不良率是否一致
是否达到目标 平均净含量是否等于标称值;一次合格率是否真的达到 95%
多组比较 三家原料供应商、四种配方的水分含量是否存在差异
因子与结果的关系 烘烤温度与产品硬度是否相关;供应商与缺陷类型是否有关联
数据的前置检查 数据是否服从正态分布,决定后续该用哪一类统计方法
符号

H₀ 和 Hₐ 分别代表什么

H₀ 原假设 · Null Hypothesis

默认成立的那一方:没有差异、没有关联、等于目标值。 它是被检验的对象,而不是想要证明的结论。

例:改善前后不良率相同 · 平均重量 = 100 g · 温度与粘度无关
Hₐ 备择假设 · Alternative Hypothesis

与 H₀ 对立的那一方:有差异、有关联、不等于目标值。 通常就是真正关心、并希望用数据支持的结论。

例:改善前后不良率不同 · 平均重量 ≠ 100 g · 温度与粘度相关
记住

假设检验只有两种结论:拒绝 H₀ 或 不能拒绝 H₀, 永远得不到「H₀ 成立」。就像法庭只会判「有罪」或「证据不足」,不会判「清白」。

P 值

P 值到底在说什么

P 值回答一个问题:假如 H₀ 是对的(真的没有差异), 那么出现眼前这样、甚至更极端的数据结果,概率有多大? 换句话说,它衡量的是「这一切纯属巧合」的可能性。

P < 0.05 拒绝 H₀

如果真的没有差异,这样的数据太罕见了。 比起「碰巧」,更合理的解释是 H₀ 本身不成立——差异是真实的。

P ≥ 0.05 不能拒绝 H₀

这样的数据用「随机波动」就能解释得通, 没有理由推翻 H₀。注意:这不等于证明了两者相同。

α = 0.05

这条判断线的含义是:接受自己有 5% 的概率冤枉 H₀, 把随机波动误判成真实差异。行业惯例取 0.05,风险高的场合可以收紧到 0.01。

三个最常见的误解
P 不是「H₀ 为真的概率」 P = 0.03 的意思不是「没有差异的概率只有 3%」。P 是在假定 H₀ 成立的前提下,算出这批数据有多罕见。
P 小不代表差异大 样本量足够大时,0.1 g 这种毫无实际意义的差异也能算出很小的 P 值。显著与否要看 P,值不值得改要看实际差异大小。
P ≥ 0.05 不代表没有差异 更常见的原因是样本量不够,没有能力发现本来就存在的差异。所以做检验之前,先确认样本量。
第一类错误 · α H₀ 本来是对的,却被拒绝了——冤枉好人,误报改善有效
第二类错误 · β H₀ 本来是错的,却没能拒绝——放过坏人,漏掉真实存在的差异
检验效力 · Power = 1 − β 发现真实差异的能力,由样本量决定,常用取值 0.80 或 0.90
快速参考

常用假设检验:H₀、Hₐ 与 P-value 判断

常用显著性水平 α = 0.05
典型使用场景 假设检验方法 H₀原假设 Hₐ备择假设 P ≥ 0.05不能拒绝 H₀ P < 0.05拒绝 H₀
当前不良率是否不同于 3%;合格率是否达到既定水平 1-Proportion 单比例检验 p = p₀例:产品合格率 = 95% p ≠ p₀例:产品合格率 ≠ 95% 没有足够证据说明该比例与目标值不同 该比例与目标值存在显著差异
改善前后不良率;两个供应商的合格率比较 2-Proportion 双比例检验 p₁ = p₂例:改善前后不良率相同 p₁ ≠ p₂例:改善前后不良率不同 没有足够证据说明两个比例不同 两个比例存在显著差异
供应商与缺陷类型;产线与缺陷类别;多个比例的整体比较 Chi-square 卡方检验 两个分类变量相互独立例:供应商与缺陷类型无关联 两个分类变量存在关联例:供应商与缺陷类型有关联 没有足够证据说明两个分类变量有关联 两个分类变量存在显著关联
平均重量是否等于 100 g;平均强度是否偏离目标 1-Sample t 单样本 t 检验 μ = μ₀例:平均重量 = 100 g μ ≠ μ₀例:平均重量 ≠ 100 g 没有足够证据说明总体均值偏离目标值 总体均值与目标值存在显著差异
新旧工艺平均值;两个独立供应商的平均性能比较 2-Sample t 双样本 t 检验 μ₁ = μ₂例:新旧工艺平均强度相同 μ₁ ≠ μ₂例:新旧工艺平均强度不同 没有足够证据说明两个总体均值不同 两个总体均值存在显著差异
三个及以上供应商、配方、工艺条件或产线的均值比较 ANOVA 方差分析 μ₁ = μ₂ = μ₃ = …例:3 个供应商平均强度相同 至少有一组均值不同例:至少 1 个供应商平均强度不同 没有足够证据说明各组总体均值存在差异 至少一组总体均值存在显著差异
温度与粘度、速度与强度、压力与尺寸之间的线性相关 Correlation 相关性检验 ρ = 0例:温度与粘度无线性相关 ρ ≠ 0例:温度与粘度存在线性相关 没有足够证据支持两个变量存在线性相关 两个变量存在线性相关的统计证据
判断连续数据的分布特征,为后续统计方法选择提供依据 Normality Test 正态性检验 数据来自正态分布例:产品重量数据符合正态分布 数据不来自正态分布例:产品重量数据不符合正态分布 没有足够证据拒绝正态分布假设 数据与正态分布存在显著偏离
NOTE

表中以双侧检验为基础示例。若研究问题明确要求判断“更高”“更低”或“改善后更好”, Hₐ 可以定义为单侧方向;后续判断树会根据实际场景确定。

样本量

假设检验之前,需要先确认样本量是否足够

样本量决定研究能够识别多小的真实差异。样本量不足时, 即使实际存在差异,也可能得到 P ≥ 0.05。

01 选择检验方法 1-Proportion / t Test / ANOVA …
→
02 输入设计参数 α · Power · 目标差异 · σ / p
→
03 计算所需样本量 不同假设检验使用对应的样本量计算方法
下一部分通过判断树选择正确的假设检验,并计算相对应的样本量。 进入判断树
03判断树

选择正确的假设检验

根据数据类型、比较组数和数据关系选择方法。选定后填写实际样本量,直接生成数据收集表。

STEP 01数据类型

你要比较的结果是什么类型?

STEP 02比较结构

你要比较几个比例?

STEP 03数据关系

两组二分类结果是否来自同一对象的一一配对?

STEP 02比较结构

你要比较几个均值?

STEP 03数据关系

两组连续数据是否来自同一对象或明确一一配对?

推荐方法1-Proportion单比例检验

一个比例与目标值比较

例:不良率是否与 3% 有差异

下一步填 n → 生成表格
生成数据表 →
推荐方法2-Proportion独立双比例

两个独立比例比较

例:供应商 A vs B 不良率

下一步填两组 n → 生成表格
生成数据表 →
推荐方法McNemar配对二分类

同一对象前后二分类结果

例:同一样品前后 Pass / Fail

下一步填配对数 → 生成表格
生成数据表 →
推荐方法Chi-square卡方检验

分类变量分布 / 关联比较

例:供应商 × 缺陷类型

下一步填各组 n → 生成表格
生成数据表 →
推荐方法1-Sample t单样本 t

一个均值与目标比较

例:平均重量 vs 100 g

下一步填 n → 生成表格
生成数据表 →
推荐方法Paired t配对 t

同一对象前后连续数据

例:同一样品前后强度

下一步填配对数 → 生成表格
生成数据表 →
推荐方法2-Sample tWelch t

两个独立均值比较

例:两个供应商平均强度

下一步填两组 n → 生成表格
生成数据表 →
推荐方法ANOVA单因素方差分析

三个及以上独立总体均值

例:3 个供应商平均强度

下一步填每组 n → 生成表格
生成数据表 →
04数据收集与分析

填写样本量,生成数据表与分析 Prompt

选好方法后,填写实际每组样本量,直接生成对应的数据收集格式。数据收集完成后,只需要一段分析 Prompt。

直接进入已经知道要用哪种检验?

不确定时,请先使用上方第 03 部分判断树。

当前方法1-Proportion单比例检验
重新选择 ↑
01 · 实际样本量 填写你已经收集或计划收集的数据量 这里只决定数据表需要多少行,不进行 Power 计算。
可选 · 样本量工具
当前方法2-Proportion双比例检验
重新选择 ↑
01 · 实际样本量 填写你已经收集或计划收集的数据量 这里只决定数据表需要多少行,不进行 Power 计算。
可选 · 样本量工具
当前方法McNemar配对二分类检验
重新选择 ↑
01 · 实际样本量 填写你已经收集或计划收集的数据量 这里只决定数据表需要多少行,不进行 Power 计算。
可选 · 样本量工具
当前方法Chi-square卡方检验
重新选择 ↑
01 · 实际样本量 填写你已经收集或计划收集的数据量 这里只决定数据表需要多少行,不进行 Power 计算。
可选 · 样本量工具
当前方法1-Sample t单样本 t 检验
重新选择 ↑
01 · 实际样本量 填写你已经收集或计划收集的数据量 这里只决定数据表需要多少行,不进行 Power 计算。
可选 · 样本量工具
当前方法Paired t配对 t 检验
重新选择 ↑
01 · 实际样本量 填写你已经收集或计划收集的数据量 这里只决定数据表需要多少行,不进行 Power 计算。
可选 · 样本量工具
当前方法2-Sample tWelch 双样本 t 检验
重新选择 ↑
01 · 实际样本量 填写你已经收集或计划收集的数据量 这里只决定数据表需要多少行,不进行 Power 计算。
可选 · 样本量工具
当前方法ANOVA单因素方差分析
重新选择 ↑
01 · 实际样本量 填写你已经收集或计划收集的数据量 这里只决定数据表需要多少行,不进行 Power 计算。
可选 · 样本量工具
06 使用支持
CONTACT

有问题?联系作者

如果以上操作、样本量计算或 Prompt 使用过程中有任何问题, 请通过邮件联系作者。

发送邮件到: cybersigmalab@proton.me