—关注作者送A/B实验实战工具包在理想的AB实验中随机分流是解决一切混淆变量的银弹。但在实际业务中我们经常遇到非随机的观察性数据或者实验分流后在细分维度上样本极度不均衡的情况。这时候直接对比均值会得出极其荒谬的结论。今天我们在白板前拆解几个因果推断的核心利器看看当AB实验的先决条件被破坏时如何剥离噪音找到真正的业务增量。一、 逆概率加权 (Inverse Probability Weighting, IPW)概念与作用假设你在分析某个交叉细分渠道的转化率发现里面99%是老客1%是新客。如果用传统的分层匹配法你会遭遇维度灾难因为找不到足够的长得一模一样的对照组样本。IPW 的作用是对特征进行“降维打击”它将多维特征压缩成一个一维的概率值不需要在每个细分渠道里找完美匹配从而解决小样本无法分层的问题。核心公式W T 1 1 e ( X ) , W T 0 1 1 − e ( X ) W_{T1} \frac{1}{e(X)}, \quad W_{T0} \frac{1}{1 - e(X)}WT1e(X)1,WT01−e(X)1e ( X ) e(X)e(X): 倾向评分 (Propensity Score)即给定特征X XX下用户被分配到干预组的概率。W T 1 W_{T1}WT1: 干预组样本被赋予的权重。W T 0 W_{T0}WT0: 对照组样本被赋予的权重。交互逻辑与容易混淆点IPW 表面上解决了样本量问题但实际上问题会以“权重爆炸”的形式借尸还魂。如果某个样本的e ( X ) e(X)e(X)极度接近 1比如 0.999那么他在对照组的权重将是1 / ( 1 − 0.999 ) 1000 1 / (1 - 0.999) 10001/(1−0.999)1000。这意味着这一个极端样本的偶然行为会被放大 1000 倍直接主导最终结果违背了正定性假设。使用要求实操中绝对不能算完权重直接求均值。必须检查倾向评分的分布并进行权重截断 (Weight Trimming)或者直接剔除e ( X ) e(X)e(X)极端的样本。二、 因果森林 (Causal Forest)概念与作用传统的机器学习模型如 XGBoost目标是预测用户的绝对结果Y YY买不买。如果用它算增量需要建两个模型相减误差会累加。因果森林直接把干预效应 (Conditional Average Treatment Effect, CATE) 作为优化目标它是一个自动且智能的、无限细分的AB实验引擎专门用于解决个性化策略提效Uplift 建模。核心公式与逻辑因果树在分裂节点时不再追求节点的“纯度”而是追求“干预效应的差异最大化”。系统寻找切分点使得以下公式最大化( U p l i f t l e f t − U p l i f t r i g h t ) 2 (Uplift_{left} - Uplift_{right})^2(Upliftleft−Upliftright)2U p l i f t l e f t Uplift_{left}Upliftleft: 左子节点中干预组均值减去对照组均值。U p l i f t r i g h t Uplift_{right}Upliftright: 右子节点中干预组均值减去对照组均值。交互逻辑算法在努力把“对策略敏感的人”和“对策略不敏感的人”分开。它不在乎节点内的人原本买不买只在乎发券对他们有没有用。使用要求为了防止过拟合因果森林引入了“诚实树”机制一半数据只用来决定树怎么分裂长骨架另一半数据专门漏到叶子节点里去计算真实的均值差。三、 线性回归的“剥离”本质与后门变量概念与作用当评估干预X XX对结果Y YY的影响时如果存在一个既影响X XX又影响Y YY的已观测混淆变量C CC比如历史活跃度这就形成了一条后门路径。多元线性回归的作用就是在数学上自动关闭这条后门。核心公式Y β 0 β 1 X β 2 C Y \beta_0 \beta_1 X \beta_2 CYβ0β1Xβ2CY YY: 结果变量。X XX: 干预变量。C CC: 已观测的混淆变量。β 1 \beta_1β1: 在控制C CC不变的情况下X XX对Y YY的纯粹因果效应。交互逻辑与容易混淆点直觉上把C CC放进方程为什么就能控制C CC根据 FWL 定理回归的本质是“榨汁与剥离”。算法在后台用C CC洗净X XX和Y YY剔除掉它们身上能被C CC解释的方差。β 1 \beta_1β1提取的正是“X XX独有波动带来的Y YY的波动”。容易混淆点如果混淆变量是未观测的如用户的内在自驱力回归彻底失效。此时必须妥协放弃估计混淆变量本身的效应转而使用 工具变量 (Instrumental Variable, IV)、双重差分 (Difference-in-Differences, DID) 或 断点回归 (Regression Discontinuity Design, RDD) 来提取X XX的纯粹效应。四、 中介效应与前门准则 (Front-door Criterion)概念与作用中介变量M MM发生在干预X XX之后如发短信X XX- 点击短信M MM- 购买Y YY。评估M MM的效应极其困难。容易混淆点很多人认为既然X XX是AB实验随机发的直接回归Y ∼ X M Y \sim X MY∼XM就能算出M MM的效应。这是致命错误。即使发短信是随机的“点击短信”这个动作绝不是随机的它受用户内在购物冲动未观测混淆变量影响。因此必须控制M MM和Y YY之间的所有混淆变量通过计算自然间接效应 (Natural Indirect Effect, NIE) 来评估。前门准则的作用当X XX到Y YY之间存在无法观测的混淆变量后门大开时前门准则是另一种破局思路。使用要求必须找到一个完美的中介M MM满足X XX只能通过M MM影响Y YY。未观测混淆变量不影响M MM前半段干净。通过控制X XX可以堵住M MM到Y YY的后门。满足这三个严苛条件后将两段干净的效应相乘即可绕过未观测变量还原真相。如果这篇文章帮你理清了思路不妨点个关注我会持续分享 AB 实验干货文章。