原文towardsdatascience.com/must-know-in-statistics-the-bivariate-normal-projection-explained-ace7b2f70b5b引言在统计学和机器学习中理解变量之间的关系对于构建预测模型和分析数据至关重要。探索这些关系的基本技术之一是双变量投影它依赖于双变量正态分布的概念。这项技术允许通过它们之间的依赖结构来检查和预测一个变量的行为。双变量投影有助于确定一个随机变量在另一个变量特定值下的期望值。例如在线性回归中投影有助于估计因变量相对于自变量的变化。本文分为 3 部分在第一部分我将探讨双变量投影的基础推导其公式并演示其在回归模型中的应用。在第二部分我将提供一些关于投影的直觉和一些图表以更好地理解其含义。在第三部分我将使用投影来推导线性回归的参数。在我推导双变量投影公式的过程中我将使用一些已知的结果。为了不让读者感到过于沉重我将在文章末尾的附录中提供我陈述的证明和参考文献。第一部分双变量正态投影公式设Z为一个服从正态双变量N(μ, Σ)分布的随机向量其中https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/7fdab3d5fff877f7db21d52e7ca1299c.pngZ 的形状其中 X 和 Y 随机变量服从正态单变量分布https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/a27a3ed2bc89ade4540a3308b0452566.pngZ 的均值和协方差矩阵的公式以 X 和 Y 的均值和方差表示。ρ是 X 和 Y 之间的相关系数。然后给定X x的Y的条件分布是正态的并且由以下给出https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/77db8c900c9e7523509c168fc9765d66.png你可以在文章末尾的附录中找到这个结果的推导这是有条件均值的正态分布密度https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/1ea5748b7f7e4b50964e0cff1adf9e1b.png以及条件方差https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/809cd31f00c083fbf9cd473b19329d54.png现在我们可以写出Y在X上的线性投影即给定X x的Y的条件均值https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/5f3653e442b159dec5d5f573cc2a8999.png这是Y和X之间的线性关系因为它是Y在X上的线性投影。这个公式告诉我们什么我们可以在实际应用中使用它做什么让我们来看看第二部分解释和模拟二元投影在预测建模中起着至关重要的作用它允许我们根据另一个变量的值来估计一个变量的期望值。我将通过线性回归做一个实际示例。除了其预测能力外二元投影还为两个变量之间关系的性质和强度提供了宝贵的见解。例如当处理试图控制订单流的市商的Kyle 模型时我将在后续文章中使用这个结果。在这个模型中市商试图根据订单流理解证券的期望值。另一个机器学习应用是检测异常或离群值。通过投影这个过程变得更加容易管理因为它突出了变量之间预期关系的偏差。在使用线性回归进行实际示例之前我将运行一些 Python 模拟以更好地突出二元正态分布的形式以及其投影的预期结果。在下面的图中随机变量X和Y服从标准正态分布N(0, 1)。我们将看到当设置它们的相关性ρ的不同值时图的变化情况。一个可能的边缘情况是将ρ 0设置这意味着两个随机变量不相关https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/5f2a35db9f15b64b8c73212fa3a386ac.png在这里两个随机变量以它们的均值0为中心它们的散点图呈圆形。这表明变量是独立的。变量之间没有明显的线性关系。在下面的 3D 图中你可以更清楚地欣赏到分布的形状。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/219a22656bc1ea3096a1c28d8cb54e5e.png现在我们应用投影公式看看当X x的不同值时Y的分布会发生什么变化。如我们所想象Y的分布不受x的不同值的影响。Y的均值和方差保持不变。现在我们来看一个更有意义的相关性会发生什么。让我们将ρ 0.9https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/abdbb69a9d750519e250c1b2c65f28b0.png两个变量的均值仍然在0处但散点图显示了明显的线性关系。下面的 3D 图如下你可以欣赏到现在的分布不再像上一个例子那样呈现“圆锥”形状。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/956c2779da1fbe0138cb69af2ae095ba.png绘制投影图后我们可以看到Y的分布实际上受到不同x值的影响。值得注意的是Y的平均值依赖于x因为它的值取决于x和 _μX的差值而Y的方差不随x变化*因为它只依赖于相关系数ρ.此外请注意方差小于 _ρ0的情况*因为它与1-ρ²成比例。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/cd4b86204a0af1c5e8fe00e283b96851.png我将要展示的最后一种情况是ρ – 0.9.与前一种情况类似https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/606becc713b734c54f202cb11f92cdd7.pnghttps://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/fd4190c624f3dd4883e74b1ae2967ce4.pnghttps://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/9ac1bbbf85b8cfe18f2c340e54a92ba2.png第三部分应用 – 线性回归现在我们将投影应用于一个简单的机器学习案例线性回归。假设我们想要构建一个机器学习模型使用其面积 (X变量) 的值来预测房价 (Y变量)。我们有一个包含X和Y历史数据的数据集。假设变量分布如下并且它们之间存在线性关系https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/bb3740c2c3584b9d452b034d996b1628.png我们希望构建一个模型能够根据X的特定值预测Y的值https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/df286338d87924a7440cb4d384630a07.png其中beta 代表线性回归的系数就像通常情况一样https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/e3a0f3de5ae922102f39c609f1eb5485.png使用投影公式我们有https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/ef17625e8e1e1770de016d3ebc7a81e7.png这样我们可以使用从数据集中估计的分布参数来估计线性回归系数。让我们首先将两个表达式相等https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/bf8724cd09c5a253f3f864644c926bc2.png将右侧的项重新排列以分离乘以x的项和不乘以x的项https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/105ce70a3337df9ca5d98c24935587b6.png为了使等式成立参数应该是https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/0f52574a5cd7868e496abaf6ff762f07.png请注意这些是线性回归参数的估计值结论正如本文所述线性投影是统计学中一个强大的工具。它的应用多种多样你可能会惊讶于它被非显式地使用了多少次。你可以在这里找到生成图表所使用的代码 here。如同往常如果您有任何问题或建议请随时评论或联系我您可以在我的 GitHub 读取说明中找到我的联系方式。参考文献[1] Joel Hasbrouck (2007).实证市场微观结构第七章[2] Alex Tsun,概率与统计及其在计算中的应用第 5.9 章除非另有说明所有图像均由作者提供。附录 – 双变量线性投影推导让我们先定义两个随机变量X和Y的联合密度函数https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/1e2d8fb1ce0387dd5bc89945aa9e3604.png参考链接条件概率分布计算协方差矩阵的行列式https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/b3f034bb743ee429f1610cc6234e7705.png和协方差矩阵的逆https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/279c4626bd22b7891083f52a6174ebb3.png参考链接寻找矩阵逆的快捷方法将此代入密度函数的表达式中我们得到https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/f731dc31df806d464356c18c04c45833.png现在正态双变量的边缘概率密度函数是正态单变量。X的边缘函数由以下公式给出https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/de67ff72b0afe0fa9fd1b231548be736.png参考链接边缘分布现在我们终于可以计算给定Xx的Y的条件分布。请注意这仍然是正态分布https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/f5471a7b3f3e768f53feb772600aa679.png参考链接条件概率分布将联合密度函数和边缘密度函数代入我们得到投影密度https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/77db8c900c9e7523509c168fc9765d66.png投影公式现在是给定X x的Y的期望值可以通过积分投影密度函数来计算。请注意指数内的二次项可以解释为随机变量减去其均值。在这种情况下均值是 mu_Y 通过依赖于x的项进行平移。我们在绘制分布时欣赏了这种效果。方差通过1-ρ²进行缩放。分布的期望值随后是https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/ef17625e8e1e1770de016d3ebc7a81e7.png那就是双变量投影。