通信与统计推断领域的另一座基石——最大似然准则MLMaximum Likelihood。如果说最大后验概率MAP是一位经验丰富、结合先验知识的侦探那么最大似然准则就是一位严谨客观、完全相信眼前证据的科学家。最大似然准则 (ML) 详解1. 核心思想寻找最能解释现状的“原因”最大似然准则的核心思想可以概括为在已知结果的情况下寻找那个使得该结果出现的可能性最大的参数或假设。在通信系统中这个过程可以理解为原因发送端发送的码字 x。结果接收端收到的信号 y。ML准则回答的问题是“假设我发送的是码字A那么收到信号y的概率有多大假设我发送的是码字B收到信号y的概率又有多大哪一个假设能让当前这个结果y的出现变得最合理我就选哪一个。”2. 数学定义最大似然准则的数学表达式非常简洁x^MLML准则估计出的发送码字。argmax寻找使后面表达式最大的那个变量。P(y∣x)似然函数。给定发送码字为 xx 的条件下接收端观察到信号 yy 的概率密度或概率。关键区别P(y∣x)是关于 y 的函数将 x 视为已知参数。当我们改变 xx 来观察 P(y∣x)如何变化时它就被称为关于 x 的“似然函数”。3. 似然 vs. 概率为了帮助理解这里区分一下“似然”和“概率”概念数学表示直观理解概率P(y∥x)已知模型参数 xx预测结果 yy 的可能性。由因推果似然L(x∥y)已知观测结果 yy评估模型参数 xx 的合理程度。由果溯因在ML准则中我们固定观测值 y让 x 变化找到使似然函数最大的那个 x。4. 为什么ML如此重要无需先验信息与MAP不同ML准则不需要知道发送符号的先验概率P(x)。在许多实际系统中先验概率难以获得或者是非平稳的。ML只依赖于信道模型和当前观测。客观性ML准则提供了一种相对客观的估计方法不带有对发送符号的主观偏见。渐近最优性在样本数量足够大时最大似然估计具有非常好的性质如一致性趋近于真实值、渐近正态性和渐近有效性方差最小。5. 直观类比池塘钓鱼假设你来到一个池塘边里面有鲤鱼和草鱼两种鱼两种可能的发送信号 x。你看不见水下的情况但你想知道哪一种鱼更多。你放下鱼竿钓上来一条鱼这是接收信号 y结果是鲤鱼。站在MAP的角度需要先验你想起昨天隔壁老王说这里草鱼特别多先验 P(草鱼) 大。虽然你钓到了鲤鱼你可能还是会犹豫“会不会是运气不好实际上水下可能还是草鱼多”站在ML的角度只看证据你钓到了鲤鱼那么似然函数 P(钓到鲤鱼∣水下多为草鱼)应该很小草鱼多的地方不容易钓到鲤鱼。相反P(钓到鲤鱼∣水下多为鲤鱼)应该很大。ML准则会选择使当前观测最可能发生的假设。既然已经钓到了鲤鱼那就认为水下鲤鱼更多。它只相信看到的证据。6. 在AWGN信道下的几何解释最小距离在通信中最常见的加性白高斯噪声AWGN信道中ML准则有一个极其直观的几何解释。高斯噪声的概率密度函数是距离的单调递减函数其中 d(y,x)d(y,x) 是接收信号与发送信号在信号空间中的欧氏距离。距离 dd 越小指数负值越小P(y∣x) 越大。距离 dd 越大P(y∣x) 越小。因此寻找使 P(y∣x) 最大的 x完全等价于寻找使欧氏距离 d(y,x) 最小的 x。这就是我们在硬判决译码中常用的最小距离准则。7. ML与MAP的关系根据贝叶斯公式当先验等概时P(x)是常数最大化 P(x∣y)等价于最大化 P(y∣x)。此时MAP ML。当先验不等概时ML不考虑 P(x)它只依赖观测。如果某个符号先验概率极小但恰好观测到的信号很像它ML会坚持选它而MAP可能会综合考量后选择先验概率大的那个。ML译码准则总结框图下面这张Mermaid框图清晰地展示了ML准则的推导逻辑、与MAP的关系、在AWGN下的简化以及它的应用地位。总结一句话最大似然准则是一种基于观测驱动的决策方法它完全依赖当前收到的信号通过信道的噪声模型反推最可能的发送信号。当没有任何先验信息或假设所有发送符号等概出现时ML是最合理的选择。