我们接着通信的比喻来聊一个更高级的信道模型可逆矩阵信道。先别被这个名字吓到我们可以把它想象成一个“数字魔术盒子”。1. 什么是可逆矩阵信道想象一下你不再是通过敲墙传递简单的数字1 2, 3, 4而是每次发送一个密码包。这个密码包里包含了一串数字比如 (2, 5, 0)。这个信道魔术盒子会对你的密码包做一个确定的、线性的变换。输入你发送的向量 x比如 [2 5, 0]。信道一个固定的、可逆的变换矩阵 A。输出朋友收到的向量 yA⋅x。“可逆”是这个魔术盒子的关键特性因为矩阵 A 是可逆的存在逆矩阵 A−1这意味着这个变换是一一对应的。不同的输入 x经过变换后一定会得到不同的输出 y。反过来朋友只要知道这个魔术盒子的变换规则知道 A 是什么他收到 y 后就能通过计算 xA−1⋅y完美地、毫无误差地恢复出你最初发送的密码包 x。2. 这和之前的信道有什么不同之前讲的一般信道和对称信道都充满了随机干扰敲墙声可能听错Wi-Fi信号可能被墙壁衰减。但可逆矩阵信道里没有随机性它是一个确定的、无噪声的变换。之前输出输入随机噪声 听错、看错现在输出A⋅输入 确定运算没有噪声3. 它的容量是多少既然这个信道能让你在接收端完美地恢复出原始信息那它的容量应该是多少呢答案是无限大。让我们用三个不同的角度来理解为什么是“无限大”。角度一信息论的定义信道容量被定义为“能够可靠传输的最大信息速率”。既然这个信道可以做到完全无误差地传输且理论上没有任何干扰限制你那么只要你愿意你就可以一次塞进任意多的信息。比如你可以只发一个数字 0-9传很少的信息。你也可以发一个由 1000 个数字组成的超级长向量一口气传海量的信息。你甚至可以发一个由 100 万个数字组成的向量。因为变换是一一对应的只要你们约定了 A朋友收到后总能完美还原。传输速率的上限只取决于你愿意发多大的“密码包”而信道本身不会给你设限。所以理论上它的容量是无限大。角度二通俗类比完美翻译官想象你有一个完美的翻译官信道。你对着他讲中文输入 x。他瞬间、一字不差地、完美地把它翻译成法文输出 yA⋅x。另一个人听到法文后可以再通过这个翻译官的逆过程完美地把法文译回中文没有任何信息丢失。这个翻译官信道本身不会给你添乱不会漏译不会错译。那通过他你一小时能“传输”多少信息答案是无限多。只要你能不停地讲他就能不停地完美翻译。唯一的限制是你自己发送方的语速而不是这个翻译官信道。角度三几何直观坐标变换想象你在纸上画了一个点 xx。这个信道就像一个刚体运动比如旋转但不扭曲。它把点 xx 精确地移动到了另一个位置 yyA⋅x。这个移动是确定的不会把点 x 随机地甩到其他地方。只要你知道这个移动是怎么做的知道 A看到 y 后你就能用反向移动A−1精确地找回原来的点 x。因为运动是确定的、一一对应的你能在纸上画的点 x 可以是任意多、任意精细的。所以你能传输的信息量是无限的。总结对比特性一般信道 / 对称信道可逆矩阵信道核心有噪声有随机干扰无噪声确定性变换输入输出关系yx噪声yA⋅x能否无误差恢复不能只能尽量接近能完美恢复信道容量有限值由噪声大小决定无限大通俗比喻嘈杂的派对现场听不清完美的翻译官毫无错漏所以可逆矩阵信道的容量是无限大的因为它本质上是一个无噪声的、确定性的线性变换通道。信息论的研究重点正是在那些有噪声、有极限的信道上。框图逻辑解读顶部对比左侧回顾了之前讲的两类信道一般/对称强调它们的共同点是有噪声因此容量有限。右侧列出了可逆矩阵信道的特征从核心特征到数学模型层层递进。核心差异数学模型从 yx噪声 变成了 yA⋅x确定性变换。能否恢复从“不能”变成了“能完美恢复”。容量从“有限值”变成了“无限大”。为什么是无限大中间橙色部分用三个角度解释了无限大的来源信息论定义无噪声即无上限、通俗类比完美翻译官不丢信息、几何直观刚体运动一一对应。底部总结用一句话点明本质这是一个确定性的、不丢信息的变换其容量只受限于发送方理论上无穷大。