微分熵 把信息熵从“猜哪个格子”变成“猜哪一微米”。这是最直观的理解没有之一。信息熵 vs 微分熵信息熵离散问你住在哪个城市 → 北京/上海/广州... → 有限个答案猜对需要问几个“是不是” →有限比特微分熵连续问你住在哪一微米 → 北京城东3.1415926公里处...可能的答案有无限多个 →需要无限比特才能完全精准所以微分熵可以是负数也可以是无穷大不是“不确定性”有多大而是“不确定性的密度”有多大。一个比喻洒水 vs 泼豆子离散随机变量 往地板上泼一盆豆子豆子落在哪块瓷砖上 → 有限种可能信息熵 平均需要问几个“是这块吗”连续随机变量 往地板上洒一杯水水会铺满整个地板每一点都有不能问“是这一微米吗” → 永远猜不中精确位置只能问“大概在哪个区域”微分熵 这滩水铺得有多开三个例子让你秒懂 均匀分布0~1水洒在1米长的地板上均匀铺开微分熵 0为什么是0因为这是“参照点” 均匀分布0~2水洒在2米长的地板上铺得更开微分熵 1 比特比0~1多1比特 → 范围大一倍不确定性的“密度”降低 均匀分布0~0.5水洒在半米长的地板上铺得更集中微分熵 -1 比特负数连续变量的熵可以是负数为什么可以是负数离散熵 ≥ 0因为最少就1种可能熵0连续熵没有下限把水集中在1毫米内 → 微分熵 -3.32 比特集中在1纳米内 → 微分熵 -29.9 比特集中在无限小 → 微分熵 -∞不是“负的不确定性”而是“比1米均匀分布更集中”。信息熵 vs 微分熵一张表对比项信息熵离散微分熵连续取值范围0 到 log(N)-∞ 到 ∞单位比特比特物理意义猜中需要几个问题分布的集中程度负数可能❌ 不可能✅ 可以坐标变换不变❌ 会变互信息定义良好定义良好相对熵定义良好定义良好最重要的性质微分熵不是“熵”香农自己都说这不是熵只是长得像。信息熵绝对的不确定性度量微分熵相对的集中程度度量它只是个参照值微分熵 你的分布 vs 1米均匀分布的“集中差”但有两个东西是“真”的1. 互信息 I(X;Y)不管离散连续互信息都是真的信息量单位真正的比特2. 相对熵 D_KL(P||Q)不管离散连续相对熵都是真的距离单位真正的比特这两个在连续下依然有效因为分子分母一起变抵消了坐标变换的影响。机器学习里天天用VAE变分自编码器假设隐变量服从正态分布算它的微分熵加到损失函数里强化学习策略是连续动作的概率密度加熵正则项鼓励探索这个“熵”就是微分熵高斯分布N(μ, σ²) 的微分熵 ½ ln(2πeσ²)方差越大 → 熵越大方差越小 → 熵越小负无穷一句话暴击信息熵是你需要问几个“是不是”才能猜对微分熵是你需要多精密的尺子才能量准——它不是“多少比特”而是“比1米均匀分布集中了多少比特”。离散熵 ≥ 0因为答案有限微分熵可以是负的因为你可以比“1米内均匀”更集中。连续世界的熵不是“不确定”有多大而是“密度”有多高。┌─────────────────────────────────────────────────────────────────────┐ │ 微 分 熵 一 图 通 │ │ 连续世界的熵 不是多少比特而是多集中 │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 核 心 比 喻 泼 豆 子 vs 洒 水 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ 离 散 熵信息熵 泼 一 盆 豆 子 │ │ ┌─────────────────────────────────────┐ │ │ │ 豆子落在哪块瓷砖 │ │ │ │ 瓷砖数量有限 → 有限种可能 │ │ │ │ 问“是这块吗” → 平均需要几个问题 │ │ │ │ 熵 ≥ 0 比特 │ │ │ └─────────────────────────────────────┘ │ │ │ │ 连 续 熵微分熵 洒 一 杯 水 │ │ ┌─────────────────────────────────────┐ │ │ │ 水铺满整个地板每一点都有 │ │ │ │ 不能问“是这一微米吗” → 永远猜不中 │ │ │ │ 只能问“这滩水铺得有多开” │ │ │ │ 熵 可 以 是 负 数 │ │ │ └─────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 三 个 例 子 · 秒 懂 微 分 熵 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ┌───────────────────────────────────────────────────────────┐ │ │ │ │ │ │ │ 0~1 均 匀 分 布 │ │ │ │ ┌────────────────────────────────────┐ │ │ │ │ │ ██████████████████████████████ │ │ │ │ │ │ 0 1 │ │ │ │ │ └────────────────────────────────────┘ │ │ │ │ 微 分 熵 0 比 特 参 照 点 │ │ │ │ │ │ │ ├───────────────────────────────────────────────────────────┤ │ │ │ │ │ │ │ 0~2 均 匀 分 布 更 分 散 │ │ │ │ ┌────────────────────────────────────────────────────┐ │ │ │ │ │ ████████████████████████████████████████████████│ │ │ │ │ │ 0 2 │ │ │ │ │ └────────────────────────────────────────────────────┘ │ │ │ │ 微 分 熵 1 比 特 比 0~1 多 1 比 特 │ │ │ │ │ │ │ ├───────────────────────────────────────────────────────────┤ │ │ │ │ │ │ │ 0~0.5 均 匀 分 布 更 集 中 │ │ │ │ ┌─────────────────────────┐ │ │ │ │ │ ██████████████████████ │ │ │ │ │ │ 0 0.5 │ │ │ │ │ └─────────────────────────┘ │ │ │ │ 微 分 熵 -1 比 特 负 数 │ │ │ │ │ │ │ └───────────────────────────────────────────────────────────┘ │ │ │ │ 微 分 熵 是 “比 1 米 均 匀 集 中 了 多 少 比 特” │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 离 散 熵 vs 连 续 熵 · 一 张 表 看 懂 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ┌───────────────┬───────────────────┬───────────────────────┐ │ │ │ 对比项 │ 信息熵 H(X) │ 微分熵 h(X) │ │ │ │ │ 离散 │ 连续 │ │ │ ├───────────────┼───────────────────┼───────────────────────┤ │ │ │ 取值范围 │ 0 log(N) │ -∞ ∞ │ │ │ ├───────────────┼───────────────────┼───────────────────────┤ │ │ │ 负数可能 │ ❌ 不可能 │ ✅ 可以很集中 │ │ │ ├───────────────┼───────────────────┼───────────────────────┤ │ │ │ 无穷大可能 │ ✅ N→∞时 │ ✅ 范围无限大时 │ │ │ ├───────────────┼───────────────────┼───────────────────────┤ │ │ │ 物理意义 │ 猜中需要几个问题 │ 分布有多集中 │ │ │ ├───────────────┼───────────────────┼───────────────────────┤ │ │ │ 坐标变换 │ ❌ 不变 │ ✅ 会变 │ │ │ ├───────────────┼───────────────────┼───────────────────────┤ │ │ │ 单位 │ 比特 │ 比特 │ │ │ ├───────────────┼───────────────────┼───────────────────────┤ │ │ │ 是不是真熵 │ ✅ 是 │ ❌ 不是只是像 │ │ │ └───────────────┴───────────────────┴───────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 微 分 熵 为 什 么 可 以 是 负 数 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ 根 本 原 因 连 续 变 量 的 “ 概 率 ” 是 密 度 │ │ │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ │ │ │ │ 离散P(x) ≤ 1 → -log P(x) ≥ 0 → 熵 ≥ 0 │ │ │ │ │ │ │ │ 连续f(x) 是密度可以 1 │ │ │ │ 例U(0,0.5) → f(x)2 → -log 2 -1 → 熵 -1 │ │ │ │ │ │ │ │ 密度 1 → 负熵密度 1 → 正熵密度1 → 熵0 │ │ │ │ │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ │ │ 直 觉 │ │ 0~1 均匀每米1个概率 → 参照点 │ │ 0~0.5均匀每米2个概率 → 比参照“浓”一倍 → 负1比特 │ │ 0~2 均匀每米0.5个概率 → 比参照“稀”一倍 → 正1比特 │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 两 个 “ 真 ” 东 西 连 续 下 也 有 效 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ✅ 互 信 息 I(X;Y) —— 真 正 的 信 息 量 │ │ ┌─────────────────────────────────────────────┐ │ │ │ I(X;Y) h(X) - h(X|Y) h(Y) - h(Y|X) │ │ │ │ 坐标变换会抵消 → 真正的比特数 │ │ │ │ “知道Y能省多少猜X的力气” │ │ │ └─────────────────────────────────────────────┘ │ │ │ │ ✅ 相 对 熵 D_KL(P||Q) —— 真 正 的 距 离 │ │ ┌─────────────────────────────────────────────┐ │ │ │ D_KL ∫ f(x) log [f(x)/g(x)] dx │ │ │ │ 分子分母都是密度比值抵消变换 │ │ │ │ “你以为的分布离真相有多远” │ │ │ └─────────────────────────────────────────────┘ │ │ │ │ 记 住 │ │ 微分熵 h(X) 是“假”的会随单位变 │ │ 但互信息和相对熵是“真”的单位不变 │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 常 见 分 布 的 微 分 熵 背 这 几 个 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ 均 匀 分 布 U(a,b) │ │ ┌─────────────────────────────────────┐ │ │ │ h ln(b-a) nat │ │ │ │ h log₂(b-a) bit │ │ │ │ 范围越大熵越大 │ │ │ └─────────────────────────────────────┘ │ │ │ │ 高 斯 分 布 N(μ,σ²) │ │ ┌─────────────────────────────────────┐ │ │ │ h ½ ln(2πeσ²) nat │ │ │ │ h ½ log₂(2πeσ²)bit │ │ │ │ 方差越大熵越大 │ │ │ │ 和均值μ无关 │ │ │ └─────────────────────────────────────┘ │ │ │ │ 指 数 分 布 Exp(λ) │ │ ┌─────────────────────────────────────┐ │ │ │ h 1 - ln λ nat │ │ │ │ λ越大衰减越快熵越小 │ │ │ └─────────────────────────────────────┘ │ │ │ │ 拉 普 拉 斯 分 布 Lap(μ,b) │ │ ┌─────────────────────────────────────┐ │ │ │ h 1 ln(2b) nat │ │ │ └─────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 极 端 情 况 —— 看 边 界 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ 微 分 熵 → -∞ │ │ ┌─────────────────────────────────────┐ │ │ │ 分布无限集中 → 方差→0 │ │ │ │ 例N(0, 0.0000001) │ │ │ │ 高斯熵 ½ log₂(2πeσ²) → -∞ │ │ │ │ “基本确定在一个点附近” │ │ │ └─────────────────────────────────────┘ │ │ │ │ 微 分 熵 0 │ │ ┌─────────────────────────────────────┐ │ │ │ U(0,1) 均匀分布 │ │ │ │ log₂(1)0 │ │ │ │ “恰好是参照系” │ │ │ └─────────────────────────────────────┘ │ │ │ │ 微 分 熵 → ∞ │ │ ┌─────────────────────────────────────┐ │ │ │ 分布无限分散 → 方差→∞ │ │ │ │ 或范围→∞ │ │ │ │ 例U(0,∞) 不可能但近似可 │ │ │ │ “完全不知道在哪” │ │ │ └─────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 机 器 学 习 里 的 角 色 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ VAE变 分 自 编 码 器 │ │ ┌─────────────────────────────────────────────┐ │ │ │ 假设隐变量 z ~ N(0,1) 或 N(μ,σ²) │ │ │ │ 计算 h(z) ½ log₂(2πeσ²) │ │ │ │ 加到ELBO里鼓励隐变量有熵不 collapse │ │ │ └─────────────────────────────────────────────┘ │ │ │ │ 强 化 学 习 连 续 动 作 │ │ ┌─────────────────────────────────────────────┐ │ │ │ 策略 π(a|s) 是连续动作的概率密度 │ │ │ │ 加熵正则项 H[π(·|s)] → 鼓励探索 │ │ │ │ SAC算法就是最大化“回报微分熵” │ │ │ └─────────────────────────────────────────────┘ │ │ │ │ 最 大 熵 原 理 │ │ ┌─────────────────────────────────────────────┐ │ │ │ 给定约束选微分熵最大的分布 │ │ │ │ 固定方差 → 高斯熵最大 │ │ │ │ 固定范围 → 均匀熵最大 │ │ │ └─────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 一 句 话 暴 击 记 这 句 就 够 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ │ │ │ │ 离散熵是你需要问几个“是不是”才能猜对 │ │ 微分熵是你需要多精密的尺子才能量准—— │ │ 它不是“多少比特信息”而是“比1米均匀集中了多少比特”。 │ │ │ │ 可以负你把水集中在1毫米内 → -3.32比特 │ │ 可以正你把水洒在2米范围内 → 1比特 │ │ 可以零1米内均匀洒 → 0比特参照点 │ │ │ │ 但它不是真熵换个单位米→厘米数值就变 │ │ 真的东西是互信息和相对熵——它们不怕你换尺子。 │ │ │ │ │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 附公 式 长 这 样但 你 已 经 懂 了 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ h(X) - ∫ f(x) · log f(x) dx │ │ │ │ 翻 译 成 人 话 │ │ │ │ ① 把整个数轴切成无数个微元 dx │ │ ② 每个微元有“概率密度”f(x)不是概率本身 │ │ ③ 每个微元的“惊讶度” -log f(x) │ │ ④ 乘上密度积分相当于离散里的加权平均 │ │ │ │ 和离散熵就差一个符号 │ │ 离散Σ p · log p p ≤ 1 → 负号保证正 │ │ 连续∫ f · log f f 可1 → 结果可负 │ │ │ │ 最大熵分布 │ │ 已知范围 → 均匀分布 │ │ 已知均值方差 → 高斯分布 │ │ 已知均值正数→ 指数分布 │ │ │ └─────────────────────────────────────────────────────────────────────┘