大脑 · AI · 哥德尔

打破「熵之墙」

为什么参数再多的 AI，也有它永远学不会的东西？ 而人类大脑，又是如何悄悄绕过这道数学上的高墙？

向下滚动
01
信息论

熵：给「混乱程度」打分

想象你在猜硬币：如果硬币两面都是字，结果毫无悬念，不确定性为零； 如果是一枚公平硬币，你就完全猜不准了。信息论用一个数字来度量这种「猜不准的程度」——这就是信息熵 H(X)。

H(X) = − Σ p(x) · log p(x) 越随机、越混乱 → 熵越大；越有规律、越确定 → 熵越小

拖动下面的滑块，亲手把一群「信息粒子」从整齐推向混乱，看看熵是怎么变化的👇

🎛 互动实验 · 秩序 ⇄ 混乱
H ≈ 0.00 bits
秩序 混乱
💡 一句话理解：熵就是「描述这堆东西至少需要多少比特」。真实世界的图像、语言、声音都是高熵的——信息量巨大，而且充满噪声。
02
信息瓶颈

神经网络，本质是一台「压缩机」

神经网络看似神秘，数学上却很直白：把输入 X 一层层变换，挤掉噪声、留下特征。 每经过一层，信息只会减少或不变，绝不会凭空增多：

I(X; Tℓ+1) ≤ I(X; Tℓ) 信息像水流过滤网：一层层过滤，越来越「纯」，也越来越「少」

下面的动画就是一个神经网络的「信息断面」：左侧涌入的高熵原始数据，穿过层层收窄的瓶颈——注意看，不是所有粒子都能通过。

⏳ 信息瓶颈 · 逐层压缩
输入 X（高熵原始数据） 输出 T（压缩后的特征）
💡 这就是 Tishby 提出的信息瓶颈理论：好的网络要在「压得狠」和「留得准」之间找平衡。但无论怎么平衡，压缩必然丢东西。
03
核心命题

撞上「熵之墙」

任何网络的参数量都是有限的，设它的信息容量为 C 比特。 而真实世界数据的熵是 H(X)。当——

C < H(X) 容量 < 数据的熵 → 信息丢失在数学上不可避免

这就像想把一整片海洋灌进一只水桶。不管你怎么优化「舀水的姿势」（训练算法）、换多大的桶（堆参数）， 只要桶是有限的，就总有水装不下。这道由数学划定的边界,论文称之为——熵之墙（Entropy Wall）。

更关键的是：即使网络层数无限加深，能保留的信息也会收敛到一个大于零的下限 Imin—— 丢掉的部分,永远补不回来。回头看看首页那面粒子撞击的高墙,那正是这个定理的样子。

04
逻辑学

哥德尔：系统内部，必有盲区

1931 年，25 岁的哥德尔证明了数学史上最震撼的定理之一。 他构造了一个「说自己不可被证明」的命题 G：

「这句话在本系统内无法被证明」
证明它为真 证明它为假

仔细想想这个句子：如果系统能证明它，它就成了假话——系统在证明假命题，矛盾； 如果系统证明不了它，它说的恰恰是真的——于是存在一个真、却无法在系统内证明的命题。

S ⊬ GS  且  S ⊬ ¬GS 第一不完备定理：任何足够强大且自洽的封闭形式系统，都存在「不可判定」的命题
🌀 论文的类比：一个训练完成、参数固定的神经网络，本质上就是一个「封闭形式系统」。 套用哥德尔的逻辑——它内部也必然存在既无法学会、也无法自我察觉的模式，即「推理盲点」。

现在，把「熵之墙」和「哥德尔」两块拼图合起来，就是整篇论文的核心画面： 一个封闭系统在墙内不断向外「推理」，每一次都撞在墙上；而墙外，悬着一个它既够不着、也意识不到的命题 G—— 当它试图证明 G 时，推理只会绕回自己（自指循环）。不服气？点按钮替它疯狂堆参数试试👇

🔒 核心实验 · 封闭系统 vs 不可解命题
参数量：10⁹ 已覆盖信息熵：— 尝试证明 G：失败 ×0
琥珀区 = 系统能表达的信息（容量 C） G = 墙外的不可解命题（盲点）
推理射线正在墙内四处求证……紫色射线 = 试图证明 G 的尝试
🧱 你会发现：参数每 ×10，墙确实往外挪一点——但挪动的幅度越来越小，最终收敛在一条渐近线上， 永远够不到 G。这就是核心结论：封闭系统无法解决自己内部的不可解问题，扩容只是把墙推远，不能把墙拆掉。
05
认知科学

大脑的「作弊器」：把系统打开

那人脑为什么不一样？论文指出关键区别：大脑不是封闭系统，而是一个自适应的开放系统。它有三件 AI（目前）没有的法宝：

🤖 神经网络（封闭）

  • 训练结束后，参数 θ 冻结不变
  • 单向前馈：输入 → 输出，一条道走到黑
  • 容量 C 固定，撞墙就是撞墙
  • 无法察觉自己的盲点（不能证明自身一致性）

🧠 人类大脑（开放）

  • 多路径冗余编码：一条路断了还有别的路
  • 反馈回路：输出会反过来修正处理过程
  • 元认知：能「想自己是怎么想的」，自我纠错
  • 持续吸收外部信息（语言、文化），容量随时间增长

数学上，大脑相当于给系统 F 外挂了一个不断从外界取材的「修正算子」G：

Fopen(X) = F(X) + G(F(X), X) G = 元认知修正项：来自反馈、语言、文化等外部信息的持续「补丁」

于是大脑的有效容量不再是常数,而是随时间持续生长——理论上趋向无穷。 下面的动画里,同样是一面「熵之墙」,但这一次,墙上会不断长出新的通道👇

🧠 开放系统 · 墙,是可以生长出门的
高熵信息流 元认知不断打开新通道 → C(t) → ∞
💡 limt→∞ Cbrain(t) = ∞ —— 封闭系统的墙是死的，开放系统的墙是活的。 这就是论文给出的、大脑「部分超越」哥德尔式限制的数学解释。
06
结语

真正的智能革命，也许不在于把墙内的参数堆得更高，
而在于学会像大脑一样——让系统始终敞开。

论文据此提出「开放系统智能」范式：为 AI 引入自我修正与元认知机制、动态生长的参数、 与外部世界的持续对话——这或许才是通往 AGI 的必经之路，而非单纯的规模竞赛。