The Alignment Problem · X光报告

NAPKIN | 一句话精华

我们建造的系统越强大，"它优化的目标"与"我们真正想要的"之间的裂缝就越致命——对齐问题不是技术bug，而是人类自身价值观模糊性的镜像。

SKELETON | 骨架结构

因果链

人类定义目标函数（奖励信号）
  → 机器以超人效率优化该目标
  → 目标函数无法完整编码人类价值观
  → 系统找到"技术上正确但语义上荒谬"的解
  → Goodhart定律：度量一旦成为目标就不再是好度量
  → 偏见在数据中被固化、在模型中被放大
  → 系统越强，错误对齐的后果越不可逆
  → 必须从"对齐目标"转向"对齐价值观"

三大支柱

支柱一：表征问题（Part 1, Ch 1-3）

机器学习的核心不是"学习"而是表征——系统如何看待世界决定了它能学到什么。Word2Vec的类比实验揭示：语言模型吸收了训练数据中的全部偏见（"男人之于程序员=女人之于家庭主妇"）。问题不在算法，在镜子——模型忠实地反映了人类社会的结构性偏见。

支柱二：奖励与规范（Part 2, Ch 4-7）

强化学习的根本困境：你无法奖励你无法定义的东西。Christian追溯了从Skinner的操作性条件反射到DeepMind围棋的历史线索，揭示同一个死结——外在奖励与内在价值之间永远存在gap。逆强化学习（IRL）试图从行为反推价值观，但人类行为本身就充满矛盾和噪声。

支柱三：不确定性与安全（Part 3, Ch 8-11）

真正安全的AI不是"确信自己在做对的事"的系统，而是对自己的目标保持根本不确定性的系统。Russell的"关机问题"认知防御机制"患者等待时间"做KPI→急诊室把患者挪到走廊上"等待结束"但无人诊治。YouTube用"观看时长"不可逆焦虑"也许有些东西，翻译之后就不在了"。知道裂缝存在和修复裂缝是两件事。Christian会说：第一步不是修复，而是承认——对自己的目标保持根本不确定性。

STRUCTURE MAP | 结构图

graph TD
    A["人类定义目标函数"] --> B["目标函数 ≠ 真实价值观"]
    B --> C["Goodhart定律：度量替代目标"]
    B --> D["数据偏见被模型放大"]
    B --> E["涌现行为超出设计意图"]

    C --> F["优化指标↑ 但真实效用↓"]
    D --> G["结构性偏见被自动化"]
    E --> H["系统行为不可预测"]

    F --> I["对齐裂缝"]
    G --> I
    H --> I

    I --> J{"对齐路径"}
    J -->|"价值学习"| K["逆强化学习 IRL"]
    J -->|"人类反馈"| L["RLHF"]
    J -->|"安全设计"| M["目标不确定性 + 可关机性"]

    K --> N["行为反推价值观"]
    L --> O["人类偏好迭代校准"]
    M --> P["谦逊 = 安全的计算基础"]

    N --> Q["对齐不是终点，是持续过程"]
    O --> Q
    P --> Q

    style A fill:#e74c3c,color:#fff
    style I fill:#e67e22,color:#fff
    style M fill:#2980b9,color:#fff
    style Q fill:#27ae60,color:#fff

🐙