扩散原野｜交互式理解 DDPM

核心问题

为什么“预测 $\varepsilon$ ”能够帮助生成 $x_0$ ？因为给定 $x_t$ 与正确的 $\varepsilon$ ，就能代数地反推出 $x_0$ ，并进一步得到反向分布的均值。

$t$ 随机时间步 $t$ · 随机时间步shape: [B]
每个样本独立采样，常见取值 $1,\ldots,T$ 。
$\varepsilon$ 监督目标 $\varepsilon$ · 监督目标shape: [B,C,H,W]
构造 $x_t$ 时实际使用的标准高斯噪声。
$\varepsilon_\theta$ 模型输出 $\varepsilon_\theta$ · 模型输出shape: [B,C,H,W]
U-Net 对 $\varepsilon$ 的预测。
$L_{\mathrm{simple}}$ 简化损失 $L_{\mathrm{simple}}$ · 简化损失shape: 标量
噪声预测的均方误差期望。

One training step

一次 batch 里发生了什么？

01 / 08

取真实数据

随机采样时间步

采样高斯噪声

一步构造带噪样本

输入网络

得到噪声预测

计算损失

反向传播

STEP 1

取真实数据

从数据集读取一个 batch，shape 通常为 $[B,C,H,W]$ 。

从 ELBO 到简化损失

最大似然

优化数据在模型下的概率。

→

负对数似然

优化数据在模型下的概率。

→

ELBO

把不可直接计算的目标变成可优化上界。

→

逐时刻 KL 分解

把不可直接计算的目标变成可优化上界。

→

高斯 KL

把不可直接计算的目标变成可优化上界。

→

均值参数化

利用高斯结构整理为网络可学习的回归目标。

→

噪声预测 MSE

利用高斯结构整理为网络可学习的回归目标。

→

最终的常用训练目标

L_{\text{simple}}=\mathbb E_{t,x_0,\varepsilon}\!\left[\left\|\varepsilon-\varepsilon_\theta(x_t,t)\right\|_2^2\right]

$t$ 通常对每个样本均匀采样； $\varepsilon$ 来自标准高斯；网络输入是 $x_t$ 与 $t$ ，输出与 $x_t$ 同 shape 的噪声估计。MSE 来自 DDPM 中特定参数化与加权简化，不应泛化为“所有扩散模型只能用 MSE”。

换一种方式理解

为什么损失看起来只是在做普通回归？

给模型出一道随机难度的“找噪声”题

每次训练随机决定题目难度 $t$ ，再让模型指出哪些像素成分来自噪声。长期覆盖所有 $t$ 后，模型学会整条反向路径需要的局部修正。

随机难度 × 大量真实样本 × 已知答案 $\varepsilon$

严格边界：

L_{\mathrm{simple}}

与完整负 ELBO 有密切推导关系，但它不是逐项完全相等的原始变分下界；Ho 等人在实践中使用这个简化目标获得更好的样本质量。

停下来想 30 秒

batch size 为 64 时，常见实现中的 $t$ 最合理的 shape 是？

下一节：DDPM 采样

一次 batch 里发生了什么？

取真实数据

从 ELBO 到简化损失

最大似然

负对数似然

ELBO

逐时刻 KL 分解

高斯 KL

均值参数化

噪声预测 MSE

最终的常用训练目标

为什么损失看起来只是在做普通回归？

batch size 为 64 时，常见实现中的 ttt 最合理的 shape 是？

batch size 为 64 时，常见实现中的 $t$ 最合理的 shape 是？