给定文字描述生成图像、补全被遮住的区域、按要求修改画面，都需要学习数据的分布，并把输入条件带入生成过程。研究涉及怎样训练模型、怎样从模型中采样，以及怎样控制生成的内容。
图像是生成建模中的一类数据。相似的方法也用于视频、音频、分子结构和动作序列；这些输出可能有多个合理答案，模型需要表示这种多样性，以及数据内部的空间、时间或结构关系。
研究主题- 生成与编辑：从条件产生样本，或修改已有内容。
- 分布与结构：多样性、条件控制，以及空间和时间关系。
- 训练与采样：目标设计、生成路径、计算效率与质量。
从噪声到图像- 01随机噪声
- 02去噪网络
- 03迭代生成
- 04条件引导
发展路线与代表工作
- 2014
让生成与辨别相互推动
GAN 用判别器的反馈训练生成器。它提供了一条通过对抗目标学习数据分布的路线。
- 2020
把生成拆成一串去噪步骤
DDPM 在不同噪声水平训练预测，再从随机噪声逐步采样。它是与 GAN 并行的重要生成路线。
- 2022
潜空间中的扩散
LDM 先压缩图像，在较小的潜表示中做扩散，最后解码回像素；文本等条件可在去噪时参与。
- 2023
去噪网络也可以用 Transformer
DiT 研究用 Transformer 处理潜空间中的小块，以及模型计算量与生成质量的关系。
关键概念
- 噪声 / noise
- 这里通常是按给定概率分布抽取的随机扰动。训练时知道加了什么噪声，便能构造有答案的学习任务。
- 去噪目标 / denoising
- 根据带噪输入和当前噪声程度预测噪声、干净样本或相关量。DDPM 的常用形式是预测所加噪声，再据此计算采样更新。
- 潜空间 / latent space
- 编码器把图片压成较小的数字表示，解码器将其还原。计算量会下降，但压缩丢失的细节也会影响最终图像。
- 采样器 / sampler
- 规定怎样利用模型预测，从初始随机状态得到样本。步数、更新公式和随机性共同影响速度与结果。
生成目标与模型结构
VAE 通过潜变量描述数据，并用变分推断进行训练；GAN 利用生成器与判别器的对抗学习数据分布。扩散模型学习不同噪声程度下的去噪预测，生成时从随机噪声出发逐步采样。Flow Matching 则学习连接噪声与数据的速度场，通过数值积分得到样本。
训练目标之外，计算发生在哪里、采用什么网络，也是不同的设计选择。LDM 将扩散过程放在压缩后的潜空间，最后解码回图像；DiT 使用 Transformer 处理潜空间中的图像块。条件信息可以进入这些网络，引导内容、布局或风格。
扩散与 Flow Matching
DDPM 的训练样本来自对数据逐步加噪，网络根据带噪样本和时间步预测噪声等目标量。Score-based 方法学习分布的对数密度梯度，将不同噪声水平下的分布与采样过程联系起来。Flow Matching 通过指定概率路径构造速度目标，学习样本沿这条路径怎样变化。
Diffusion Models介绍扩散模型的目标与推导；Score-based Generative Modeling从 score 与随机微分方程讨论生成。MIT Flow Matching and Diffusion（2025）覆盖 ODE/SDE、概率路径、Flow Matching 与 score matching，并有配套代码实验。概率、梯度和微分方程在这里分别参与分布建模、训练与采样，相关内容见数学基础。
条件控制与采样效率
文字、已有图像、深度或布局可以作为生成条件。模型既要保持样本质量，也要响应这些要求；局部编辑、细节保留和多个条件之间的配合，都有具体的研究问题。
采样器决定怎样用网络预测更新样本，步数、更新公式和随机性共同影响速度与结果。潜空间压缩减少计算，也会改变细节的表达。这些取舍将生成质量与计算效率联系起来。
Diffusion Policy把扩散模型用于动作序列，结合视觉观察预测机器人操作，相关内容见具身智能。生成方法还可用于环境预测和交互式模拟，与世界模型相连。
教程与技术文章
Hugging Face Diffusion Course提供扩散模型的讲解与代码；科学空间的扩散系列包含中文数学推导，LoopDiT讨论相关模型与比较实验。更多课程与项目见生成模型资料目录。
代表论文