给模型一张图，再问“左边的人拿着什么”，需要把视觉信息和问题联系起来。图文检索关心图片与文字是否匹配，视觉问答还需要根据图中的内容组织回答。声音、视频与文字之间，也有这样的对应与互补关系。
多模态模型需要处理不同形式的信息：图像中的空间位置、语音中的声音与语义、视频中随时间变化的事件。怎样表示这些信息、怎样建立对应关系，以及怎样让它们共同参与任务，构成了这个方向的主要问题。
研究主题- 跨模态表示：图像、文字、声音与视频之间的对应。
- 理解与问答：检索、视觉对话、文档和视频理解。
- 模型设计：信息融合、训练数据与计算开销。
图像与文字怎样建立联系- 01图像与文字
- 02分别编码
- 03图文对齐
- 04视觉 token 接入
- 05生成回答
发展路线与代表工作
- 2021
图文对比学习
CLIP 学习图文配对关系，把两种输入映射到可以比较相似度的表示空间。输出匹配分数即可做检索或候选类别判断。
- 2023
视觉与语言模型的连接
BLIP-2 冻结图像编码器与语言模型，训练 Q-Former 提取视觉信息，并与语言生成衔接。
- 2023
视觉指令微调
LLaVA 将图像特征映射到语言模型，并利用视觉指令数据训练问答能力。
关键概念
- 模态 / modality
- 信息的形式，例如文字、图像、声音。模态不同，数据的结构与信息密度也不同。
- 编码器 / encoder
- 将原始输入转换为特征表示的模型，例如将图像转换为一组视觉特征。
- 对比学习 / contrastive learning
- 提高匹配样本的表示相似度，相对压低不匹配样本的相似度；CLIP 用它学习图文对应关系。
- 连接模块与指令微调
- 连接模块把视觉特征变成语言模型能接收的输入；指令微调用问题与回答等示例训练模型怎样响应。两者分别涉及结构和训练数据。
图文匹配与视觉语言模型
CLIP 分别编码图像和文字，在表示空间中计算匹配程度，用于图文检索与类别判断。视觉语言模型还需要将图像信息接到语言模型上，根据问题生成回答；LLaVA 用视觉指令数据训练这种问答能力。
图像编码器、表示转换与语言模型之间有不同的连接方式。BLIP-2 用 Q-Former 从视觉特征中提取信息，并与语言模型衔接。Hugging Face 的 VLM 文章介绍这些模型的组成与训练方式；Encoder-Free 分析进一步讨论视觉编码、计算负载与并行调度的关系。
视觉细节与时间信息
识别一张图的主题，与回答数量、位置、图表或文档中的细节，需要的信息粒度不同。图像分辨率、视觉 token 的组织和训练数据，都会影响模型保留了哪些信息。语言中常见的关联也可能影响回答，使答案偏离实际画面。
视频理解还需要处理事件顺序、运动和较长的时间跨度；音视频任务同时涉及画面、声音与文字的对齐。这些任务与计算机视觉中的空间和时间表示、语言模型中的上下文建模相连。相关实验问题见科研问答。
课程与论文资料
多模态大模型论文索引按主题整理模型与相关工作，更多课程、论文和项目见多模态资料目录。模型训练的共同基础见学习基础知识。
多模态信息也可以作为生成与行动的条件：文字描述引导图像生成，视觉观察和语言指令共同决定机器人动作。相关内容见生成模型与具身智能。
代表论文