照片里是什么、东西在哪里、哪些像素属于同一个物体，以及怎样从图像认识三维场景，都是视觉研究中的问题。分类、检测、分割和三维视觉需要的输出不同，也形成了不同的数据集、模型和评价方法。
这些任务都涉及怎样从像素中学习有用的表示。卷积网络利用局部结构提取特征，视觉 Transformer 将图像切成小块，用 Attention 组织它们之间的信息。学到的表示可以用于识别和检索，也会成为图文模型与机器人感知的一部分。
研究主题- 表示学习：从图像和视频中学习可迁移的特征。
- 识别与测量：类别、位置、轮廓和属性的预测。
- 空间与时间：深度、三维结构、运动与事件的建模。
图像怎样经过视觉网络- 01输入图像
- 02提取特征
- 03目标检测
- 04像素分割
- 05估计深度
发展路线与代表工作
- 2012
从手工特征到学习特征
AlexNet 将多层卷积、GPU 训练和大规模图像数据结合，在图像分类中取得显著进展。
- 2016
网络加深，为什么反而难学
ResNet 用残差连接改善深层网络的优化，训练得到的视觉特征也用于其他任务。
- 2016
图像中的识别与定位
YOLO 直接从整张图预测边界框与类别，将检测组织为统一的预测问题。
- 2021
把图像看成一串小块
ViT 将图像块送入 Transformer，并研究大规模预训练怎样影响效果。卷积与注意力由此成为可以按任务、数据和成本选择的设计。
关键概念
- 卷积 / CNN
- 让一个小滤镜在图像上移动，同一组参数检查不同位置。多层组合后，可以从局部纹理形成更复杂的特征。
- 特征 / representation
- 模型中间层产生的一组数字，用来保留对任务有用的信息。它可以交给分类器，也可以供检测、检索等任务使用。
- Patch 与 attention
- Patch 是切下来的图像块；Attention 根据输入内容计算块之间的关系，组织信息的交换。
- IoU 与 mAP
- IoU 衡量预测框与真实框的重叠程度；mAP 汇总各类别的检测表现，其数值与采用的重叠阈值和评价协议有关。
视觉表示与网络结构
从手工设计特征到通过数据学习特征，视觉模型逐渐把图像表示与任务目标一起训练。网络加深后，优化本身也会变得困难。ResNet 引入残差连接，让一组层学习相对输入的改变量，改善深层网络的训练。
网络的结构还决定特征能利用多大范围的信息。卷积中的感受野随层数与运算变化，Distill 的可视化文章具体讨论了这种关系。ViT 用图像块与 Attention 建模，也把视觉研究与序列模型联系起来。
数据、任务与泛化
识别物体的特征可能来自形状、纹理，也可能来自经常一起出现的背景。换到新的拍摄环境、光照或数据来源时，这些关联会变化。数据标注、预训练与表示学习因此和网络结构一样，是视觉研究的重要部分。
静态图片之外，视频还包含动作与时间关系，多视角图像则提供深度、几何与三维结构信息。视觉表示与文字结合形成多模态模型，用于生成模型时参与图像生成与编辑，在具身智能中还要为行动提供环境信息。
课程、项目与资料
CS231n 介绍视觉任务、卷积网络、模型训练与深度学习方法。MNIST 与 YOLO分别是手写数字分类和目标检测项目，数据、代码与教程已有完整介绍。
更多课程和项目见视觉资料目录；SVL、RAIL 等团队的项目涉及视觉、场景理解与机器人学习。模型的运行速度、显存和部署问题见效率与系统。
代表论文