计算机视觉

计算机视觉研究如何从图像、视频和三维数据中提取语义。这里记录视觉模型的基础结构、任务范式和与多模态模型的连接。

基础任务

• 图像分类：判断图像整体类别。
• 目标检测：定位并分类图像中的对象。
• 语义分割：为每个像素预测类别。
• 实例分割：区分同类中的不同实例。
• 姿态估计：预测关键点或骨架结构。
• 视频理解：建模时间维度上的变化。

模型结构

CNN

卷积网络利用局部连接和权重共享，适合处理图像的空间结构。常见结构包括 LeNet、AlexNet、VGG、ResNet、EfficientNet。

Vision Transformer

ViT 把图像切成 patch，并将 patch 当作 token 输入 Transformer。它削弱了卷积的局部归纳偏置，但在大数据和大模型规模下表现强。

多模态视觉

视觉与语言结合后，模型可以处理图文检索、视觉问答、图像描述、GUI Agent、视频理解等任务。CLIP、BLIP、LLaVA 是常见入口。

工程关注点

• 图像预处理和数据增强对效果影响很大。
• 高分辨率输入会显著增加显存和计算量。
• 检测/分割任务需要特别关注标注质量。
• 视频模型通常受 IO、帧采样和长序列建模限制。

待补充

• ResNet 残差连接原理。
• YOLO 系列检测框架。
• ViT 与 CNN 的归纳偏置差异。