《博主简介》

小伙伴们好，我是阿旭。
专注于计算机视觉领域，包括目标检测、图像分类、图像分割和目标跟踪等项目开发，提供模型对比实验、答疑辅导等。

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称	项目名称
1.【人脸识别与管理系统开发】	2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】	4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】	6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】	8.【基于深度学习的行人跌倒检测系统】
9.【基于深度学习的PCB板缺陷检测系统】	10.【基于深度学习的生活垃圾分类目标检测系统】
11.【基于深度学习的安全帽目标检测系统】	12.【基于深度学习的120种犬类检测与识别系统】
13.【基于深度学习的路面坑洞检测系统】	14.【基于深度学习的火焰烟雾检测系统】
15.【基于深度学习的钢材表面缺陷检测系统】	16.【基于深度学习的舰船目标分类检测系统】
17.【基于深度学习的西红柿成熟度检测系统】	18.【基于深度学习的血细胞检测与计数系统】
19.【基于深度学习的吸烟/抽烟行为检测系统】	20.【基于深度学习的水稻害虫检测与识别系统】
21.【基于深度学习的高精度车辆行人检测与计数系统】	22.【基于深度学习的路面标志线检测与识别系统】
23.【基于深度学习的智能小麦害虫检测识别系统】	24.【基于深度学习的智能玉米害虫检测识别系统】
25.【基于深度学习的200种鸟类智能检测与识别系统】	26.【基于深度学习的45种交通标志智能检测与识别系统】
27.【基于深度学习的人脸面部表情识别系统】	28.【基于深度学习的苹果叶片病害智能诊断系统】
29.【基于深度学习的智能肺炎诊断系统】	30.【基于深度学习的葡萄簇目标检测系统】
31.【基于深度学习的100种中草药智能识别系统】	32.【基于深度学习的102种花卉智能识别系统】
33.【基于深度学习的100种蝴蝶智能识别系统】	34.【基于深度学习的水稻叶片病害智能诊断系统】
35.【基于与ByteTrack的车辆行人多目标检测与追踪系统】	36.【基于深度学习的智能草莓病害检测与分割系统】
37.【基于深度学习的复杂场景下船舶目标检测系统】	38.【基于深度学习的农作物幼苗与杂草检测系统】
39.【基于深度学习的智能道路裂缝检测与分析系统】	40.【基于深度学习的葡萄病害智能诊断与防治系统】
41.【基于深度学习的遥感地理空间物体检测系统】	42.【基于深度学习的无人机视角地面物体检测系统】
43.【基于深度学习的木薯病害智能诊断与防治系统】	44.【基于深度学习的野外火焰烟雾检测系统】
45.【基于深度学习的脑肿瘤智能检测系统】	46.【基于深度学习的玉米叶片病害智能诊断与防治系统】
47.【基于深度学习的橙子病害智能诊断与防治系统】	48.【基于深度学习的车辆检测追踪与流量计数系统】
49.【基于深度学习的行人检测追踪与双向流量计数系统】	50.【基于深度学习的反光衣检测与预警系统】
51.【基于深度学习的危险区域人员闯入检测与报警系统】	52.【基于深度学习的高密度人脸智能检测与统计系统】
53.【基于深度学习的CT扫描图像肾结石智能检测系统】	54.【基于深度学习的水果智能检测系统】
55.【基于深度学习的水果质量好坏智能检测系统】	56.【基于深度学习的蔬菜目标检测与识别系统】
57.【基于深度学习的非机动车驾驶员头盔检测系统】	58.【太基于深度学习的阳能电池板检测与分析系统】
59.【基于深度学习的工业螺栓螺母检测】	60.【基于深度学习的金属焊缝缺陷检测系统】
61.【基于深度学习的链条缺陷检测与识别系统】	62.【基于深度学习的交通信号灯检测识别】
63.【基于深度学习的草莓成熟度检测与识别系统】	64.【基于深度学习的水下海生物检测识别系统】
65.【基于深度学习的道路交通事故检测识别系统】	66.【基于深度学习的安检X光危险品检测与识别系统】
67.【基于深度学习的农作物类别检测与识别系统】	68.【基于深度学习的危险驾驶行为检测识别系统】
69.【基于深度学习的维修工具检测识别系统】	70.【基于深度学习的维修工具检测识别系统】
71.【基于深度学习的建筑墙面损伤检测系统】	72.【基于深度学习的煤矿传送带异物检测系统】
73.【基于深度学习的老鼠智能检测系统】	74.【基于深度学习的水面垃圾智能检测识别系统】
75.【基于深度学习的遥感视角船只智能检测系统】	76.【基于深度学习的胃肠道息肉智能检测分割与诊断系统】
77.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】	78.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】
79.【基于深度学习的果园苹果检测与计数系统】	80.【基于深度学习的半导体芯片缺陷检测系统】
81.【基于深度学习的糖尿病视网膜病变检测与诊断系统】	82.【基于深度学习的运动鞋品牌检测与识别系统】
83.【基于深度学习的苹果叶片病害检测识别系统】	84.【基于深度学习的医学X光骨折检测与语音提示系统】
85.【基于深度学习的遥感视角农田检测与分割系统】	86.【基于深度学习的运动品牌LOGO检测与识别系统】
87.【基于深度学习的电瓶车进电梯检测与语音提示系统】	88.【基于深度学习的遥感视角地面房屋建筑检测分割与分析系统】
89.【基于深度学习的医学CT图像肺结节智能检测与语音提示系统】	90.【基于深度学习的舌苔舌象检测识别与诊断系统】
91.【基于深度学习的蛀牙智能检测与语音提示系统】	92.【基于深度学习的皮肤癌智能检测与语音提示系统】
93.【基于深度学习的工业压力表智能检测与读数系统】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

引言

DINOv3是一种自监督视觉模型，能够有效扩展到大型数据集和架构，通过引入Gram锚定防止长时间训练期间密集特征图的退化，并应用事后策略实现跨分辨率、模型规模和文本对齐的灵活性。该模型在无需微调的情况下，在广泛的视觉任务中实现了卓越性能，并提供了一套适用于不同资源和部署场景的可扩展模型。

论文地址：https://arxiv.org/pdf/2508.10104

无监督的大规模训练

数据准备

DINOv3在从约170亿张Instagram图像构建的大规模数据集上进行训练，这些数据经过内容审核过滤。为了最大化泛化能力和任务相关性，数据通过三种方式筛选：

1. ​分层k-means聚类​：采用平衡采样确保视觉多样性（产生17亿张图像）
2. ​基于检索的选择​：强调与下游任务相关的概念
3. ​包含标准数据集​：如ImageNet和Mapillary

训练期间，批次采样10%来自ImageNet1k（同质源），90%来自其他所有数据源。消融研究表明，单独使用聚类、检索或原始数据效果不稳定，但组合所有方法能在各项基准测试中获得最佳性能。

自监督的大规模训练

大多数自监督学习方法难以扩展到超大模型，但DINOv3成功扩展到70亿参数，结合了三种自监督目标：

• 图像级损失（LDINO）
• 块级重建损失（LiBOT）
• 均匀性正则化器（LKoleo）

关键改进包括：

• Sinkhorn-Knopp归一化
• 全局和局部裁剪专用头
• 采用自定义RoPE（带框抖动）处理多变分辨率
• 简化优化：恒定学习率/权重衰减，持续训练直至下游性能提升

训练配置：

• 优化器：AdamW
• 批量大小：4096（跨256个GPU）
• 多裁剪策略：2个全局+8个局部裁剪/图像

Gram锚定：密集特征的正则化方法

训练中块级一致性的退化

DINOv3的长时间训练会提升全局指标（如图像分类），但导致密集预测任务（如分割）性能下降。分析表明：

• 块级特征逐渐失去局部性
• 相似性图变得嘈杂
• 块输出与CLS令牌过度对齐
• 块范数保持稳定但局部性退化

Gram锚定目标

解决方案：

1. 通过Gram矩阵对齐学生模型与早期"Gram教师"模型的块相似性
2. 在100万次迭代后应用该损失
3. 定期更新Gram教师模型

效果：

• 快速恢复退化的局部特征
• 稳定iBOT目标
• ADE20k分割任务显著提升（+2 mIoU）
• 对全局基准影响极小，部分任务（如ObjectNet）还有提升

利用高分辨率特征

关键技术：

• 对Gram教师使用双分辨率输入
• 特征图下采样匹配学生输出
• 构建新损失LHRef
• 早期Gram教师模型效果最佳

结果：

• ADE20k密集任务显著提升
• 块特征相关性可视化验证改进

训练后处理

分辨率扩展

适应方法：

• 基础训练分辨率：256
• 高分辨率精修：混合全局（512,768）+局部（112-336）裁剪
• 10k次迭代
• 使用7B教师模型进行Gram锚定

优势：

• 分类任务小幅提升
• ObjectNet迁移平衡高低分辨率
• 分割/跟踪等密集任务明显改进
• 最高支持4K分辨率

模型蒸馏

蒸馏策略：

• 目标：保留教师模型表征能力
• 学生模型：ViT-S/B/L及定制S+/H+
• 共享教师推理加速训练
• 并行训练多学生模型

结果：

• 以少量计算成本获得强大性能
• 完整模型家族单次训练完成

文本对齐

创新点：

• 冻结视觉骨干
• 添加两层Transformer
• 联合使用CLS和平均池化块嵌入
• 保持与数据筛选协议一致

优势：

• 提升密集任务表现
• 训练高效
• 支持细粒度多模态理解

性能表现

关键成果：

• 无需微调即可获得：
  • 卓越密集特征
  • 鲁棒全局表征
• 先进系统基础：
  • 目标检测
  • 语义分割
  • 3D视角估计
  • 单目深度估计

地理空间数据应用

DINOv 3 7 B 卫星模型使用与网络模型相同的训练配方在 493 M 高分辨率卫星图像上进行预训练，然后提炼成更小的变体以提高效率。评估表明，卫星模型在冠层高度估计方面实现了新的 SOTA 结果，降低了 SatLidar 1 M 和 Open-Canopy 基准的 MAE，并在语义和检测任务上表现出色。经过提炼的 ViT-L 卫星模型在某些情况下与 7 B 模型相匹配甚至超过 7 B 模型，突出了效率的提高。比较表明，特定领域的预训练有利于深度估计等度量任务，而一般的 Web 训练的 DINOv 3 在语义分割和对象检测方面取得了上级结果。卫星和 Web 模型共同展示了互补的优势，表明 DINOv 3 的自我监督范式可以有效地推广到特定领域和与领域无关的地理空间任务。

---

好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！