本文全面汇总了当前主流的视觉大模型包括Griffon-G、Sa2VA、LLMDet、SAM2等涵盖图像分割、目标检测、视频理解、多模态检索等多个应用领域。这些模型通过创新的数据集构建、训练方法和架构设计有效解决了视觉语言和以视觉为中心的任务的融合问题。文章详细介绍了各模型的动机、贡献和技术方法为视觉大模型的研究和应用提供了宝贵的参考资源。导读提到大模型大家可能首先想到的是对话式人工智能却很少想到视觉领域。其实大模型在视觉领域中也有许多应用本文对此汇总了目前市面上常用的视觉大模型希望对大家有所帮助。1、Griffon-G: Bridging Vision-Language and Vision-Centric Tasks via Large Multimodal Modelshttps://github.com/jefferyZhan/GriffonMotivation目前的VLM不能兼备vision-center和vision-language的能力直接堆叠这两个任务的数据并不能很好的提升两个任务的性能Contribution推出名为 CCMD-8M 的多维精选和整合的多模态数据集提出了 Griffon-G一个统一的多模态模型能够解决视觉语言和以视觉为中心的任务。提出 Paradigm Progressive Learning Pipeline 解决了来自不同范式的各种任务联合优化过程中遇到的训练折叠问题精选数据集策略Task-Level Curation将多个single-object rec的数据合并成一个multi-object rec的数据Annotation-Level Curation过滤掉信息量低只有类别信息的数据Paradigm Progressive Learning PipelineStage1: 训练projector对齐视觉语言模态Stage2: 用区域感知预训练集来训练出了Vision tokenizer之外的部分使其具备一定的视觉感知能力Stage3: 用instruction-following训练其中只有visual referring object counting data才会训练Vision tokenizer2、Sa2VA: Marrying SAM2 with LLaVA for Dense Grounded Understanding of Images and Videoshttps://huggingface.co/spaces/fffiloni/Sa2VA-simple-demohttps://github.com/magic-research/Sa2VA8卡A800-80GMotivation希望将image chat, image referring segmentation, video chat, referring video object segmentation, grounded caption generation任务用一个模型来完成。Contribution我们开发了 Sa2VA将 SAM-2 和类似 LLaVA 的模型组合成一个模型的简单框架提出一个大的referring video object segmentation benchmark模型模型首先将输入文本、视觉提示、图像和视频编码为符元嵌入。 然后这些符元通过一个大型语言模型LLM进行处理。 输出文本符元用于生成[SEG]符元和相关的语言输出。 SAM-2解码器接收来自SAM-2编码器的图像和视频特征以及[SEG]符元以生成相应的图像和视频掩码。数据集标注Object/part-level annotation将mask区域裁剪输入到LLM里面生成part-level captionScene-level annotation“黄色轮廓用于突出显示图像中的对象上阶段的caption”输入到LLM中生成scene-level captionVideo-level annotation“黄色轮廓用于突出显示图像中的对象8帧上阶段的caption”输入到LLM生成video-level caption训练集3、LLMDet: Learning Strong Open-Vocabulary Object Detectors under the Supervision of Large Language Modelshttps://github.com/iSEE-Laboratory/LLMDet8* L20* 2 dayMotivation通过为每张图像生成图像级详细描述与大型语言模型进行协同训练的开放词汇检测器可以进一步提高性能。Contribution收集一个数据集 GroundingCap - 1M其中每张图像都配有相关的定位标签和图像级详细描述。以包括标准定位损失和描述生成损失在内的训练目标对开放词汇检测器进行微调得到LLMDet。改进后的 LLMDet 反过来可以构建更强大的大型多模态模型方法在每一步中橙色模块是可训练的而蓝色模块是冻结的。在第一步中我们训练一个投影器使检测器的特征与大型语言模型对齐以便我们可以将大型语言模型集成到检测器中而不破坏预训练的特征。然后在第二步中我们使用标准的定位任务和新引入的描述任务来训练检测器。LLMDet 包含一个标准的开放词汇检测器和一个大语言模型LLM并在定位损失和语言建模损失的共同作用下进行训练。LLM 旨在使用特征图作为视觉输入生成图像级别的描述同时使用单个目标查询作为视觉输入生成区域级别的描述这两种描述通过不同的提示进行区分。在区域级别生成中只有视觉标记会通过 LLM 中的交叉注意力CA模块这部分用虚线框突出显示。由于图像级别和区域级别生成中的标记数量差异很大我们分别对 LLM 进行两次前向传播以节省内存和计算资源。在推理阶段可以丢弃 LLM这样就不会产生额外的成本。LLMDet 的总体训练目标是定位损失和生成损失的组合4、Image Segmentation Using Text and Image PromptsMotivation基于CLIP能够利用图片和文本作为prompt来进行grounding方法它能够根据任意文本查询或示例图像进行分割。为了实现这个系统我们采用预训练的 CLIP 模型作为主干并在其顶部训练一个薄条件分割层解码器。 我们使用 CLIP 的联合文本-视觉嵌入空间来调节我们的模型这使我们能够处理文本形式和图像形式的提示。5、ReferDINO: Referring Video Object Segmentation with Visual Grounding FoundationsMotivation我们提出了ReferDINO这是一种端到端的RVOS方法它通过继承基础视觉定位模型强大的视觉-语言理解和空间定位能力有效地解决了上述问题。eferDINO的整体架构。 以蓝色着色的模块借自GroundingDINO而以红色着色的模块是这项工作中新引入的。 基于逐帧目标特征{ t}t1T我们的目标一致性时序增强器利用跨模态文本特征实现帧间目标交互。 然后我们的定位引导的可变形掩码解码器根据位置预测、跨模态文本特征和高分辨率特征图生成候选目标的掩码。 为了进一步提高视频处理效率我们在跨模态解码器中引入了一种置信度感知查询剪枝策略。 最佳彩色视图。For 表征6、VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Taskshttps://github.com/TIGER-AI-Lab/VLM2VecMotivation希望利用VLM进行embeding在多个任务上表现优异Contribution提出一种新的基准MMEB (大规模多模态嵌入基准)其中包含 36 个数据集涵盖四个元任务类别分类、视觉问答、检索和视觉定位。将这些任务都改为排序任务计算Precision1采用Phi-3.5-V和LLaVA-1.6等预训练视觉语言模型作为Vlm2Vec的骨干利用VLM进行embeding。方法Vlm2Vec 使用 VLM 作为主干来深度整合图像和文本特征。 它通过遵循特定于任务的指令使用查询和目标之间的对比损失进行训练。 训练数据包括查询和目标两侧各种模态的组合其中可能包括图像、文本或图像文本对。7、GME: Improving Universal Multimodal Retrieval by Multimodal LLMshttps://huggingface.co/Alibaba-NLP/gme-Qwen2-VL-2B-InstructMotivation利用MLLM进行单模态检索、跨模态检索、融合模态检索Contribution构建了一个通用多模态检索基准UMRB包含47个数据集涵盖单模态检索、跨模态检索、融合模态检索基于QWen多模态大模型提出GME模型用于多模态检索方法利用MLLM提取embedding利用对比学习进行训练。8、LamRA: Large Multimodal Model as Your Advanced Retrieval AssistantFor 分割9、Segment Anything Model 2https://github.com/facebookresearch/sam2Motivation将图像分割推广到视频领域。该任务将视频任意帧上的点、框或掩码作为输入以定义感兴趣的片段并预测其时空掩码即 “小掩码”。一旦预测出小掩码就可以通过在其他帧中提供提示对其进行迭代改进。Contribution提出SAM2进行图像和视频上的可提示视觉分割PVS任务。采用了一个数据引擎通过使用本文的模型与注释者互动注释新的和具有挑战性的数据来生成训练数据方法对于给定的帧分割预测取决于当前提示和/或先前观察到的记忆。视频以流媒体的方式处理图像编码器每次使用一个帧并从前一帧中交叉关注目标对象的记忆。掩码解码器(也可选择接受输入提示)预测该帧的分段掩码。最后存储器编码器转换预测和图像编码器嵌入(未在图中显示)以便在未来帧中使用。SAM 2解码器使用的帧嵌入不是直接来自图像编码器而是以过去预测和提示帧的记忆为条件。相对于当前帧提示帧也可能“来自未来”。帧的memory由存储器编码器根据当前的预测产生并放置在memory bank中以供以后的帧使用。内存attention操作从图像编码器获取每帧嵌入并在memory bank上对其进行调整以产生之后传递给掩码解码器的嵌入。Image Encoder图像编码器在整个交互过程中只运行一次其作用是提供无条件的token特征嵌入。我们使用 MAE 预先训练的 Hiera 图像编码器它是分层的、这样就能在解码过程中使用多尺度特征。Memory attentionMemory attention的作用是将当前帧的特征与过去帧的特征和预测以及任何新的提示联系起来。我们堆叠了 L 个transformer模块第一个模块将当前帧的图像编码作为输入。每个区块执行self-attention然后cross-attention提示/未提示帧和对象的记忆这些记忆存储在一个记忆库中接着是一个 MLP。Memory encoder通过使用卷积模块对输出掩码进行下采样并将其与图像编码器的无条件帧嵌入相加生成记忆然后使用轻量级卷积层来融合信息。Memory bank通过维护最多N个最近帧的FIFO记忆队列来保留视频中目标对象的过去预测信息并将提示信息存储在最多M个提示帧的FIFO队列中。Prompt encoder提示编码器与SAM的相同可以通过点击(正或负)、边界框或蒙版来提示以定义给定帧中对象的范围。稀疏提示由位置编码表示并对每种提示类型的学习嵌入求和而掩码则使用卷积嵌入并使用帧嵌入求和。mask decoder解码器设计很大程度上遵循SAM如下图所示堆叠“双向”transformer块来更新提示符和帧嵌入。与 SAM 不同的是在 SAM 中只要有positive的提示就一定会有一个有效的对象被分割而在 PVS 任务中有可能在某些帧上不存在有效的对象例如由于遮挡。为了应对这种新的输出模式增加了一个额外的头用于预测当前帧上是否存在感兴趣的对象。10、Segment Anythinghttps://github.com/facebookresearch/segment-anythingMotivationSAM借鉴了NLP领域的Prompt策略通过给图像分割任务提供Prompt提示来完成任意目标的快速分割。Prompt类型可以是「前景/背景点集、粗略的框或遮罩、任意形式的文本或者任何指示图像中需要进行分割」的信息。如下图(a)所示模型的输入是原始的图像和一些prompt目标是输出valid的分割所谓valid就是当prompt的指向是模糊时模型能够输出至少其中一个mask。ContributionTask: 这里构建了一个提示分割任务这类任务在结构分类上一般体现为多模态的模型Model: 模型框架设计上主干是分割的架构图像编码器这里使用的VITMAE的组合方式进行训练提示部分有不同输入的有不同的编码器一个融合提示编码和图像编码的解码器Data: 数据工程个人理解这是SAM模型牛逼之处虽然数据工程这块处理手段看起来比较简单但是SAM团队给我们展示了大道至简。这种让模型自动标注的思路、细节处理实际有非常大的研究、应用价值。方法SAM由三部分组成包括图像编码器、提示编码器、轻量化的掩码解码器Image encoder这里使用的是基于MAE训练的ViT模型。编码器只在一张图片上跑一次然后应用到不同的提示。Prompt encoder 提示有离散points、boxes、text和稠密masks两类。我们通过位置编码[95]来表示点和框并使用CLIP的现成文本编码器tip: CLIP模型的文本编码器在其他模型中大量使用一般这个结构都不会再参与训练来表示自由格式文本。稠密提示即掩码使用卷积编码并与图像嵌入逐元素求和。Mask encoder掩码解码器有效地将图像编码、提示编码和输出token映射到掩码。For LLM11、DeepSeek-V3简介DeepSeek-V3 是一款性能卓越的混合专家MoE语言模型整体参数规模达到671B其中每个 token 激活的参数量为37B。创新Multi-Head Latent AttentionMLADeepSeek-V3 在注意力机制方面采用了 MLA 架构。设向量维度为 d注意力头数为 n_h 每个头的维度为 dh d_h 在特定注意力层中第 tt 个 token 的注意力输入表示为 ht∈Rdh_t\in \mathbb{R}^d 。MLA 的核心创新在于对注意力键和值进行低秩联合压缩以降低推理过程中的键值(KV)缓存开销减少K-V cache的缓存DeekSeekMoE在前馈网络(Feed-Forward Networks, FFN)部分DeepSeek-V3 采用了 DeepSeekMoE 架构。相比传统的 MoE 架构如 GShardDeepSeekMoE 采用了更细粒度的专家分配机制并创新性地将部分专家设置为共享专家。对于 MoE 模型不平衡的专家负载将导致路由崩溃并在专家并行场景中降低计算效率。传统解决方案通常依赖辅助损失来避免不平衡负载。然而过大的辅助损失会损害模型性能。为了在负载平衡和模型性能之间实现更好的权衡研究团队开创了一种无辅助损失负载均衡策略来确保负载平衡。共享和独立专家考虑每个专家的学习概率考虑每个node的负载均衡FP8训练基于低精度训练领域的最新进展本研究开发了一种细粒度混合精度框架采用 FP8 数据格式训练 DeepSeek-V3。Multi-Token PredictionDeepSeek-V3 创新性地采用了 MTP 目标将预测范围扩展到每个位置的多个后续 token。这种设计具有双重优势首先MTP 目标通过增加训练信号的密度可能提高数据利用效率其次它使模型能够提前规划表征从而更准确地预测后续 token。总结最后我在一线科技企业深耕十二载见证过太多因技术更迭而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我整理出这套 AI 大模型突围资料包✅AI大模型学习路线图✅Agent行业报告✅100集大模型视频教程✅大模型书籍PDF✅DeepSeek教程✅AI产品经理入门资料完整的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】为什么说现在普通人就业/升职加薪的首选是AI大模型人工智能技术的爆发式增长正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议到全国两会关于AI产业发展的政策聚焦再到招聘会上排起的长队AI的热度已从技术领域渗透到就业市场的每一个角落。智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200%远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。资料包有什么①从入门到精通的全套视频教程⑤⑥包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图还有视频解说全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤ 这些资料真的有用吗?这份资料由我和鲁为民博士共同整理鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。所有的视频教程由智泊AI老师录制且资料与智泊AI共享相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念通过动态追踪大模型开发、数据标注伦理等前沿技术趋势构建起前沿课程智能实训精准就业的高效培养体系。课堂上不光教理论还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界。业务赋能 突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】**