2024年视觉与学习青年学者研讨会（VALSE 2024）于5月5日到7日在重庆悦来国际会议中心举行。本公众号将全方位地对会议的热点进行报道，方便广大读者跟踪和了解人工智能的前沿理论和技术。欢迎广大读者对文章进行关注、阅读和转发。文章是对报告人演讲内容的理解或转述，可能与报告人的原意有所不同，敬请读者理解；如报告人认为文章与自己报告的内容差别较大，可以联系公众号删除。

本文主要对于来自浙江大学的张博研究员所做的报告《面向实际场景体验的多模态大模型DeepSeek VL》进行总结和分享。

1.报告人简介

张博，浙江大学计算机学院CAD&CG国家重点实验室“百人计划”研究员，博士生导师。研究领域包括计算机视觉、深度内容生成、多模态模型、具身智能等。

2.报告概览

报告首先总结了张博研究员及其团队近期的主要工作，随后详细介绍了以用户实际体验为核心，围绕数据构建、模型架构和训练策略进行的系统设计的DeepSeek-VL项目。DeepSeek-VL系列的多模态模型在现实世界应用中展现出卓越的用户体验，在相同规模的各种视觉语言基准测试中展示了具有竞争力的性能，同时在语言中心的基准测试中也保持了优异的表现。

3.内容整理

图1 “DeepSeek-VL”的可视化结果

图 1展示了“DeepSeek-VL”的可视化结果。DeepSeek-VL能够捕获微小的物体并给出有组织的解释。以下内容是根据刘禹良教授的汇报及其关于“DeepSeek-VL”模型的研究论文整理得出。相关论文和DeepSeek-VL demo链接已附在文章末尾。

(1)主要工作

主要工作1：高质量图像生成

1)2021年，张博研究员及其团队基于生成对抗网络技术推出了领先的图像生成技术StyleSwin。

2)张博研究员及其团队业界首次提出基于扩散模型的文生图模型VQ-Diffusion。

3)生成质量上超越了行业标杆英伟达的StyleGAN，并显著超过OpenAI的DALLE v1，速度提升达到15倍。

4)张博研究员及其团队的通用图像翻译工作（题为"Pretraining is all you need for image-to-image translation"）发表于ICCV 2023，比最佳论文得主ControlNet早七个月提出，该工作首次提出于2022年5月（ControlNet提出于2023年2月）。

主要工作2：三维生成扩散模型

张博研究员及其团队开发了首个基于扩散模型的虚拟人生成模型，该工作被选为CVPR 2023的Highlight，名为Rodin模型。

主要工作3：多模态基础模型

张博研究员及其团队推出了先进的70亿参数的开源多模态大模型DeepSeek-VL，该模型在各种视觉语言基准测试中展示出竞争力的性能，同时在以语言为中心的基准测试中也保持出色的表现。

(2)DeepSeek-VL详细介绍

1)数据构建

张博研究员及其团队努力确保数据多样化、可扩展并广泛覆盖真实世界场景，包括网页截图、PDF文档、OCR、图表以及基于知识的内容（专家知识、教科书），目标是全面呈现实际情境。此外，张博研究员及其团队根据真实用户场景创建用例分类，并据此构建指令调整数据集。使用这个数据集的微调显著提高了模型在实际应用中的用户体验。

2)模型架构

考虑到效率和大多数现实世界场景的需求，DeepSeek-VL整合了一个混合视觉编码器，该编码器能够在固定的令牌预算内高效处理高分辨率图像（1024 x 1024），同时保持相对较低的计算开销。这种设计选择确保了模型在各种视觉任务中捕获关键语义和详细信息的能力。

3)训练策略

张博研究员及其团队认为，一个熟练的视觉-语言模型首先应具备强大的语言能力。为了确保在预训练期间保留LLM的能力，张博研究员及其团队通过从一开始就整合LLM训练并仔细管理视觉和语言模态之间观察到的竞争动态来探索有效的VL预训练策略。从关注文本开始，逐渐调整比例以促进两种模态的平衡整合。

DeepSeek-VL系列（包括1.3B和7B模型）在现实世界应用中作为视觉-语言聊天机器人展示了卓越的用户体验，在相同模型大小下在广泛的视觉-语言基准测试中实现了最先进或具有竞争力的性能，同时保持了在以语言为中心的基准测试上的稳健性能。张博研究员及其团队已经使1.3B和7B两个模型公开可访问，以促进基于此基础模型的创新。

DeepSeek-VL demo链接：https://huggingface.co/spaces/deepseek-ai/DeepSeek-VL-7B。

DeepSeek-VL论文下载链接：https://arxiv.org/abs/2403.05525。