本文是关于论文《Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding》的简要介绍。Video-LLaMA是阿里达摩院的一个多模态大语言模型产品，可以理解视频中视觉和听觉内容。和很多多模态大语言模型类似，模型结构和训练方式中规中矩，但是针对视频这种信息量丰富的数据类型，作者提出了一些创意。

有关本专栏的更多内容，请参考大语言模型文献调研专栏目录

模型结构：与以往仅补充LLMs处理视觉或音频信号的作品不同，Video-LLaMA通过应对两个挑战实现视频理解：

（1）捕捉视觉场景中的时序变化：作者提出了Video Q-former，将一个预训练的图像编码器组装到视频编码器中，并引入视频到文本生成任务来学习视频-语言对应关系。

（2）整合音频-视觉信号。利用通用嵌入模型ImageBind作为预训练音频编码器，并在ImageBind之上引入一个Audio Q-former，为LLM模块学习合理的听觉查询嵌入。

训练方式：和很多多模态大语言模型一样，Video-LLaMA冻结预训练视觉和音频编码器，冻结的LLMs，进行跨模态训练。为了将视觉和音频编码器的输出与LLM的嵌入空间对齐，作者首先在海量视频/图像标题对上训练Video-LLaMA，然后使用质量更高但数量适中的视觉指导数据集模型。

1. 论文的基本信息

1.1 论文资源

论文链接：https://arxiv.org/pdf/2306.02858.pdf

代码链接：https://github.com/DAMO-NLP-SG/Video-LLaMA

展示样例：https://www.youtube.com/watch?v=RDNYs3Rswhc&feature=youtu.be

论文引用：

@article{zhang2023video,
  title={Video-llama: An instruction-tuned audio-visual language model for video understanding},
  author={Zhang, Hang and Li, Xin and Bing, Lidong},
  journal={arXiv preprint arXiv:2306.02858},
  year={2023}
}

1.2 任务介绍和动机

大型语言模型(LLMs)已经表现出了出色的理解和遵循用户意图和指令的能力。研究人员通常将用户请求和LLMs的响应都以文本形式表达，但是，在许多应用场景下，仅限于文本的人机交互并不足够，真实世界的信息通常是多模态的。

现有工作的不足。为了进一步探索LLMs的潜力，许多研究人员尝试赋予LLMs理解多模态内容的能力。包括使用大量交织的图像-文本数据或语音-文本数据对多模态LLMs进行大规模预训练，以适应多模态输入。或者采用更高效的参数方式，通过补充LLMs与现成的视觉或语音基础模型来实现多模态理解。尽管这些方法有效，但它们致力于将来自一个额外模态（即图像或音频）的输入与文本对齐，这对于视频理解来说远远不够。要使LLMs理解视频，需要全面处理包括视觉输入、听觉输入和文本输出在内的不同模态，这比仅理解图像或仅理解音频任务更具挑战性。近期有一些研究尝试释放LLMs的视频理解能力，但它们主要目的是仅理解视频的视觉内容，而忽略了听觉内容。因此，作者的研究旨在填补加入音频的-视觉LLMs的空白，探讨构建支持视频输入的多模态LLMs的可能性，使用户能够围绕用户上传的视频与计算机进行交流。

构建端到端模型处理多模态结构。视频通常由多个视频帧和音频组成。与使用外部感知模型将视觉/听觉信号转换为文本信号不同，作者构建了一个端到端模型，可以在单个框架内处理来自多种模态的数据。采用BLIP-2的思想来保证跨模态预训练的效率。为了明确捕获视频中视觉场景的变化，使用预训练的视觉编码器分别计算帧表示。然后，我们引入了帧嵌入层来注入时间信息，以及一个视频Q-Former来生成视觉查询标记。对于视频中的音频信号，我们另外利用预训练的音频编码器以及音频Q-Former来学习合理的听觉查询嵌入。

多支路跨模态预训练实现视频与文本的对齐。为了使文本输出与视频对齐，作者设计了多支路交叉模态预训练，以学习视觉-语言对应关系和音频-语言对应关系。首先在大规模视频文本数据集上对与视觉相关的组件进行预训练，然后在视频会话数据集上进行微调，以执行视觉指令调整。对于音频编码器和语言解码器之间的对齐，作者进一步在音频文本数据集上对音频相关组件进行预训练。作者利用Imagebind作为编码器，将不同模态对齐到公共嵌入空间。

2. 相关工作

**大型语言模型（LLMs）**已成为跨领域的自然语言理解和生成的强大工具，涵盖了文章、对话、故事和诗歌等多种领域。诸如LLaMA、BLOOM和OPT等开源LLMs大大推动了技术的进步，并为自然语言处理社区做出了巨大贡献。借助这些LLMs奠定的基础，研究人员进一步扩展了它们的能力，开发了针对特定自然语言处理任务的专门模型，如Vicuna和Baize。作者在这些进展的基础上，通过增强LLMs的能力，使其能够理解视频中的视觉和听觉内容，从而扩展了它们在多媒体应用中的实用性和影响力。

研究人员一直积极探索利用LLMs处理多模态输入的方法。现有方法可分为两大类。第一类是将LLMs作为控制器，利用现有的多模态模型作为工具。在这种方法中，当接收到用户的文本指令时，LLM识别用户意图并决定调用哪些工具，然后通过整合这些现成的多模态模型得到综合性回应。例如包括ChatGPT、HuggingGPT和AudioGPT等。第二类侧重于训练基础的大规模多模态模型。这一系列工作的关键思想是将其他模态的预训练基础模型与文本LLMs进行对齐。例如，Flamingo利用感知器重采样器和门控交叉注意力层连接冻结的图像编码器和LLMs。BLIP2引入Q-Former将学习的图像查询映射到LLMs的文本嵌入空间。mPLUG-owl和MiniGPT4使用图像-指令数据集开发了遵循指令的图像-LLMs。Video-Chat和Video-ChatGPT将图像编码器扩展到视频编码器，并与LLMs连接以理解视频中的视觉内容。PandaGPT利用ImageBind的多模态编码器，专门训练在图像-指令对上，使大型模型能够理解六种模态。作者的工作属于第二类别，训练基础模型来理解视频中的视觉和听觉内容。

3. 视频大模型结构

3.1 结构

视觉-语言分支。视觉-语言分支旨在使大型语言模型（LLMs）能够理解视觉输入，有以下要点：

组成部分：

• 冻结的图像编码器：从视频帧中提取特征。
• 位置嵌入层：将时间信息注入视频帧。
• 视频Q-former：聚合帧级表示。
• 线性层：将输出视频表示投影到与LLMs文本嵌入相同的维度中。

过程：

• 将视频的每个帧/图像映射为图像嵌入向量。
• 应用位置嵌入来指示时间信息。
• 将位置编码的帧表示馈送到视频Q-former以获取视频嵌入。
• 一个线性层将视频嵌入转换为视频查询向量，与文本嵌入的维度对齐。
• 在前向传播中，视频查询向量与文本嵌入连接在一起，作为视频软提示，引导LLMs生成基于视频内容的文本。

实现：

• 利用BLIP-2的预训练视觉组件作为冻结的视觉编码器，包括来自EVA-CLIP的ViTG/14和一个预训练的Q-former。
• 其余组件（位置嵌入层、视频Q-former和线性层）是随机初始化并优化，以有效连接冻结的视觉编码器的输出与冻结的LLMs。

音频-语言分支。引入音频-语言分支来处理所提供视频的音频内容。旨在使LLMs能够理解并基于音频输入生成文本，要点如下：

组成部分：

• 预训练音频编码器：从原始音频的短片段计算特征。
• 位置嵌入层：将时间信息注入音频片段。
• 音频Q-former：融合不同音频片段的特征。
• 线性层：将音频表示映射到LLMs的嵌入空间。

过程：

• 均匀采样M个2秒短音频片段。
• 使用128个mel频谱图像将每个2秒音频剪辑转换为频谱图。
• 音频编码器将每个频谱图映射为密集向量。
• 类似于视频Q-Former，音频Q-former通过添加可学习的位置嵌入来向音频片段注入时间信息。
• 通过计算位置编码的音频片段之间的交互来生成固定长度的音频特征，采用与Q-Former相同的架构。
• 最后，线性层将音频特征映射到LLMs的嵌入空间。

实现：

• 利用预训练的Imagebind作为音频编码器。
• 音频编码器将每个频谱图处理为密集向量。
• 音频Q-former和线性层的实现方式与视觉-语言分支中的对应部分类似，但做了相应的调整以处理音频内容。

3.2 多分支跨模态训练

作者分别训练视觉-语言和音频-语言分支。在第一阶段，使用大规模的视觉-文本数据集进行训练；在第二阶段，使用高质量的指示遵循数据集进行微调。将图像视为单帧视频处理。

视觉-文本分支，有以下要点：

• 数据集利用：利用Webvid-2M和CC595k数据集进行预训练。Webvid-2M包含库存视频网站的短视频及文本描述。CC595k数据集源自CC3M。

• 预训练阶段：采用视频到文本生成任务。促使冻结的LLM生成相应的文本描述。部分文本描述无法充分反映视频内容，导致视觉语义与文本描述不完全一致。预训练阶段旨在利用大量数据，使视频特征尽可能包含更多视觉知识。

• 微调阶段：视觉-文本对齐和指示遵循能力留待下一个阶段。模型在信息生成方面表现良好，但遵循指令的能力有所下降。

  使用高质量的指示数据对模型进行微调。整合了来自MiniGPT4、LLaVA和Video-Chat的图像和视频指令数据集。Video-LLaMA在遵循指示和理解图像和视频方面展现出显著能力。

音频-文本分支：

• 目标和挑战：音频-语言分支中可学习参数的目标是将冻结的音频编码器的输出嵌入与LLM的嵌入空间对齐。直接使用音频-文本数据训练音频-语言分支非常具有挑战性，因为这类数据非常稀缺。
• 策略：考虑到音频-文本数据稀缺，采用了一种变通策略来实现目标。作者所使用的音频编码器ImageBind具有将不同模态的嵌入对齐到一个共同空间的显著能力。鉴于音频-文本数据稀缺而视觉-文本数据丰富的情况，作者使用了与视觉分支相同的数据和流程来训练音频-语言分支。得益于ImageBind提供的共享嵌入空间，即使音频接口从未在音频数据上进行过训练，Video-LLaMA在推理过程中也表现出理解音频的能力。

4. 样例

• 音频-视觉整合感知能力：作者展示了Video-LLaMA同时理解听觉和视觉信息的独特能力。这两种情况下的视频都包含音频。在每次对话中，我们分别提出与视觉和听觉内容相关的两个问题。如果模型只能接收一种模态，那么它将无法回答这两个问题。然而，我们可以观察到Video-LLaMA在这两种情况下都准确地回答了视觉和听觉问题。
• 捕捉视频中的时间动态能力：作者展示了Video-LLaMA识别视频中动作的能力。它成功描述了女孩的动作和船的移动方向。
• 感知和理解静态图像的能力：作者展示了Video-LLaMA感知和理解图片的能力。图2展示了Video-LLaMA理解“不寻常”概念并具体描述不寻常场景的能力。Video-LLaMA不仅准确描述了主要内容，还将其与狗和人之间友好的互动联系起来。
• 常识概念识别能力：作者展示了Video-LLaMA在视觉信号中识别常识概念的显著能力。Video-LLaMA成功识别了著名地标和人物，并能进行常识性问题回答。

5. 总结和限制

作者提出了多模态框架Video-LLaMA，为大型语言模型赋予了音频和视频理解能力。实验展示了Video-LLaMA在音频和视频驱动对话中的能力，突显其作为音视频人工智能助手有着巨大潜力的原型。作者开源了整个训练代码和各种模型，并提供了详细指导，以帮助开发人员利用我们的代码进行进一步开发。另外，作者提供了在线演示网站和离线演示部署指南，让用户直接体验Video-LLaMA的功能。致力于不断维护和改进Video-LLaMA，并将继续为开源社区做出贡献。

现有工作也有一些可以提高的地方：

1. 感知能力受限：当前训练数据集的质量和规模限制了Video-LLaMA的表现。作者在积极构建高质量的音频-视频-文本对齐数据集，以增强模型的感知能力。
2. 处理长视频能力有限：长视频（如电影和电视节目）包含大量信息，对计算资源有更高要求。这个挑战仍然是一个研究界正在积极努力解决的关键问题。
3. 幻觉问题：Video-LLaMA从冻结的LLM中继承了幻觉问题。我们将继续解决这些挑战，并为视频理解开发更强大的版本。

有关本专栏的更多内容，请参考大语言模型文献调研专栏目录