机器之心编译 编辑：袁铭怿 CLIPPO 是一种统一的模型，用单个编码器和对比损失来执行图像、文本和多模态任务，优于传统的 NLP 基线和之前基于像素的掩码语言模型。 近年来，基于 Transformer 的大规模多模态训练促成了不同领域技术的改进，包括视觉、语言和音频。特别是在计算机视觉和图像语言理解方面，单个预训练大模型可以优于特定任务的专家模型。 然而，大型多模态模型通常使用模态或特定于数据集的编码器和解码器，并相应地导致涉及的协议。例如，此类模型通常涉及在各自的数据集上对模型的不同部分进行不同阶段的训练，并进行特定于数据集的预处理，或以特定于任务的方式迁移不同部分。这种模式和特定于任
