MiniGPT-4:Enhancing Vision-Language Understanding with Advanced Large Language Models
读论文时间! 多模态大模型MiniGPT-4 内容整理自《大规模语言模型从理论到实践》 模型 MiniGPT-4 期望将来自预训练视觉编码器的图像信息与大语言模型的文本信息对齐,它的模 型架构如图所示。具体来说主要由三个部分构成:预训练的大语言模型 Vicuna,预训练的视觉编码器以及一个单一的线性投影层。 Vicuna 模型 Vicuna 是一个基于解码器的语言模...