运行项目方法 我们模型的代码仓库：Gitee，首先需要获取项目源代码并且放到深度学习服务器上。 准备数据集 MSVD-QA下载网址（需要上网下载） 视频文件下载网站，拉到底选择YouTubeClips.tar youtube_mapping.txt 下载网址（需要上网下载） 步骤： 第一个链接会下载下来一个压缩包，解压，里面有一个video文件夹。 把第二...

读论文时间！ 多模态模型：AIMC 一份非官方代码实现，由于其实现的代码由VIGAN改写而来，可以参考VIGAN笔记 一、聚类模块的对齐 多模态对齐是指找到两种或多种模态的instances中sub-components之间的对应关系，例如：给定一张图片和一个描述，找到词或者短语对应图片中的区域；另一个例子是给定一个电影，将它和字幕或者书中的章节对齐。 多模态对齐分...

读论文时间！ 多模态模型：VIGAN，官方代码 前置知识：AE、DAE、GAN、CycleGAN 一、简介 在如今许多领域中，数据由于来源的多样性。往往会造成某些数据缺失的问题，本文是利用自编码和生成对抗网络对缺失数据进行补全，主要处理的是多视角和多模态的缺失数据的问题，称为：解决缺失视角问题的生成对抗网络的填充方法。 二、所用的的一些方法 用到的有： 利...

赛题 可以看作是 Kaggle 比赛的一个复刻 算能杯——面向Stable Diffusion的图像提示语优化专项赛的目标为创建一个模型来预测给定生成图像的文本提示。参赛选手将在包含Stable Diffusion 2.0生成的各种（提示、图像）对的数据集上进行预测，通过了解潜在存在的提示、图像之间关系的可逆性。参赛选手通过构建一个模型来预测给定生成图像的文本提示。并把这个文...

跑模型时间！ 来自 Hugging Face 强化学习课程。 Huggy 是 Hugging Face 制作的深度强化学习环境，基于Unity MLAgents 团队的项目 Puppo the Corgi。该环境是使用Unity 游戏引擎和MLAgents创建的。ML-Agents 是 Unity 游戏引擎的工具包，它允许我们使用Unity 创建环境或使用预制环境来训练我们的...

跑模型时间！ 来自HuggingFace 🤗 强化学习课程 我们将训练我们智能体（月球着陆器）正确登陆月球。为此，智能体需要学习调整其速度和位置（水平、垂直和角度）以正确着陆。 每一步： 我们的代理从 环境中接收状态（S0） —— 我们接收游戏的第一帧（环境）。 根据该 状态 (S0)， 代理采取 行动 (A0) —— 我们的代理将向右移动。 环境转换到...

来自 HuggingFace 🤗 强化学习课程 与 《大规模语言模型 从理论到实践》 强化学习（Reinforcement Learning，RL）研究的问题是智能体（Agent）与环境（Environment） 交互的问题，其目标是使智能体在复杂且不确定的环境中最大化奖励（Reward）。 强化学习基本框 架如图所示，主要由两部分组成：智能体和环境。在强化学习过程中，智能体...

有监督微调（Supervised Finetuning, SFT）又称指令微调（Instruction Tuning），是指在已经训练好的语言模型的基础上，通过使用有标注的特定任务数据进行进一步的微调，从而使得模型具备 遵循指令的能力。 经过海量数据预训练后的语言模型虽然具备了大量的“知识”，但是由于其训练时的目标仅是进行下一个词的预测，此时的模型还不能够理解并遵循人类自然语言形式的指令。...

没钱也没环境自己做计算集群分布式训练实验，看看别人怎么做吧。 分布式训练（Distributed Training）是指将机器学习或深度学习模型训练任务分解成多个子任务，并在多个计算设备上并行地进行训练。 促使人们设计分布式训练系统的一个最重要的原因就是单个计算设备的算力已经不足以支撑 模型训练。 大语言模型参数量和所使用的数据量都非常巨大，因此都采用了分布式训练架构完成训...

视频课程:https://www.bilibili.com/video/BV1a44y1H7Jc 视频课程补充篇:https://www.bilibili.com/video/BV1Cr4y1V7mF 代码地址:https://github.com/lansinuote/Huggingface_Toturials 代码地址2（做了一点修改，做完实验的结...