读论文时间！ 生成式预训练模型 GPT。 参考： 李沐读论文 《大规模语言模型从理论到实践》 前置知识：Transformer GPT的本质是把transformer的解码器拿出来，然后在没有标号的大量文本数据训练一个语言模型，来获得一个预训练模型，然后再用它在子任务上作微调。 概述 在transformer出现后，G...

查看 jupyter notebook 复习与准备 import os from openai import OpenAI os.environ['HTTP_PROXY'] = 'http://127.0.0.1:xxxxxx' os.environ['HTTPS_PROXY'] = 'http://127.0.0.1:xxxxxx' os.environ["OPENAI_AP...

查看 jupyter notebook Knowledge augment prompt（知识增强提示）是一种用于在生成文本任务中引入外部知识 以提高生成文本的质量和准确性的技术。该技术可以与语言模型结合使用，以增强模型的能 力。 在传统的生成文本任务中，模型只能基于其已经学习到的训练数据进行生成。然而，训练数 据可能是有限或不完整的，导致生成的文本可能缺乏准确性或相关性。Kno...

查看 jupyter notebook 通常情况下，广泛使用的大模型是在大量公开可用的数据上进行预训练的，而构建在LLM之上的应用程序通常需要使用私有或领域特定的数据来增强这些模型。因此， LangChain的出现旨在为开发这类应用程序提供一个框架和支持。这个框架的目标是协助开 发者更容易地构建应用程序，利用LLM技术与自然语言进行交互。 请设想下面这几种场景：你拥有几本电...

运行项目方法 我们模型的代码仓库：Gitee，首先需要获取项目源代码并且放到深度学习服务器上。 准备数据集 MSVD-QA下载网址（需要上网下载） 视频文件下载网站，拉到底选择YouTubeClips.tar youtube_mapping.txt 下载网址（需要上网下载） 步骤： 第一个链接会下载下来一个压缩包，解压，里面有一个video文件夹。 把第二...

读论文时间！ 多模态模型：AIMC 一份非官方代码实现，由于其实现的代码由VIGAN改写而来，可以参考VIGAN笔记 一、聚类模块的对齐 多模态对齐是指找到两种或多种模态的instances中sub-components之间的对应关系，例如：给定一张图片和一个描述，找到词或者短语对应图片中的区域；另一个例子是给定一个电影，将它和字幕或者书中的章节对齐。 多模态对齐分...

读论文时间！ 多模态模型：VIGAN，官方代码 前置知识：AE、DAE、GAN、CycleGAN 一、简介 在如今许多领域中，数据由于来源的多样性。往往会造成某些数据缺失的问题，本文是利用自编码和生成对抗网络对缺失数据进行补全，主要处理的是多视角和多模态的缺失数据的问题，称为：解决缺失视角问题的生成对抗网络的填充方法。 二、所用的的一些方法 用到的有： 利...

赛题 可以看作是 Kaggle 比赛的一个复刻 算能杯——面向Stable Diffusion的图像提示语优化专项赛的目标为创建一个模型来预测给定生成图像的文本提示。参赛选手将在包含Stable Diffusion 2.0生成的各种（提示、图像）对的数据集上进行预测，通过了解潜在存在的提示、图像之间关系的可逆性。参赛选手通过构建一个模型来预测给定生成图像的文本提示。并把这个文...

跑模型时间！ 来自 Hugging Face 强化学习课程。 Huggy 是 Hugging Face 制作的深度强化学习环境，基于Unity MLAgents 团队的项目 Puppo the Corgi。该环境是使用Unity 游戏引擎和MLAgents创建的。ML-Agents 是 Unity 游戏引擎的工具包，它允许我们使用Unity 创建环境或使用预制环境来训练我们的...

跑模型时间！ 来自HuggingFace 🤗 强化学习课程 我们将训练我们智能体（月球着陆器）正确登陆月球。为此，智能体需要学习调整其速度和位置（水平、垂直和角度）以正确着陆。 每一步： 我们的代理从 环境中接收状态（S0） —— 我们接收游戏的第一帧（环境）。 根据该 状态 (S0)， 代理采取 行动 (A0) —— 我们的代理将向右移动。 环境转换到...