项目简介
本项目是基于Jittor框架的深度学习模型,用于风景图片生成。它依据论文 High-Resolution Image Synthesis with Latent Diffusion Models 实现了Latent Diffusion模型,在比赛数据集上训练和调参后取得不错成绩。代码实现了训练、推理和模型生成等功能,涵盖数据加载、模型定义、训练循环、验证和测试等环节。
项目的主要特性和功能
- 模型实现:实现基于Latent Diffusion的模型,包含高斯扩散(GaussianDiffusion)和潜在扩散(LatentDiffusion)两部分,可从噪声图像生成原始图像。
- 数据加载:提供多种数据集加载器,如CIFAR - 10、Tiny ImageNet和自定义数据集,支持数据增强和预处理。
- 训练循环:包含模型初始化、损失计算、参数更新和模型保存等步骤,支持不同优化目标(如预测噪声或预测起始图像)和采样策略(如DDPM或DDIM)。
- 验证和测试:提供验证和测试功能,用于评估模型性能。
- 模型预测:支持模型预测,包括噪声预测和图像生成。
安装使用步骤
1. 环境准备
- 安装Ubuntu 20.04 LTS操作系统
- 安装Python 3.7或更高版本
- 安装Jittor框架(>= 1.3.0)
2. 数据准备
- 准备比赛数据集或自定义数据集
3. 代码运行
- 训练模型:
- 运行
train_vqgan.py
训练VQGAN模型 - 运行
train_ldm.py
训练Latent Diffusion模型 - 验证和测试:
- 加载预训练模型
- 运行
inference.py
进行推理 - 模型预测:
- 运行
inference_jittor.py
生成测试集上的结果
注意:运行train_vqgan.py
和train_ldm.py
时,可能需调整批次大小(batch_size)和工作进程数(num_workers)以适配自身硬件环境。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】