项目简介
本项目是基于CPM模型的中文文本生成项目,可用于作文、小说、新闻、古诗等中文生成任务。项目基于MindSpore框架,运用CPM 334M模型训练,提供数据预处理、模型训练、文本生成等代码模块,还分享了中文作文生成模型,取得了较好的生成效果。
项目的主要特性和功能
- 数据预处理:有预处理脚本,能将原始文本数据转为模型可处理的格式。
- 模型训练:提供训练脚本,用于训练基于CPM模型的中文文本生成模型。
- 文本生成:提供生成脚本,可根据给定标题和上下文生成文本内容。
- 模型分享:提供在Hugging Face上共享的中文作文生成模型。
安装使用步骤
环境准备
安装Python 3.7.14、MindSpore 2.0.0.20230531、sentencepiece 0.1.94、Flask 1.1.2等依赖库。
模型下载
从模型分享处下载模型,将模型文件夹放到项目的model
目录下。
数据预处理
使用preprocess.py
脚本对作文数据集进行预处理,生成训练数据。
模型训练
使用train_single_card.py
或train.py
脚本进行模型训练。
文本生成
使用generate.py
脚本进行文本生成,指定标题和上下文,生成作文内容。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】