项目简介
本项目是基于Python和PyTorch框架构建的情感分析系统,借助多种NLP技术范式达成文本情感分类。项目实现了从非神经网络时代的完全监督学习到预训练、提示、预测范式的多种模型,如BERT、LSTM和基于Prompt的模型。
项目的主要特性和功能
- 多范式模型实现
- P2范式:基于神经网络的完全监督学习,采用词向量+LSTM模型。
- P3范式:预训练,精调范式,运用BERT + TextCNN模型。
- P4范式:预训练,提示,预测范式,实现基于Prompt的QA风格模型。
- 高性能训练与测试
- 可在RTX 3090 GPU上高效开展训练和测试工作。
- 提供清晰详细的训练和测试命令,方便用户快速上手。
- 结果评估
- 提供详细的模型评估结果,包含F1分数和准确率,助于用户了解模型性能。
- 以图表形式展示模型在线测试结果,直观呈现模型效果。
安装使用步骤
环境配置
- 确保已安装Python 3.x和PyTorch。
- 使用以下命令安装项目所需的Python包:
bash pip install -r requirements.txt
数据准备
准备情感分析所需的文本数据集,保证数据格式符合项目要求。
模型训练
使用以下命令启动训练:
bash
CUDA_VISIBLE_DEVICES=2 nohup python -m src.pipeline.train --batch_size 16 > bert_bs16.log &
模型测试
使用以下命令进行模型测试:
bash
CUDA_VISIBLE_DEVICES=2 nohup python -m src.pipeline.test --batch_size 16 --ckpt /path/to/checkpoint > bert_test_bs16.log &
结果查看
- 查看训练和测试日志文件,了解模型训练和测试的详细过程。
- 通过图表文件(如
bert_result.png
)查看模型在线测试结果。
注意事项
- GPU支持:建议在支持CUDA的GPU上运行项目,提升训练和测试效率。
- 数据格式:确保输入数据格式正确,尤其注意文本和标签的对应关系。
- 模型保存:训练过程会保存最佳模型,测试时需加载相应的模型文件。
- 参数调整:根据实际需求调整训练和测试命令中的参数,如批量大小、学习率等。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】