%20(2).svg)
项目简介
本项目是基于PyTorch框架开发的多模态情感分析系统，借助结合文本和图像信息开展情感分类工作。采用BERT模型与ResNet - 50模型结合的方式，并运用注意力机制实现文本和图像信息的交互，以达成更精准的情感判断。
项目的主要特性和功能
- 多模态融合：结合文本和图像信息，利用BERT和ResNet - 50模型进行情感分析。
- 注意力机制：通过注意力机制融合文本和图像信息，提升情感分类的准确性。
- 模型训练与预测：支持模型的训练和预测功能，用户可按需选择训练或测试模式。
- 数据预处理：提供数据预处理脚本，分别存储文本和图像数据，方便后续处理。
- 训练过程可视化：训练过程中的损失值和准确率数据可进行可视化展示，便于分析和优化。
- 消融实验：支持单文本输入和单图像输入的消融实验，用以验证多模态融合的有效性。
安装使用步骤
假设用户已下载本项目的源码文件，可按以下步骤操作：
1. 安装依赖
确保已安装Python 3.x和pip，通过以下命令安装项目所需依赖包：
shell
pip install -r requirements.txt
2. 数据集准备
shell
python img_txt.py
3. 训练模型
在项目根目录下，使用以下命令启动模型训练：
shell
python main.py --mode train --epoch 20 --lr 0.0001
训练完成后，模型将保存到saveModel目录下。
4. 预测数据
使用训练好的模型对测试数据进行预测：
shell
python main.py --mode test
预测结果将保存到data/test_with_label.txt。
5. 训练过程可视化
运行以下命令，可视化训练过程中的损失值和准确率变化：
shell
python aftertrain.py
可视化结果将保存到figout目录下。
6. 消融实验
进行单文本输入和单图像输入的消融实验： ```shell python main.py --text_only
python main.py --img_only ``` 通过比较两种输入方式的验证集准确率，验证多模态融合的有效性。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】