【源码】基于ONNX的文本与图像匹配系统

项目简介

本项目是基于ONNX（Open Neural Network Exchange）的文本与图像匹配系统，可处理图像和文本之间的匹配任务。系统运用PyTorch训练模型，将其导出为ONNX格式，实现跨框架的模型部署。

项目的主要特性和功能

1. 模型导出与加载：支持把PyTorch训练的模型导出成ONNX格式，有加载ONNX模型的工具。
2. 图像与文本处理：具备图像和文本预处理功能，像图像尺寸调整、归一化，文本的分词、填充和截断。
3. 模型推理：利用ONNX模型提取图像和文本特征，计算两者的匹配度或相似度。
4. 预测与输出：依据计算所得的匹配度或相似度，输出预测结果或排名。

安装使用步骤

1. 环境准备：确保已安装Python、PyTorch、ONNX Runtime等所需依赖。
2. 模型导出：运行export.sh脚本，构建容器并导出ONNX模型。
3. 模型测试：运行test/onnx/onnx_img.py和test/onnx/onnx_txt.py进行图像和文本的预处理，使用test/onnx/onnx_test.py进行匹配测试。
4. 模型推理：使用onnx_load.py加载ONNX模型，借助onnx_txt.py和onnx_img.py中的函数进行文本和图像的预处理，最后通过onnx_test.py进行模型推理和预测。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】