【源码】基于C++的EVA02 CLIP模型推理系统

项目简介

本项目是基于C++实现的EVA-02 CLIP模型推理系统。借助C++的性能和效能优势，实现了EVA-02 CLIP模型的快速推理，且支持在CPU上运行，当前支持EVA02-CLIP-B-16模型的推理。

项目的主要特性和功能

• 纯C++实现，无需依赖第三方库。
• 兼容Mac OS、Linux和Windows操作系统。
• 针对CPU进行优化，包括Apple的M系列芯片。
• 提供模型转换工具，可将PyTorch模型转换为ggml格式。

安装使用步骤

安装步骤

1. 复制项目代码： bash cd eva-02.cpp
2. 构建项目：
   • 在Linux或MacOS上： bash make
3. 准备模型数据：
   • 下载原始EVA02-CLIP-B-16模型权重： bash mkdir -p models/EVA02-CLIP-B-16 cd models/EVA02-CLIP-B-16 wget https://huggingface.co/QuanSun/EVA-CLIP/resolve/main/EVA02_CLIP_B_psz16_s8B.pt cd ../..
   • 将模型转换为ggml FP16格式： bash python3 convert-pt-to-ggml.py EVA02-CLIP-B-16

使用步骤

运行推理： bash ./main -m ./models/EVA02-CLIP-B-16/ggml-model-f16.bin -i CLIP.png -c "a diagram,a dog,a cat"

注意事项

• 运行模型前，需确保已正确安装CMake并配置环境。
• 模型转换过程耗时受模型大小和系统性能影响。
• 目前仅支持EVA02-CLIP-B-16模型，其他模型可能需额外适配。
• 非标准图像格式或特殊字符处理，可能需额外预处理。

已知问题

• 仅支持特定版本的EVA-02 CLIP模型。
• 图像处理和文本正则化与原始实现略有不同，但已尽力优化保证准确性。

发展计划

• 支持更多EVA-02 CLIP模型版本和更多功能。
• 支持其他平台（如移动设备）和硬件加速（如GPU）。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】