【源码】基于oneAPI的钢铁领域智能问答系统

项目简介

AI小冶是基于oneAPI的钢铁领域智能问答系统，其目标是助力钢铁工作者迅速、精准地获取钢铁生产、加工、质量控制等专业知识。该系统通过构建钢铁领域问答数据集，在T5模型上运用oneAPI工具进行训练和微调，可高效解答钢铁领域复杂问题，提高钢铁工作者的工作效率。

项目的主要特性和功能

• 钢铁领域知识问答：可理解并回答钢铁生产、工艺、设备、质量控制等专业问题。
• 基于T5模型的智能问答：借助T5模型预训练和微调，拥有强大的语言理解和生成能力。
• oneAPI工具优化：利用Intel® Extension for PyTorch和Intel® Neural Compressor等工具，优化模型训练和推理性能，加快系统响应速度。
• 分布式训练与硬件加速：支持多GPU分布式训练，利用Intel®硬件加速技术，大幅提升模型训练和推理效率。
• 模型量化与压缩：采用模型量化和压缩技术，降低模型计算复杂度和存储空间，提高系统部署效率。

安装使用步骤

环境要求

• Python 3.8.5
• CUDA 10.2

安装依赖库

在项目根目录下运行以下命令安装所需的Python库： bash pip install contractions==0.0.52 pip install ftfy==5.9 pip install inflect==5.3.0 pip install nltk==3.5 pip install numpy==1.19.2 pip install scikit_learn==1.0.2 pip install spacy==3.1.1 pip install tensorboardX==2.5 pip install torch==1.8.0 pip install tqdm==4.62.3 pip install transformers==4.11.3 pip install vaderSentiment==3.3.2

运行命令

1. 模型训练：使用以下命令进行模型训练： bash python train.py
2. 模型量化：使用以下命令对模型进行量化处理： bash python quantize.py
3. 模型推理：使用以下命令进行模型推理： bash python inference.py

注意事项

由于科研原因，预训练与微调的数据集暂时无法开源。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】