littlebot
Published on 2025-04-10 / 0 Visits
0

【源码】基于BERT的KBQA系统

项目简介

本项目基于BERT+BiLSTM+CRF模型开展命名实体识别工作,以抽取问题中的实体。接着,系统会从知识库里提取与实体相关的所有属性,运用BERT训练句子相似度模型,计算问题和各属性间的文本相似度,依据相似度对属性进行排序,最终得出问题的答案。

项目的主要特性和功能

  1. 命名实体识别:借助BERT实现对问题中实体的识别。
  2. 属性提取:从知识库提取实体的全部属性。
  3. 句子相似度计算:使用BERT训练句子相似度模型,计算问题和属性之间的相似度。
  4. 答案排序与生成:按照相似度对属性排序,获取问题的可能答案。

安装使用步骤

环境准备

  • 安装Python 3.6.5
  • 安装TensorFlow 1.14
  • 准备RTX 2080 Ti显卡

数据集准备

  • 下载NIPCC知识库问答数据集
  • 构建训练、验证和测试数据

模型训练

  • 进行命名实体识别模型训练
  • 开展文本相似度模型训练

测试与预测

  • 运用训练好的模型进行问答测试

模型保存与加载

  • 保存训练好的模型
  • 加载模型进行预测

注意:本项目依赖特定版本的Python和TensorFlow,需确保环境匹配,以保证正确运行。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】