项目简介
本项目是基于Python编程语言和机器学习框架构建的语音与面部特征识别系统。借助训练和测试脚本,系统可对语音和面部特征进行处理与识别,还能提供可视化结果。
项目的主要特性和功能
- 数据处理与训练:通过
task1_train.py
和task2_train.py
分别处理和训练面部特征与语音特征;利用speechbrain
的预训练模型进行语音分离和位置标定。 - 测试功能:提供
test1.py
、test2.py
和test3.py
单独测试脚本,分别用于测试面部特征、语音特征和联合任务;提供联合测试脚本test.py
,用于综合测试所有任务。 - 结果可视化:使用自写的PCA降维程序,运行
visualization.ipynb
文件实现训练结果的可视化。
安装使用步骤
安装步骤
- 创建虚拟环境(可选):
- 使用conda创建虚拟环境:
bash conda env create -f environment.yaml
- 使用pip安装依赖:
bash pip install -r requirements.txt
- 若存在库冲突,可尝试安装完整依赖:
bash pip install -r myrequirements.txt
- 使用conda创建虚拟环境:
- 下载数据集:数据集下载链接
使用步骤
- 训练模型:
- 进入
train
目录,运行以下命令进行训练:bash cd train python task1_train.py python task2_train.py
- 训练结果将分别保存为
facefeature.npy
和voicefeature.npy
。
- 进入
- 测试模型:
- 运行以下命令进行单独测试:
bash python test1.py python test2.py python test3.py
- 运行以下命令进行联合测试:
bash python test.py
- 运行以下命令进行单独测试:
- 结果可视化:
- 运行
visualization.ipynb
文件进行训练结果的可视化:bash jupyter notebook visualization.ipynb
- 运行
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】