项目简介
本项目是为视觉障碍游泳者打造的辅助系统。它将计算机视觉设备与蓝牙骨传导耳机相结合,利用计算机视觉设备识别游泳者位置,再通过蓝牙把位置信息以音频反馈的形式传送给佩戴骨传导耳机的游泳者,助力他们在泳池中更好地导航。
项目的主要特性和功能
- 硬件协作:计算机视觉设备由Coral Micro Board和ESP32 Dev Kit组成,前者识别游泳者位置,后者通过蓝牙广播音频反馈。
- 音频反馈:游泳者佩戴蓝牙骨传导耳机接收位置信息,根据所处位置不同,能听到不同提示音。
- 位置检测:可检测游泳者位置,针对泳道边界和泳道线提供音频反馈。
安装使用步骤
硬件准备
准备好所需硬件:Coral Micro Board、ESP32 Dev Kit V1、蓝牙骨传导耳机、I2C电平转换模块,可按需准备coral - esp32 - adapter。
软件安装
安装Coral Dev Board Micro。
固件下载与构建
ESP32
Coral Dev Board Micro
在Ubuntu/Linux终端执行以下命令:
bash
git submodule update --init --recursive
bash coralmicro/setup.sh
cmake -B out -S .
make -C out -j4
python3 coralmicro/scripts/flashtool.py --build_dir out --elf_path out/coralmicro - app
运行系统
- 打开串口终端,将波特率设置为115200,连接到Coral Dev Board Micro的USB端口。
- 给Coral Dev Board Micro、ESP32和蓝牙扬声器通电。若一切正常,串口终端会显示相应信息。
运行Python脚本
- 执行
python3 -m pip install -r py/requirements.txt
安装Python插件。 - 运行
python3 py/coral_swimmer.py
。 - 在摄像头下方放置蓝色盒子,若检测到盒子,GUI应用中会显示白色边框,Coral Dev Board Micro的“Status LED”会亮起。
- 给蓝牙扬声器通电,等待片刻,当ESP32 DevKit与蓝牙扬声器连接后,Coral Dev Board Micro的“User LED”会亮起。
- 在蓝色盒子上放置玩偶,根据游泳者位置,GUI应用会显示不同颜色矩形框,蓝牙扬声器会发出不同提示音。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】