ROS2与语音交互教程-利用whisper实现ros2下发布语音转文字话题

说明：

• 介绍利用openai的whipser来实现语音转文字，并发布为ros2话题
• 环境：ubuntu20.04 或 ubuntu 22.04
• whisper.cpp是OpenAI 的 Whisper 模型在 C/C++ 中的移植

原理：

• 从麦克风获取语音音频，传送whisper.cpp版本
• whisper经过模型处理获取到相应的文字
• 通过ros2封装发布到对应的话题

步骤：

• 利用rcm工具，部署whipser的ros2包, github地址
• 安装rcm

# install rcm
curl -k https://www.ncnynl.com/rcm.sh | bash - 

• 检查cmake版本要小于3.17，需要进行升级
• ubuntu20.04下安装需要升级cmake版本
• 不能卸载原有cmake，采用源码编译并替代的方法安装
• 如果卸载cmake会导致很多相关包会被删除
• 利用rcm安全升级cmake

#默认升级，版本是3.22.6
rcm common upgrade_cmake 
#如需要不同版本可以指定版本，从网站获知要安装的版本，https://cmake.org/files/
rcm common upgrade_cmake --version 3.22.6

• 安装ros2_whisper

# install ros2 whipser
rcm ros2_algorithm install_ros2_whisper

测试

• 启动whisper

#运行推理节点（这会将模型下载到 $HOME/.cache/whisper.cpp）：
ros2 launch whisper_bringup bringup.launch.py n_thread:=8

• 启动

#运行客户端节点（按空格键激活）：
ros2 run whisper_demos whisper_on_key

参考：

• whisper地址
• whisper.cpp地址
• ros2_whisper地址