音频转文字--我们选择faster-whisper

faster-whisper能用来做什么？

可以将视频文件中的音轨自动转换为文字。

所以，字幕组是要失业了么？

试试看吧，看看转化效果如何。

使用faster-whisper，最好选择python3.10版本，那好吧。

作者的系统环境是：

• 笔记本：ThindPad P520
• OS：win11
• 显卡：Quadro P520

1、安装anaconda

为什么要安装anaconda？

因为我日常开发用python3.11的版本，使用YOLOv8需要python3.8的环境，这次使用faster-whisper需要python3.10的环境，需要切换python环境。

anaconda的安装和配置，请参考《YOLOv8入门篇--YOLOv8的安装和使用》。

2、创建虚拟环境(指定python3.10）

查看已有的conda虚拟环境

切换到创建好的虚拟环境

conda create -n fwhisper python=3.10
conda env list
conda activate fwhisper

3、安装git命令行工具

下载地址：https://git-scm.com/downloads

并配置代理

//http || https
git config --global http.proxy 127.0.0.1:7890
git config --global https.proxy 127.0.0.1:7890

4、下载源码faster-whisper-webui

git clone https://github.com/ycyy/faster-whisper-webui.git

进入源码目录：

cd faster-whisper-webui

安装项目依赖：

pip3 install -r requirements.txt

还要安装faster-whisper依赖：

pip3 install -r requirements-fasterWhisper.txt

5、模型的下载和配置

首先在项目的目录建立模型文件夹：

mkdir models

faster-whisper项目内部已经整合了VAD算法，VAD是一种音频活动检测的算法，它可以准确的把音频中的每一句话分离开来，并且让whisper更精准的定位语音开始和结束的位置。

所以，首先需要配置VAD模型：

git clone https://github.com/snakers4/silero-vad

然后，将克隆下来的vad模型放入刚刚建立的Models文件夹中即可。

接着下载faster-whisper模型，下载地址：

git clone https://huggingface.co/guillaumekln/faster-whisper-large-v2

这里建议只下载faster-whisper-large-v2模型，也就是大模型的第二版，因为faster-whisper本来就比whisper快，所以使用large模型优势就会更加的明显。

注意：下载后的目录是faster-whisper-large-v2，要分成两级目录：faster-whisper和large-v2。

模型放入models文件夹的faster-whisper目录，最终目录结构如下：

models
├─faster-whisper
│    ├─large-v2
└─silero-vad
      ├─examples
      │ ├─cpp
      │ ├─microphone_and_webRTC_integration
      │ └─pyaudio-streaming
      ├─files
      └─__pycache__

至此，模型就配置好了。

6、测试模型

回到项目根目录faster-whisper-webui下，

执行如下命令：

python cli.py --model large-v2 --vad silero-vad --language Japanese "https://www.youtube.com/watch?v=4cICErqqRSM"
是不是碰到了如下错误？

安装一个合适的pytorch即可

访问：https://pytorch.org/

拷贝来自该网页的一个命令，并执行：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

注意：要安装合适的版本，可以参考《YOLOv8入门篇--YOLOv8的安装和使用》

再次执行测试命令：

python cli.py --model large-v2 --vad silero-vad --language Japanese "https://www.youtube.com/watch?v=4cICErqqRSM"

看到输出如下，成功了！

更高级的一些用法，可以阅读README.md。