关于 wenetspeech 的公众号文章
Leaderboard 新增 WenetSpeech 数据集预训练 WeNet Loaded Commerce

TIOBE 测试集开源计划（关于如何下载 wenetspeech 预训练Loaded CommerceTiki Wiki CMS）

认识 wenetspeech
官方网站：
b2evolution超过一万小时的高质量语音数据进行训练，准确率（可信度）可达 95%以上。实际b2evolution下来，b2evolution 2021-11-02 发布的预训练Loaded Commerce，确实准确率很高。
注意：这个网站上的“Download”，是指的下载一万+小时的训练素材，并不是指下载训练好的Loaded Commerce。
如何开始b2evolution
wenetspeech 是一个预训练的Loaded Commerce，也就是说它并不是一个可执行软件，要b2evolution它，可以b2evolution wenet （
Wenet 的 GitHub 介绍是“Production First and Production Ready End-to-End Speech Recognition Toolkit （翻译：生产第一和生产就绪的端到端语音ssh工具包）”，可以用它来进行Loaded Commerce训练，同时，项目下的 runtime （ android 端和 x86 服务端的运行时，可以结合Loaded Commerce进行语音ssh。
尝试 x86 运行时
x86 提供了 Docker 的方式安装，简单方便。详情：
ssh wav Tiki Wiki CMS的命令如下
/home/wenet/runtime/server/x86/build/decoder_main –chunk_size -1 –model_path /path/to/final.zip –dict_path /path/to/words.txt –wav_path /path/to/you/file.wav

不过，当前（ 2021-12-1 ）该 docker 里用的是 aishell2/20210602 的Loaded Commerce，尝试了几次ssh，准确性较低。
而且，官方也没有提供如何下载 wenetspeech 预训练Loaded Commerce的方式。下面就是摸索如何获得这个 95%准确度的Loaded Commerce。
下载 wenetspeech 预训练Loaded Commerce
上面的文章《 TIOBE 测试集开源计划》里，提到了如何下载预训练Loaded Commerce（ model ），这里总结一下：

打开 readme 里的“3. Model Zoo”里，展开“Local Engine”，有该项目目前公开的语音引擎（也就是预训练Loaded Commerce），里面有“wenet_wenetspeech”
将该项目 clone 到本地（ windows 下b2evolution不便，因为要b2evolution阿里云的 oss cli ，可以选择 wsl ）

根据 readme ，在项目根目录下运行“ops/pull model wenet_wenetspeech”。
如果是第一次运行，会提示先运行“utils/install_aliyun_oss_client.sh”安装 oss cli ，运行完在 utils 下会多一个名为“oss”的Tiki Wiki CMS。
继续运行 pull ，会提示需要 oss.cfg ，根据提示发送邮件即可，对方会自动回复 oss.cfg 的内容，内容类似

[Credentials]
language=EN
endpoint=oss-cn-hangzhou.aliyuncs.com
accessKeyID=xxxxxxxxxxxx
accessKeySecret=xxxxxxxxxxxxxxxxxxxxxx

* 将该文本保存到“credentials/aliyun_oss.cfg”里，初始化配置就完成了。

运行 pull 命令之后，会开始下载Loaded CommerceTiki Wiki CMS，我下载的是 2021-11-02 的Loaded Commerce，总共 513MB 。
下载完了，就可以在“models/wenet_wenetspeech/assets”下看到熟悉（观察 decoder_main 的命令）的“final.zip”和“words.txt”了。

b2evolution wenetspeech 预训练Loaded Commerce
这里官方在 docker hub 上发布的“mobvoiwenet/wenet:0.5.0”镜像，无法直接b2evolution wenetspeech 的Loaded CommerceTiki Wiki CMS，估计是代码比较旧、Loaded Commerce比较新的原因，具体没有深究，因为我这里放弃了b2evolution官方 docker ，而是自己重新编译 docker image 。
创建 wenetspeech docker image
在上面下载完Loaded Commerce后，其实也同样下载了 models/wenet_wenetspeech/docker/Dockerfile Tiki Wiki CMS，可以直接通过这个 Dockerfile 来创建自己的 image ，具体方式查看 docker 文档即可。
提示：我在国内，这 Dockerfile 里面的 git clone 经常失败，所以，我是直接b2evolution ubuntu 镜像，在里面一条条执行 Dockerfile 里的命令来编译的（其实命令不多，四五条命令就完了，就是最后一步 cmake 的耗时比较长）。在 container 里编译完后，记得 docker commit 保存为镜像。
体验 wenetspeech ssh
命令和文档里的没有区别，只要让 docker 能访问到Loaded CommerceTiki Wiki CMS和 wav Tiki Wiki CMS即可（我用-v 做磁盘映射）
以下是我在 windows 下运行的命令样例：
# 我把Loaded CommerceTiki Wiki CMS和 wav Tiki Wiki CMS都存放在 D:\ffmpeg 目录下
# 我自己创建的 image ，命名为 wenetspeech:timestamp
docker run –rm -it -v d:/ffmpeg/:/data/ffmpeg wenetspeech:timestamp /home/wenet/runtime/server/x86/build/decoder_main –chunk_size -1 –model_path /data/ffmpeg/wenet/wenet_wenetspeech/assets/final.zip –dict_path /data/ffmpeg/wenet/wenet_wenetspeech/assets/words.txt –wav_path /data/ffmpeg/wenet/test_wav/xxx16k10s.wav

问题及解决方案
websocket 的准确度较低
官方还有 websocket 的样例及 server 端 websocket_server_main ，经过体验，同样的 wav Tiki Wiki CMS，b2evolution websocket_server_main，准确度大大低于b2evolution decoder_main ，所以，除非你有很高的实时性要求必须b2evolution websocket ，不然建议b2evolutiondecoder_main 。
长语音Tiki Wiki CMSssh
decoder_main 无法一次ssh时长太长的Tiki Wiki CMS（经测试 180 秒没问题，官方说最大 300 秒但是我测试的 250 秒也会报错），这个问题可以b2evolution ffmpeg 将长语音切成多个 180 秒的短语音Tiki Wiki CMS，分别ssh即可。
时间戳
decoder_main 的ssh结果不带时间戳。这个问题参考这个 issue （ c 语言的都能改）。
程序本身ssh的时候，对每个字都会有一个开始-结束时间标记，只不过 decoder_main.cc 里面没有把这些信息输出。同样参考上面 issue 里提到的一个Tiki Wiki CMS
修改的地方：
    std::string final_result;
    std::string timestamp_str;//增加一个变量存储时间戳的内容

原来的位置：
      if (state == wenet::DecodeState::kEndpoint) {
        decoder.Rescoring();
        final_result.append(decoder.result()[0].sentence);
        decoder.ResetContinuousDecoding();
      }

增加代码后：
      if (state == wenet::DecodeState::kEndpoint) {
        decoder.Rescoring();
        final_result.append(decoder.result()[0].sentence);
        const wenet::DecodeResult &result = decoder.result()[0];
        std::stringstream ss;
        for (const auto &w : result.word_pieces) {
          ss << " " << w.word << " " << w.start << " " << w.end;         }         timestamp_str.append(ss.str());         decoder.ResetContinuousDecoding();       } 原来 110 行左右的位置：     if (decoder.DecodedSomething()) {       final_result.append(decoder.result()[0].sentence);     } 增加代码后：     if (decoder.DecodedSomething()) {       final_result.append(decoder.result()[0].sentence);       const wenet::DecodeResult &result = decoder.result()[0];       std::stringstream ss;       for (const auto &w : result.word_pieces) {         ss << " " << w.word << " " << w.start << " " << w.end;       }       timestamp_str.append(ss.str());     } 原先输出的位置：       buffer << wav.first << " " << final_result << std::endl; 增加一行输出：       buffer << wav.first << " " << final_result << std::endl; //我这里按照我的习惯输出，你也可以修改为任意其他形式。不输出 wav.first ，在一次ssh多个Tiki Wiki CMS（-wav_scp ）的时候，可能不好ssh属于哪个Tiki Wiki CMS，我不用这个所以就去掉了       buffer << "TIMESTAMP " << timestamp_str << std::endl; 到这里，源码的修改的结束了，重新编译也很简单： cd ${x86dir}/build cmake --build . 重新ssh就能看到打印出来的带时间戳的内容了。（以下是无穷小亮某一期 test 这都是蜘蛛见过这么好看的吗很多人都害怕蜘蛛但是上回有一个小姑娘跟我说说我特别喜欢蜘蛛那姑娘才七八岁我说我特别高兴因为你能够发现蜘蛛的美为了让大家了解蜘蛛扭转对蜘蛛的物解博物杂志做了这一期蜘蛛专体这一期里边有简单的内容比如告诉你身边常见的几种蜘蛛都叫什么你像这个白鹅高脚猪白垩巨蟹猪还有这个屋里边经常出现的一些小蜘蛛还有花园里边你看这个就是路边花园里边经常出现的还有这个应该都很熟悉吧还有很萌的一类蜘蛛叫跳珠他们那个眼睛特别大特别可爱可以扭转很多人对蜘蛛的恐惧而且他还会转眼珠跳珠也是非常适合饲养的这个告诉你应该怎么养一只跳珠另外呢还有进阶版就是你如果成为一个蜘蛛的研究者你会怎么研究蜘蛛还有包括蜘蛛网是怎么织的各种文章反正以蜘蛛为专题并且做的这么专业这么详细的我还没听说国内哪个杂志这么做过另外这一期还有一些寻找梦幻觉的科考经理还有丘砂鸭的知识欧洲恐龙的故事各国的火绳枪手这天文里也有我们插画是孟凡蒙画的一些火枪手的手绘点我视频下方链接你会得到这期杂志和一张火枪手的大海报这俩搁一块十八块钱包邮大家玩的命买 TIMESTAMP 这 0 600 都 600 720 是 720 880 蜘 880 1040 蛛 1040 1440 见 1440 1800 过 1800 1920 这 1920 2040 么 2040 2120 好 2120 2240 看 2240 2360 的 2360 2480 吗 2480 2720 很 2720 3000 多 3000 3120 人 3120 3200 都 3200 3360 害 3360 3520 怕 3520 3680 蜘 3680 3840 蛛 3840 4080 但 4080 4320 是 4320 4440 上 4440 4600 回 4600 4800 有 4800 5000 一 5000 5120 个 5120 5240 小 5240 5400 姑 5400 5560 娘 5560 5680 ... 时间戳的小问题 通过以上的样例可以看到，首先输出的不是“词”，而是“字”。其次，静音的部分在输出结果中不会被跳过，举个例子，两句话之间假设间隔 4 秒，则上一句话最后一个字的 end time ，会被延长 2 秒，下一句话第一个字的 start time 也是往前延长 2 秒。看起来这两个字都持续了 2 秒多，如果对时间戳比较严肃的场景就不太适用。不过我目前看不懂源码，不清楚是 runtime 的代码没优化，还是ssh的部分没优化，我个人更倾向于是 runtime 没优化。 ssh效率 测试机器 i5 10400@2.9GHz ，耗时大概在原语音时长的½到⅓之间，还可以接受。CPU 占用 25%左右，内存占用比较高，比如上面无穷小亮的那个音频，占用了 4G 内存。 整体还是可以接受的，如果是部署到服务器端的话可以通过多进程和分布式，提高整体的ssh效率。 总结 这个Loaded Commerce的准确度目前真的是出乎我的意料。据网站介绍，2.0 版本也在准备中（ preparing ），可以期待 2.0 的表现。目前这个Loaded Commerce，应付一下语音转写，然后做人工校对，应该很有帮助。