可以使用HTK中的HResults模块来计算WER(字错误率)。下面从HTK安装开始一点点为大家讲解如何使用。

本文参考网上的各种教程,属于个人原创,如需转载,请标明出处和本文地址。

本文主要由以下部分组成:

  • 一、HTK在Windows下的编译
  • 二、使用HResults模块计算WER

一、HTK在Windows下的编译

HTK的下载地址为: http://htk.eng.cam.ac.uk/download.shtml

请注意,下载的时候需要先注册账号然后进行下载。在安装之前,请务必确定已经安装了Visual Stuio,我使用的是Visual Studio 2019,所以推荐使用2019及以上版本。

下载完HTK后,将其解压,例如我是解压到了C:\htk目录,所以后续我以此目录来进行讲解。

在C:\htk目录新建一个文件夹名为 bin.win32 。然后打开命令行,切换到PATH中VS的地址,例如我的是D:\Program Files (x86)\Visual Studio 14.0\Common7\Tools,就输入

d:
cd D:\Program Files (x86)\Visual Studio 14.0\Common7\Tools

切换目录后,执行:vsvar32。

然后切换回C:\htk。接下来执行:

cd  HTKLib

nmake /f htk_htklib_nt.mkf all 

cd ..

cd HTKTools

nmake /f htk_htktools_nt.mkf all

cd ..                          

cd HLMLib                      

nmake /f htk_hlmlib_nt.mkf all 

cd ..                          

cd HLMTools                    

nmake /f htk_hlmtools_nt.mkf all

把以上所有文件编译完成,HTK就编译完成了,所有的可执行文件(*.exe)都保存在了 bin.win32 目录中。

为了使用方便,可以将C:\htk\bin.win32加入PATH变量。

二、使用HResults模块计算WER

WER的计算公式为:

WER = (S + D + I ) / N = (S + D + I ) / (S + D + C)  

其中,S为替换的字数,D为删除的字数,I为插入的字数,C为正确的字数。

HResults模块只能用mlf模块,所以需要先想办法将文本转换为mlf格式。需要注意,为了符合格式要求,txt文档必须为ANSI编码格式,且其中的每一段话前面要加上数字序号。例如:

1 山东科技大学

2 西安电子科技大学

然后使用python编写脚本文件进行转换,脚本文件内容如下:

# -*- coding: utf-8 -*-"""Created on Thu Feb 20 16:34:02 2020@author: davidcheung"""#-*- coding:utf-8 -*-import os,sysdef to_mlf(xi): dx={ "0":"零", "1":"一", "2":"二", "3":"三", "4":"四", "5":"五", "6":"六", "7":"七", "8":"八", "9":"九" }; d=[] eng=[] tx=[",",".","!","(",")",",","。","!",';','、',':','?','“','”']; for x in xi: u=x.encode("utf-8") if u in tx: continue; if len(u)==1: if u in dx: u=dx[u] eng.append(str(u, encoding='utf-8')) else: if len(eng)>0: d.append("".join(eng).upper()) eng=[] d.append(str(u, encoding='utf-8')) if len(eng)>0: d.append("".join(eng).upper()) return ddef fn_to_lab(s): x=s.split() for i in x: d=to_mlf(i.strip()) if len(d)>0: print("\n".join(d)) print('.')fn=sys.argv[1]print('#!MLF!#')for l in open(fn): l=l.strip() x=l.split() k=x[0].strip() v=" ".join(x[1:]) t=".".join(k) print('"*No%s.lab" ' % t) fn_to_lab(v)

此脚本可以明明为src2mlf.py,该脚本的功能是将正确的结果转化为相应的mlf文件。如果是测试结果,可以将该代码中print(‘”*No%s.lab” ‘ % t)的lab修改为rec即可。

运行的时候执行命令如下:

python src2mlf.py src.txt >src.mlfpython rec2mlf.py testResult.txt >testResult.mlf

然后在命令行中切换到当前mlf目录,然后执行以下命令即可

HResults.exe -t -I src.mlf nul testResult.mlf

当然对于Linux(如CentOS系统)下,则执行

HResults -t -I src.mlf /dev/null testResult.mlf

下面举一个例子,例如源文件(cessrc.txt)为

1 西安电子科技大学通信工程学院
2 山东科技大学
3 小奥部落格

测试输出结果(cestest.txt)为

1 西安电子科技大学同新工程学院
2 山东大学
3 小奥哈哈部落格

则经过HResults测试之后输出结果为

Aligned transcription: *No1.lab vs *No1.rec
LAB: 西 安 电 子 科 技 大 学 通 信 工 程 学 院
REC: 西 安 电 子 科 技 大 学 同 新 工 程 学 院
Aligned transcription: *No2.lab vs *No2.rec
LAB: 山 东 科 技 大 学
REC: 山 东 大 学
Aligned transcription: *No3.lab vs *No3.rec
LAB: 小 奥 部 落 格
REC: 小 奥 哈 哈 部 落 格
====================== HTK Results Analysis =======================
Date: Thu Feb 20 18:46:05 2020
Ref : cessrc.mlf
Rec : cestest.mlf
———————— Overall Results ————————–
SENT: %Correct=0.00 [H=0, S=3, N=3]
WORD: %Corr=84.00, Acc=76.00 [H=21, D=2, S=2, I=2, N=25]

计算出来的Corr为字正确率,取100-Corr就为WER。ACC为字准确率。