近乎完美的脑机接口,也可能只能传达很少的词
一项新指标把识别准确率与词汇覆盖范围结合起来,用同一把尺度比较在不同条件下测试的语音解码器。

Leitura autorizada · 3 crédito(s) restante(s)
脑机接口可能在测试中识别出几乎所有词,却仍然难以让使用者自由交谈。这个表面上的矛盾,来自只在一个很小的词表内评价系统。一个能正确识别50个词中94%的解码器,并不等于能满足一个想表达日常对话中任意词语的人。
牛津大学的Dulhan Jayalath、Benjamin Ballyk和Oiwi Parker Jones提出,用外部参照来衡量语音接口:也就是使用者可能想表达的词语分布。新指标名为开放词汇互信息,英文简称OVMI。它先计算目标词汇中有多少可由系统表达,再估算解码器在区分这些可用词时保留了多少信息。
团队用同一尺度重新分析已发表的侵入式和非侵入式系统,并采用四种参照:广义英语口语、日常对话、面向临床需要的辅助与替代沟通,以及叙事文本。以广义英语口语为参照,Willett的50词侵入式系统在加入语言模型后传递了6.4%的词汇信息;换成范围较窄的临床词表,同一系统达到40.4%。因此,测得的能力不仅取决于解码器,也取决于使用者需要说什么。
历史比较也因此改写。Willett的12.5万词侵入式系统传递了广义英语口语信息的72.0%,Card的12.5万词系统达到93.7%。传播后的区间分别为69.9%至74.0%和93.1%至94.2%。在词表内部识别率已经很高之后,扩大词汇覆盖范围构成了所比较侵入式系统进步的主要部分。
研究人员还把OVMI用于一个非侵入式解码器,从250个候选词中选择不同大小的子集。他们在语音多样的句子、播客和《福尔摩斯》章节三个领域,比较了按OVMI、词频、验证准确率或随机选词的结果。小词表下,OVMI方案与其他方法相当或更好;相对于按词频选择,三个领域的最高相对准确率增益分别为15.4%、16.3%和8.4%。随着词表接近全部250个词,优势缩小。
这项方法把准确率常常混在一起的两个问题拆开:系统对给定选项识别得多好,以及这些选项覆盖了多少实际需要的语言。这个区别能让回顾性比较更有信息量,也可指导受限词表的设计。它不能替代真实使用者测试,但能明确每个分数所对应的沟通范围。
要点
- OVMI同时衡量解码准确率,以及系统覆盖目标词汇的比例。
- 一个50词系统覆盖广义英语信息的6.4%,在受限临床参照下则为40.4%。
- 在非侵入式测试的小词表选择中,该指标最高带来16.3%的相对准确率提升。

评论
尚无已发布评论。
订阅并登录后即可评论。