ほぼ完璧な脳インターフェースでも伝えられる語は少ないことがある

脳コンピューター・インターフェースが試験中の単語をほぼすべて認識しても、自由な会話にはほとんど使えない場合がある。この一見した矛盾は、小さな語彙の内側だけで性能を評価すると生じる。50語の94%を正しく認識するデコーダーでも、日常会話で任意の語を言いたい人の要求を自動的に満たすわけではない。

オックスフォード大学のDulhan Jayalath、Benjamin Ballyk、Oiwi Parker Jonesは、利用者が伝えたい可能性のある語の分布という外部基準で発話インターフェースを測る方法を提案した。オープン語彙相互情報量（OVMI）という指標は二つの要素を組み合わせる。まず意図された語彙のうち利用可能な割合を計算し、次に利用可能な語を区別するときにデコーダーが保つ情報量を推定する。

チームは、広範な英語口語、会話、臨床向けの補助代替コミュニケーション、物語文という四つの基準を使い、既発表の侵襲型と非侵襲型システムを同じ尺度で再評価した。言語モデルを備えたWillettの50語侵襲型システムは、広範な英語口語の語彙情報の6.4%を伝えたが、限定的な臨床語彙では40.4%に達した。測定される能力はデコーダーだけでなく、本人が何を言う必要があるかにも左右される。

歴史的な比較も姿を変える。Willettの12万5千語侵襲型システムは広範な英語口語情報の72.0%、Cardの12万5千語システムは93.7%に達した。伝播させた区間はWillettが69.9%から74.0%、Cardが93.1%から94.2%だった。語彙内の精度がすでに高くなった後は、語彙を広げたことが、比較対象の侵襲型システムで見られた向上の大部分を占めた。

研究者らは、非侵襲型デコーダーで250語から小さな語彙を選ぶ基準としてもOVMIを試した。音声的に多様な文、ポッドキャスト、『シャーロック・ホームズ』の一章の三領域で、OVMI、単語頻度、検証精度、無作為による選択を比較した。小さな語彙ではOVMIが他の方法と同等以上で、頻度選択に対する最大相対精度向上はそれぞれ15.4%、16.3%、8.4%だった。選択語数が250語全体に近づくほど利点は小さくなった。

この提案は、正解率が混同しがちな二つの問いを分ける。与えられた選択肢をどれほど正確に認識するかと、必要な言語をその選択肢がどれほど覆うかである。この区別は過去の研究比較をより有益にし、制限語彙の設計にも役立つ。利用者による試験の代わりにはならないが、各スコアが前提とするコミュニケーション範囲を明示できる。