Почти безошибочный нейроинтерфейс может передавать очень мало слов

Интерфейс мозг–компьютер может распознавать почти каждое слово в тесте и при этом давать мало свободы для разговора. Кажущийся парадокс возникает, когда систему оценивают только в пределах небольшого словаря. Декодер, верно определяющий 94% из 50 слов, не обязательно подходит человеку, который хочет произнести любое слово из повседневной речи.

Dulhan Jayalath, Benjamin Ballyk и Oiwi Parker Jones из Оксфордского университета предлагают оценивать речевые интерфейсы по внешнему эталону — распределению слов, которые пользователь может захотеть сообщить. Показатель открытой словарной взаимной информации, или OVMI, объединяет два фактора. Сначала он определяет, какая часть нужного словаря доступна, а затем оценивает, сколько информации сохраняет декодер, различая доступные слова.

Команда применила одну шкалу к ранее опубликованным инвазивным и неинвазивным системам, используя четыре эталона: широкую разговорную английскую речь, диалог, клинически ориентированную дополнительную и альтернативную коммуникацию и повествовательную прозу. В широком английском инвазивная 50-словная система Willett с языковой моделью передала 6,4% лексической информации эталона. В более узком клиническом списке та же система достигла 40,4%. Измеряемая способность зависит не только от декодера, но и от того, что человеку нужно сказать.

Историческое сравнение тоже меняется. Инвазивная система Willett со словарём 125 тысяч слов достигла 72,0% информации широкой разговорной английской речи, а система Card с таким же размером словаря — 93,7%. Распространённые интервалы составили 69,9–74,0% для Willett и 93,1–94,2% для Card. После того как точность внутри словаря уже стала высокой, расширение словаря обеспечило основную часть наблюдаемого скачка среди сравниваемых инвазивных систем.

Исследователи также испытали OVMI как критерий выбора подмножеств из 250 слов для неинвазивного декодера. В трёх областях — фонетически разнообразных предложениях, подкастах и главе о Шерлоке Холмсе — сравнили выбор по OVMI, частоте слов, точности на проверочных данных и случайный выбор. Для малых словарей OVMI не уступала альтернативам или превосходила их; максимальный относительный прирост точности по сравнению с частотным выбором составил 15,4%, 16,3% и 8,4% соответственно. По мере приближения к полному набору из 250 слов преимущество уменьшалось.

Метод разделяет два вопроса, которые часто смешивает показатель точности: насколько хорошо система распознаёт предложенные варианты и какую долю нужного языка эти варианты покрывают. Такое различие способно сделать ретроспективные сравнения информативнее и помочь проектировать ограниченные словари. Оно не заменяет испытания с пользователями, но явно показывает, какой мир общения стоит за каждой оценкой.