Um implante cerebral combina fala e gestos para comandar um avatar

Um cumprimento pode juntar uma palavra e um aceno, mas ensinar uma interface cerebral a reconhecer os dois ao mesmo tempo não é simplesmente reunir dois programas que funcionam separados. Uma equipe da Universidade da Califórnia em São Francisco mostrou que um único implante pode fornecer sinais para decodificar fala e gestos em paralelo e controlar uma representação digital do usuário. Publicado em 14 de setembro na Nature Neuroscience, o estudo de Samantha Brosler, Jessie Liu, Alexander Silva e colegas demonstra essa possibilidade em tarefas com opções previamente definidas, ainda distantes de uma conversa irrestrita.

Os pesquisadores registraram a atividade cerebral de três pessoas com diferentes graus de paralisia. Em cada uma, uma malha de 253 eletrodos repousava sobre a superfície cerebral, abrangendo regiões relacionadas à fala e aos movimentos. Essa técnica, chamada eletrocorticografia, capta sinais elétricos de populações de neurônios. As demonstrações com o avatar e as tarefas que combinavam fala e gestos envolveram dois participantes: um com paralisia após um acidente vascular cerebral no tronco encefálico e outro com esclerose lateral amiotrófica, doença que compromete os neurônios responsáveis pelo movimento.

Em tentativas guiadas por sinais na tela, os participantes procuravam produzir frases, realizar ou imaginar gestos, ou combinar ambas as ações, conforme suas capacidades. Dois modelos de aprendizado de máquina recebiam os sinais do mesmo implante: um classificava frases e o outro classificava gestos. A frase reconhecida aparecia como texto, enquanto o avatar acenava, movia a cabeça ou executava outro gesto selecionado. O comando era destinado ao corpo digital; o experimento não recuperou os movimentos do corpo paralisado.

O obstáculo surgiu quando modelos treinados apenas com fala isolada ou gestos isolados precisaram interpretar tentativas simultâneas. Parte dos eletrodos respondia aos dois comportamentos, e os padrões registrados durante a combinação não eram reconhecidos com a mesma eficiência. Incluir exemplos simultâneos no treinamento melhorou o desempenho. Outra mudança ensinou cada modelo a não produzir uma resposta quando apenas a outra modalidade estava presente: por exemplo, o classificador de fala aprendeu que uma tentativa de aceno isolado não deveria virar uma frase.

No teste simultâneo em tempo real com o participante com esclerose lateral amiotrófica, o sistema identificou corretamente 70% das frases e 66% dos gestos, entre dez alternativas de cada tipo, além da classe de repouso. Os intervalos de confiança de 95%, que expressam a incerteza dessas estimativas, foram de 63,5% a 76% para fala e de 59,5% a 72,5% para gestos. O referencial de escolha aleatória entre as onze classes era de aproximadamente 9,1%. São medidas separadas: não significam que frase e gesto estivessem ambos corretos em 70% das tentativas.

A contribuição central é mostrar como treinar uma interface para comportamentos que coexistem na comunicação. Um gesto pode complementar uma frase ou constituir uma resposta por si mesmo, ampliando o que um avatar permite expressar. Para que essa demonstração se torne uma ferramenta de uso cotidiano, ainda será necessário ampliar os repertórios, reduzir a demora das respostas e verificar o desempenho em mais pessoas. O sistema estudado também depende de uma conexão por fios entre o implante e equipamentos externos.