Rede neural de atenção espaço-temporal adaptativa para reconhecimento de microexpressões entre bancos de dados

TX, 16/06/2023 

Por Beijing Zhongke

Muitas aplicações e sistemas inteligentes, incluindo hardware e dispositivos biomédicos, requerem tecnologia de interação humano-computador. Essa tecnologia permite que um hardware inteligente obtenha informações fisiológicas e comportamentais de humanos para processar e realizar tarefas específicas, proporcionando comodidade no dia a dia e promovendo eficiência social. Além disso, a tecnologia de interação humano-computador é relevante para muitos campos de pesquisa importantes.

O reconhecimento de emoções é um desafio significativo na interação humano-computador, pois entender o estado emocional dos humanos é difícil, mas importante para máquinas inteligentes durante o processo de interação. Reconhecer as emoções humanas através do reconhecimento de microexpressões faciais tornou-se cada vez mais popular nos últimos anos. As microexpressões são expressões faciais breves e involuntárias que consistem em movimentos sutis dos músculos faciais que ocorrem quando uma pessoa tenta esconder emoções.

Assim, as microexpressões geralmente podem revelar os verdadeiros estados emocionais dos seres humanos, e transmitir informações mais substanciais em comparação com as expressões faciais comuns. Portanto, o reconhecimento automático de microexpressões terá aplicações potencialmente úteis em muitos campos. Por exemplo, diagnósticos clínicos, trabalho de segurança e interação humano-computador.

Inspirado pelos estudos discutidos acima, uma rede neural de atenção espaço-temporal adaptativa (ASTANN) para CDMER é proposta neste artigo. Especificamente, os bancos de dados são primeiro pré-processados ​​extraindo informações de fluxo óptico. Em seguida, as informações do fluxo óptico são combinadas com as imagens faciais para gerar novas representações. Além disso, três imagens da nova representação foram escolhidas para servir como sequência de expressão dinâmica e, em seguida, encaixadas na rede para posterior extração de características espaço-temporais.

Finalmente, uma função de perda simples, mas eficaz, é desenvolvida para otimizar os parâmetros de rede para aliviar a lacuna de distribuição entre os bancos de dados de origem e destino. A principal vantagem desse modelo é que ele utiliza uma rede neural profunda, com um mecanismo de atenção espaço-temporal para focar nos recursos sutis e instantâneos de microexpressões para resolver problemas de CDMER.

Ao empregar atenção espaço-temporal, a arquitetura pode capturar automaticamente informações úteis que são esparsas nos domínios espacial e temporal em amostras de microexpressão para tarefas CDMER.

O mecanismo de atenção é introduzido calculando pesos de atenção para amostras nos domínios espacial e temporal, o que destaca informações que são mais úteis em amostras para a estrutura de backbone.

• Um método de adaptação de domínio simples, mas eficaz, é utilizado para incorporar o alinhamento de correlação (CORAL)

• Um método de adaptação de domínio simples, porém eficaz, é utilizado para incorporar a perda de alinhamento de correlação (CORAL) na primeira camada totalmente conectada (FC) da rede neural, o que melhora significativamente o desempenho de tarefas entre bancos de dados.

• Experimentos são conduzidos em duas tarefas de benchmark e os resultados mostram que a abordagem dos autores tem desempenho superior em comparação com os métodos de estado da arte (SOTA).

No futuro, os pesquisadores esperam investigar se a combinação de informações multimodais, como texto e áudio, pode auxiliar no processo de reconhecimento, que é uma questão significativa e pode contribuir para o campo de pesquisa do CDMER.

Artigos recomendados: ML e IA

Fonte:https://techxplore.com/news/2023-06-spatio-temporal-attention-neural-network-cross-database.html