Wearable – a pulseira vestível captura o corpo inteiro em 3D

TX, 08/11/2022 

Por Louis DiPietro 

Usando uma câmera em miniatura e uma rede neural profunda personalizada, os pesquisadores da Cornell desenvolveram uma pulseira inédita que rastreia toda a postura do corpo em 3D.

BodyTrak é o primeiro wearable para rastrear a pose de corpo inteiro com uma única câmera. Se integrado a futuros smartwatches, o BodyTrak pode ser um divisor de águas no monitoramento da mecânica do corpo do usuário em atividades físicas onde a precisão é crítica, disse Cheng Zhang, professor assistente de ciência da informação e autor sênior do artigo.

“Como os smartwatches já possuem uma câmera, tecnologias como o BodyTrak podem entender a pose do usuário e fornecer feedback em tempo real”, disse Zhang. "Isso é prático, acessível e não limita a área de movimentação do usuário."

Um artigo correspondente, "BodyTrak: Inferring Full-body Poses from Body Silhouettes Using a Miniature Camera on a Wristband", foi publicado na revista Proceedings of the Association for Computing Machinery (ACM) on Interactive, Mobile, Wearable and Ubiquitous Technology, e apresentado em setembro na UbiComp 2022, a conferência internacional da ACM sobre computação pervasiva e ubíqua.

O BodyTrak é o mais recente sistema de detecção corporal do SciFiLab – baseado na Cornell Ann S. Bowers College of Computing and Information Science – um grupo que já desenvolveu e aproveitou modelos de aprendizado profundo (DL – Deep Learning) semelhantes para rastrear movimentos de mãos e dedos, expressões faciais e até reconhecimento de fala silenciosa.

O segredo do BodyTrak não está apenas na câmera do tamanho de uma moeda de dez centavos no pulso, mas também na rede neural profunda personalizada por trás dela. Essa rede neural profunda – um método de IA que treina os computadores para aprender com os erros – lê as imagens rudimentares da câmera ou "silhuetas" do corpo do usuário em movimento e recria virtualmente 14 poses corporais em 3D e em tempo real.

Em outras palavras, o modelo preenche e completa com precisão as imagens parciais capturadas pela câmera, disse Hyunchul Lim, estudante de doutorado na área de ciência da informação e principal autor do artigo.

"Nossa pesquisa mostra que não precisamos que nossos corpos estejam totalmente dentro da visão da câmera para detecção do corpo", disse Lim. “Se formos capazes de capturar apenas uma parte de nossos corpos, é muita informação para inferir para reconstruir o corpo inteiro”.

Manter a privacidade dos espectadores perto de alguém usando um dispositivo de detecção é uma preocupação legítima ao desenvolver essas tecnologias, disseram Zhang e Lim. Eles disseram que o BodyTrak mitiga as preocupações com a privacidade dos espectadores, já que a câmera é apontada para o corpo do usuário e coleta apenas imagens parciais do corpo do usuário.

Eles também reconhecem que os relógios inteligentes de hoje ainda não possuem câmeras pequenas ou poderosas o suficiente e duração de bateria adequada para integrar a detecção de corpo inteiro, mas poderão no futuro.

Junto com Lim e Zhang, co-autores do artigo são Matthew Dressa '22, Jae Hoon Kim '23 e Ruidong Zhang, um estudante de doutorado no campo da ciência da informação; Yaxuan Li da Universidade McGill; e Fang Hu da Universidade Jian Tong de Xangai.

Artigos recomendados: WB e Dados

Fonte:https://techxplore.com/news/2022-11-wearable-wristband-captures-entire-body.html