TB, 26/05/2023
Por Maggie Harrison
Visão de macaco
Pesquisadores da Universidade Nacional de Cingapura e da Universidade Chinesa de Hong Kong, afirmam ter criado uma IA que pode reconstruir vídeos de "alta qualidade" a partir de sinais cerebrais.
Como os pesquisadores explicam em um artigo ainda a ser revisado por pares, o modelo de IA apelidado de MinD-Video é "co-treinado" em dados publicamente disponíveis de leituras de fMRI - especificamente, dados retirados de casos em que um indivíduo foi mostrado um vídeo enquanto sua atividade cerebral estava sendo gravada - e um modelo aumentado do gerador de imagens de IA Stable Diffusion.
Usando esse "pipeline de dois módulos projetado para preencher a lacuna entre a decodificação cerebral de imagem e vídeo", eles foram capazes de gerar reconstruções de "alta qualidade" geradas por IA dos vídeos, que foram originalmente mostrados aos participantes, puramente com base em suas leituras cerebrais.
De acordo com os pesquisadores, seu modelo foi capaz de reconstruir esses vídeos com uma precisão média de 85%, com base em "várias métricas semânticas e de nível de pixel".
"Entender as informações escondidas em nossas complexas atividades cerebrais é um grande quebra-cabeça na neurociência cognitiva", diz o artigo. "Mostramos que vídeos de alta qualidade de taxas de quadros arbitrárias podem ser reconstruídos com o Mind-Video usando orientação adversarial."
Entrada e Saída
O novo artigo se baseia nos esforços anteriores dos pesquisadores de usar IA para recriar imagens analisando apenas ondas cerebrais.
As novas renderizações de vídeo da IA, no geral, são bastante impressionantes, como demonstrado em comparações diretas lado a lado dos vídeos originais e "reconstruídos" no site dos pesquisadores.
Por exemplo, um vídeo de uma multidão caminhando por uma rua movimentada se traduziu em uma cena igualmente lotada, embora com cores mais vivas. Uma cena subaquática de peixes coloridos se transformou em uma cena subaquática ainda mais vibrante.
Mas o efeito está longe de ser perfeito. Por exemplo, um vídeo de uma água-viva foi inexplicavelmente transformado em um clipe de um peixe nadando, enquanto um vídeo de uma tartaruga marinha foi reinterpretado como filmagem de um peixe.
Capacete de leitura cerebral
Os pesquisadores argumentam que essas gerações de IA também podem oferecer insights neurológicos, por exemplo, mostrando o domínio do córtex visual no processo de percepção visual.
Embora esta pesquisa seja fascinante, ainda estamos longe de um futuro em que possamos amarrar um capacete e obter um fluxo de vídeo perfeitamente preciso, e gerado por IA de qualquer coisa que esteja flutuando ao redor de nosso crânio.
E, francamente, isso provavelmente é uma coisa boa, dadas as implicações de privacidade de dados.
Artigos recomendados: BCI e Metaverso
Fonte:https://futurism.com/the-byte/ai-generates-video-brain-signals
Nenhum comentário:
Postar um comentário