Sensor neuromórfico reconhece e prevê movimento em um único quadro

Redação do Site Inovação Tecnológica - 26/04/2023

Os sensores convencionais capturam apenas um único momento em um quadro, mas o sensor "retinomórfico" (embaixo) consegue ler informações sobre o passado e usá-las para prever o futuro.
[Imagem: Hongwei Tan/Aalto University]

Movimento decifrado em um quadro

Um novo sensor bioinspirado conseguiu um feito que poderia parecer impossível: Reconhecer objetos em movimento em um único quadro de um vídeo e ainda prever para onde esse objeto irá se mover.

Este sensor inteligente será uma ferramenta valiosa em vários campos, incluindo detecção de visão dinâmica, inspeção automática em linhas de produção, controle de processos industriais, orientação robótica e tecnologia de direção autônoma para carros sem motorista.

"A propriedade exclusiva da nossa tecnologia é a capacidade de integrar uma série de imagens ópticas em um único quadro," explica Hongwei Tan, da Universidade Aalto, na Finlândia.

Os sistemas de detecção de movimento atuais precisam de muitos componentes e algoritmos complexos fazendo análises quadro a quadro, o que os torna ineficientes e grandes consumidores de energia.

Inspirando-se no sistema visual humano, os pesquisadores desenvolveram uma nova tecnologia de visão neuromórfica, baseada nos neurônios da retina, que integra detecção, memória e processamento em um único componente capaz de detectar movimento e prever trajetórias. A "mágica" fica por conta dos semicondutores usados, que se lembram do que lhes aconteceu no passado.

"As informações de cada imagem são incorporadas nas imagens a seguir como informações ocultas. Em outras palavras, o quadro final de um vídeo também contém informações sobre todos os quadros anteriores. Isso nos permite detectar o movimento no início do vídeo, analisando apenas o quadro final com uma rede neural artificial simples. O resultado é uma unidade de detecção compacta e eficiente," completou o pesquisador.

O sensor é feito de uma matriz de fotomemristores.
[Imagem: Hongwei Tan/Aalto University]

Fotomemoristores

O coração da tecnologia é um membro da classe dos memoristores, componentes eletrônicos com memória que estão na base da computação neuromórfica, que funciona imitando o cérebro ou outras partes do sistema nervoso.

Neste caso, trata-se de um fotomemoristor, no qual o efeito de memória está no modo como o componente responde à luz, modo este que é alterado em tempo de voo pela carga e/ou pelo fluxo de fótons que chega até ele. A corrente que flui pelo componente não para imediatamente quando a luz é apagada, decaindo gradualmente, o que significa que os fotomemristores podem efetivamente "lembrar" se foram expostos à luz recentemente.

Como resultado, um sensor feito de uma matriz de fotomemoristores não apenas registra informações instantâneas sobre uma cena, como faz uma câmera, mas também inclui uma memória dinâmica dos instantes anteriores.

Para demonstrar a tecnologia, os pesquisadores usaram vídeos mostrando as letras de uma palavra por vez. Como todas as palavras terminavam com a letra "E", o quadro final de todos os vídeos parecia semelhante. Sensores de visão convencionais não conseguiam dizer se o "E" na tela havia aparecido após as outras letras em "APPLE" (maçã) ou "GRAPE" (uva). Mas a matriz de fotomemristores usa informações "ocultas" - remanescentes dos quadros anteriores - no quadro final para inferir quais letras precederam o "E" e prever qual era a palavra com quase 100% de precisão.

Em outro teste, a equipe mostrou ao sensor um vídeo animado de uma pessoa se movendo em três velocidades diferentes. O sistema não apenas foi capaz de reconhecer o movimento analisando um único quadro, como também previu corretamente os próximos quadros.

Detecção, memória e processamento: Tudo é feito dentro do sensor.
[Imagem: Hongwei Tan et al. - 10.1038/s41467-023-37886-y]

Memória e processamento no sensor

Detectar com precisão o movimento e prever onde um objeto estará no momento seguinte são vitais para a tecnologia de direção autônoma e transporte inteligente. Veículos autônomos precisam de previsões precisas de como carros, bicicletas, pedestres e outros objetos se moverão, para orientar suas decisões.

Ao adicionar um sistema de aprendizado de máquina à matriz de fotomemristores, os pesquisadores mostraram que seu sistema integrado - processamento no próprio sensor - é uma plataforma promissora para tornar essa tecnologia mais eficiente em todos os sentidos, do próprio processamento e do hardware necessário até o consumo de energia.

"O reconhecimento e previsão de movimento por nossa solução compacta de memória e computação no sensor oferece novas oportunidades em robótica autônoma e interações humano-máquina," disse o professor Sebastiaan van Dijken. "As informações dentro do quadro que obtemos em nosso sistema usando fotomemristores evitam fluxos de dados redundantes, permitindo a tomada de decisões com eficiência energética em tempo real."

Mais tópicos