Começamos a desvendar a caixa-preta da inteligência artificial

Redação do Site Inovação Tecnológica - 06/03/2023

Esta visualização ilustra as diferenças substanciais na escala de detalhes que o modelo recebe durante o treinamento (superior) e os detalhes que ele aprende a reconhecer (inferior) para fazer suas previsões.
[Imagem: P. Hassanzadeh/Rice University]

Caixa-preta da IA

Uma das ferramentas mais antigas da física, uma técnica matemática conhecida como análise de Fourier, desenvolvida há mais de 200 anos, pode revelar informações cruciais sobre como uma forma de inteligência artificial chamada rede neural profunda aprende a executar tarefas.

"Redes neurais profundas são notoriamente difíceis de entender e muitas vezes são consideradas ‘caixas pretas'," explica o professor Pedram Hassanzadeh, da Universidade Rice, nos EUA. "Esta é uma das principais preocupações com o uso de redes neurais profundas em aplicações científicas. A outra é a generalização: Essas redes não podem funcionar para um sistema diferente daquele para o qual foram treinadas."

Tem havido grandes esforços para tentar abrir essa caixa-preta e elucidar como as redes de aprendizado profundo aprendem a fazer previsões, mas sem sucesso. Por isso, a equipe partiu para uma abordagem diferente.

"As ferramentas comuns de aprendizado de máquina para entender as redes neurais não mostraram muito sucesso para aplicações de sistemas naturais e de engenharia, pelo menos não de modo que as descobertas possam ser conectadas à física," disse Hassanzadeh. "Nosso pensamento foi: 'Vamos fazer algo diferente. Vamos usar uma ferramenta que é comum para estudar física e aplicá-la ao estudo de uma rede neural que aprendeu a fazer física'."

Para isso, a equipe se voltou para os programas que analisam dados climáticos para fazer previsão do tempo - esses modelos essencialmente pegam registros passados de temperatura, umidade, ventos etc, e aprendem a prever o que acontecerá com o clima no futuro.

Alguns cientistas propõem que a inteligência artificial permitirá fazer ciência sem teorias e sem leis.
[Imagem: Eugene Kawaluk/University of Rochester]

Análise de Fourier

A análise de Fourier, desenvolvida na década de 1820, surgiu como a candidata natural para analisar esse aprendizado porque é a técnica favorita de físicos e matemáticos para identificar padrões de frequência no espaço e no tempo.

Por exemplo, se você tiver um registro minuto a minuto das temperaturas de um local em um período de um ano, as informações consistiriam em uma sequência de 525.600 números, um tipo de conjunto de dados que os físicos chamam de série temporal. Para facilitar essa análise, usa-se um cálculo para transformar cada número da série (a transformada de Fourier), criando outro conjunto de 525.600 números que contêm informações do conjunto original, mas com uma aparência bem diferente (o espaço de Fourier).

"Em vez de ver a temperatura a cada minuto, você veria apenas alguns picos," explicou Adam Subel, principal responsável pela pesquisa. "Um seria o cosseno de 24 horas, que seria o ciclo diurno e noturno de altos e baixos. Esse sinal estava lá o tempo todo na série temporal, mas a análise de Fourier permite que você veja facilmente esses tipos de sinais tanto no tempo quanto no espaço."

Com base nesse método, surgiram outras ferramentas para análise de frequência no tempo: Por exemplo, as transformações de passa-baixa filtram o ruído de fundo, e os filtros passa-alta fazem o inverso, permitindo focar no fundo.

Os pesquisadores então usaram essas técnicas para treinar uma rede neural de aprendizado profundo para reconhecer fluxos complexos de ar ou água e prever como os fluxos mudarão com o tempo, uma ferramenta essencial para a previsão do tempo e análise do clima.

Já sabemos também que a Inteligência Artificial tem seus limites devido a paradoxos matemáticos.
[Imagem: Yuichiro Chino/Universidade de Cambridge]

"Isso eu reconheço"

Em um modelo não treinado, os cerca de 1 milhão de parâmetros originais apresentaram valores aleatórios. Mas o treinamento os agrupou em cerca de 40.000 matrizes 5 x 5. E aí estava a chance para analisar o que a caixa-preta da inteligência artificial estava fazendo para conseguir prever a tendência do clima com eficácia.

"Quando pegamos a transformada de Fourier da equação, isso nos disse que deveríamos olhar para a transformada de Fourier dessas matrizes. Não sabíamos disso. Ninguém nunca fez essa parte antes, olhou para as transformadas de Fourier dessas matrizes e tentou conectá-las à física.

"E, quando fizemos isso, descobrimos que o que a rede neural está aprendendo é uma combinação de filtros passa-baixa, filtros passa-alta e filtros Gabor," disse Hassanzadeh - o filtro Gabor é um filtro linear usado para análise de imagens, checando se existe algum padrão em direções específicas em uma região localizada ao redor de um ponto de referência.

"O mais bonito disso é que a rede neural não está fazendo mágica," comemorou Hassanzadeh. "Ela não está fazendo nada maluco. Na verdade, ela está fazendo o que um físico ou matemático poderia ter tentado fazer. Claro, sem o poder das redes neurais, nós não sabíamos como combinar corretamente esses filtros. Mas, quando conversamos com físicos sobre esse trabalho, eles o adoraram. É como se eles dissessem 'Ah! Eu sei o que são essas coisas. Isso é o que a rede neural aprendeu. Entendo.'"

Já Subel destaca que as descobertas têm implicações importantes para o aprendizado profundo aplicado em estudos científicos e até sugerem que algumas coisas que os cientistas aprenderam ao estudar o aprendizado de máquina em outros contextos, como a classificação de imagens estáticas, podem não se aplicar ao aprendizado de máquina científico.

"Nós descobrimos que alguns dos conhecimentos e conclusões na literatura de aprendizado de máquina que foram obtidos em trabalhos com aplicativos comerciais e médicos, por exemplo, não se aplicam a muitas aplicações críticas em ciência e engenharia, como modelagem de mudanças climáticas," disse Subel. "Isso, por si só, é uma implicação importante."

Mais tópicos