Plantão

Algoritmos fomentam desigualdade e discriminação, diz pesquisadora

Com informações da BBC - 20/11/2016

"Esses algoritmos são, em certo sentido, opacos: as pessoas não entendem de onde eles vêm, como são calculados e computados. Às vezes, eles até são secretos," explica Cathy O'Neil.
[Imagem: BBC/Divulgação]

Governados por algoritmos

Como ciência exata, a matemática é admirada por muitos, mas uma estudiosa do tema está levantando surpreendentes críticas a fórmulas que sempre pensamos serem "inofensivas". Cathy O'Neil garante: elas são parte da causa da desigualdade e discriminação do mundo.

A ex-professora da prestigiada Universidade de Colúmbia, nos Estados Unidos, trabalhou como analista de dados de Wall Street. Ela deixou o mundo acadêmico e financeiro para se tornar uma das representantes mais ativas do movimento Ocuppy Wall Street (OWS), que denuncia os excessos do sistema financeiro americano desde 2011.

Cinco anos depois do surgimento do movimento, O'Neil publicou seu livro Weapons of Math Destruction (Armas de Destruição Matemática, na tradução livre), em que descreve como algoritmos matemáticos "governam" nossas vidas (e tendem a prejudicar os mais desfavorecidos).

"Vivemos na era dos algoritmos. Cada vez mais, as decisões que afetam as nossas vidas - como qual escola estudar, se podemos ou não fazer um empréstimo, quanto pagamos por um seguro de saúde - não são tomadas por humanos, e sim por matemáticos", escreveu ela.

Maior prova matemática nunca será lida por humanos

Discriminação matemática

Na teoria, explica a especialista, isso deveria levar a uma maior igualdade, para que todo mundo fosse julgado sob as mesmas regras - e a discriminação não existisse. Mas segundo O'Neil, o que ocorre é exatamente o contrário.

Os algoritmos funcionam como "receitas" criadas por computadores para analisar grande quantidade de dados. Um algoritmo pode nos recomendar um filme ou proteger de um vírus no computador - mas isso não é tudo. Há certos algoritmos que O'Neil define como "opacos, desregulados e irrefutáveis". Mas o mais preocupante, diz ela, é que eles reforçam a discriminação.

A primeira característica desses algoritmos é que eles "tomam decisões muito importantes na vida das pessoas".

Por exemplo: se um jovem pobre nos Estados Unidos quer pedir um empréstimo para pagar seus estudos, o sistema irá rejeitá-lo porque será considerado "muito arriscado" emprestar dinheiro a ele (por causa de sua raça ou pela região onde ele vive). Sendo assim, esse estudante ficará isolado do sistema educativo que poderia tirá-lo da pobreza - e isso alimenta um ciclo vicioso.

Uma lei da física além dos poderes da Matemática

Esse é só um exemplo de como esses algoritmos respaldam os que já são "mais afortunados" e castigam ainda mais os desfavorecidos, criando um "coquetel tóxico para a democracia", explica O'Neil. Esse é o lado obscuro da matemática e dos algoritmos, segundo ela.

Além disso, a analista aponta que "esses algoritmos são, em certo sentido, opacos: as pessoas não entendem de onde eles vêm, como são calculados e computados. Às vezes, eles até são secretos".

"Uma das coisas que mais me preocupa é que essas pontuações - os algoritmos que nos avaliam e pontuam o tempo todo - não são visíveis para nós", explica. "Por exemplo, quando ligamos para o serviço de atendimento ao consumidor de uma empresa, às vezes nos pontuam de acordo com nosso número de telefone e o perfil que eles têm registrado de nós. E decidem se somos um cliente de alto ou baixo valor. Se somos de valor baixo para eles, pode ser que nos façam esperar mais tempo na ligação."

Função de onda: A matemática que virou realidade

Entendendo o algoritmo

O que O'Neil argumenta é que algoritmos simplesmente "não descrevem a realidade tal qual ela é", e a modificam expandindo ou limitando nossas oportunidades na vida.

"Esses algoritmos são destrutivos e debilitam seu próprio objetivo original, como a melhora do sistema educativo, por exemplo", afirmou O'Neil. "Um dos meus exemplos favoritos é o modelo de pontuação do valor agregado do professor, algo que é muito difundido nos Estados Unidos. É uma forma que eles usam para avaliar o esforço dos professores e 'se livrar' dos que são ruins."

A analista explica como funciona: os resultados dos alunos são informatizados, e os professores ganham pontos quando seus alunos obtêm melhores resultados do que o esperado (e vice-versa). O problema, ela diz, é que ninguém entende de verdade como funciona o sistema - ele até seria uma "boa ideia" se fosse perfeito, mas não é o caso, afirma a especialista.

O que acontece é que há muito "ruído estatístico" e os algoritmos "são inconsistentes" - o que faz com que muitos professores acabem demitidos por falhas na tecnologia.

Matemática torna internet até 10 vezes mais rápida

Como reagir

O'Neil afirma que, no fim, está em nossas mãos nos informar mais sobre os tão misteriosos algoritmos, fazermos as perguntas adequadas e buscarmos entender como funcionam esses modelos matemáticos que regem nossas vidas.

"É muito difícil lutar contra sistemas de pontuação que você nem sabe que existem. Por isso, uma das coisas que reivindico no meu livro é que a gente não aceite e refute esses sistemas. Há muitas formas de fazer isso. Por exemplo, se eu faço uma busca na internet sobre um problema de saúde, sempre faço isso abrindo uma janela anônima (os navegadores mais conhecidos oferecem a ferramenta de navegação anônima) na internet," afirmou O'Neil.

O mesmo deve ser feito com qualquer outra busca ou comunicação que possa coletar "informações negativas" sobre você: uma eventual doença pode elevar o custo do seu seguro, por exemplo.