O racismo aprendeu a se chamar inteligência artificial

Imagine a cena: o futuro chegou e pediu que uma mulher negra colocasse uma máscara branca para conseguir enxergá-la. Parece distopia, fantasia, realismo mágico, horror, metáfora escrita por alguém sem nenhuma disposição para a sutileza e, talvez nem seja um choque, mas aconteceu. 

Joy Buolamwini, cientista da computação, pesquisadora e fundadora da Liga da Justiça Algorítmica, desenvolvia um projeto no Instituto de Tecnologia de Massachusetts (MIT), nos Estados Unidos, quando percebeu que o programa de rastreamento facial não detectava seu rosto. Diante da câmera, uma máscara branca fazia aparecer a marcação que sua pele escura não conseguia produzir. Ela tirava a máscara. Desaparecia.

É difícil imaginar uma apresentação mais honesta de um futuro vendido como universal.

A experiência está em Desmascarando a IA: minha missão para proteger o que é humano em um mundo de máquinas, publicado pela Autonomia Literária, com tradução de Heci Regina Candiani e prefácio de Tarcízio Silva. Joy poderia ter tratado aquilo como um problema do próprio projeto, mas resolveu investigar o que havia de errado com a tecnologia.

Penso nessa diferença e em quantas vezes uma pessoa recebe a tarefa de "se corrigir” para caber num sistema que deveria atendê-la? Mude a iluminação, tente novamente, aproxime o rosto, afaste o rosto, aguarde. Uma hora a gente começa a pedir desculpas à máquina por existir fora das condições que ela aceita.

Neste mês de novembro, quando celebramos também o Novembro Negro, enquanto empresas escolhem fotografias para celebrar a diversidade, seria bom perguntar quais rostos seus sistemas conseguem enxergar e o que fazem com aqueles que enxergam.

Joy desenvolveu com Timnit Gebru o estudo Gender Shades, publicado em 2018. Ao avaliar três sistemas comerciais de classificação de gênero por imagens de rostos, as pesquisadoras encontraram taxas de erro de até 34,7% para mulheres de pele mais escura. Para homens de pele mais clara, a maior taxa foi de 0,8%. São resultados daquele estudo, daqueles sistemas, naquele período. Não uma estatística sobre toda inteligência artificial de hoje. 

A precisão importa porque a denúncia precisa sobreviver ao entusiasmo da manchete. O que aqueles números demonstraram foi uma desigualdade que a média geral de desempenho podia esconder. Uma tecnologia considerada boa o suficiente pode funcionar muito bem para determinados grupos e falhar de maneira brutal com outros.

Quem define quanto erro é aceitável costuma estar longe de quem vai pagar por ele.

Existe uma perversidade em converter uma desigualdade em resultado técnico. Uma decisão aparece na tela e parece encerrar a conversa, como se não houvesse gente escolhendo dados, estabelecendo objetivos, comprando sistemas e autorizando seu uso. Como se o computador tivesse nascido por geração espontânea, longe da história e dos interesses de quem o colocou para trabalhar.

No prefácio brasileiro, Tarcízio Silva chama a atenção para a importância da avaliação e da auditoria algorítmica. A pergunta é tão simples quanto incômoda: como corporações com tantos recursos puderam colocar em circulação tecnologias com falhas dessa dimensão?

Eu acrescentaria outra: por que continuamos tratando a confiança nessas empresas como requisito para participar do presente?

É nesse ponto que o livro A internet não precisa ser assim, de Fernanda Campagnucci e Marcelo Soares, publicado pela Diálogos Editora, entra na conversa. O livro questiona a naturalidade com que aceitamos a concentração de poder nas plataformas e o modelo econômico que organiza nossa vida conectada. 

Em reportagem sobre a obra, o jornalista Pedro S. Teixeira, da Folha de S.Paulo, destaca a transformação da rede num ambiente de consumo, vigilância e captura da atenção, com mecanismos semelhantes aos dos cassinos. É uma imagem que reconhecemos antes mesmo de terminar a frase. A gente entra para encontrar uma pessoa e sai com uma compra, uma irritação e a sensação de ter perdido alguma coisa que não sabe nomear. Talvez fosse tarde.

A aproximação entre os dois livros me interessa porque permite olhar para a discriminação e para a estrutura que a abriga. De um lado, Joy desmonta a promessa de neutralidade das máquinas. De outro, Fernanda e Marcelo ajudam a perguntar quem decidiu que a internet deveria funcionar dessa maneira.

Não são tecnologias idênticas. Detectar um rosto, classificar uma imagem, recomendar uma publicação e produzir uma resposta com IA envolvem sistemas e problemas diferentes. Mas nenhum deles dispensa a pergunta sobre poder: quem estabelece as regras, quem pode examiná-las e quem consegue contestar seus efeitos?

Também precisamos desconfiar da ideia de que reconhecimento resolve tudo. Uma câmera mais precisa pode ampliar a vigilância. Ser incluído num banco de dados não equivale a conquistar um direito. Joy enfrenta esse desconforto ao discutir os custos da inclusão e da exclusão. São situações em que a pergunta decisiva é se determinada tecnologia deveria ser usada.

Melhorar uma ferramenta não torna automaticamente legítimo o propósito de quem a empunha.

Da mesma forma, no episódio do podcast Durma com Essa, do Nexo, publicado em setembro, Fernanda defende uma regulação capaz de estabelecer balizas sem ficar presa à tecnologia de um único momento. A observação ajuda a deslocar o debate da corrida atrás de cada novidade para aquilo que deveria orientar sua adoção: limites, transparência e direitos. 

O futuro já virou uma ótima desculpa para adiar responsabilidades no presente. Sempre há uma próxima versão, uma correção prometida, uma eficiência que ainda vai chegar. Enquanto isso, alguém precisa viver com o resultado da versão disponível.

Neste Novembro Negro, quero saber quem tem autoridade para interromper essa experiência quando ela dá errado, quem pode dizer que o custo é alto demais, quem tem acesso às informações necessárias para demonstrar um dano e quem será ouvido antes que o sistema esteja instalado.

As perguntas sobre racismo precisam estar na compra, no desenvolvimento, na avaliação e na decisão de usar uma tecnologia. Precisam chegar antes da campanha institucional que celebrará sua diversidade.

O título de Fernanda e Marcelo contém uma recusa necessária: a internet não precisa ser assim. Joy mostra o trabalho que essa recusa exige. Investigar, produzir evidências, enfrentar empresas, construir alianças, recusar a adaptação silenciosa de quem deveria agradecer por ter sido incluído.

Quando lembro da máscara branca diante da câmera, penso na violência de exigir que alguém desapareça de si para se tornar legível. Uma tecnologia que só reconhece nossa humanidade depois que a gente a esconde tem muito a aprender. E nós temos todo o direito de não esperar calados.

Serviço - A internet não precisa ser assim, de Fernanda Campagnucci e Marcelo Soares, estará disponível na banca da Diálogos Editora na Primavera do Livro, de 6 a 8 de novembro, no Museu de Arte do Rio (MAR), no Rio de Janeiro. A editora participa pela primeira vez da feira e oferecerá 20% de desconto.

Siga nosso canal no WhatsApp e receba notícias relevantes para o seu dia

Em Porto Alegre, a agenda de A internet não precisa ser assim, de Fernanda Campagnucci e Marcelo Soares, inclui três encontros: em 9 de novembro, às 19h, na Livraria Baleia; em 10 de novembro, às 17h, na tenda da Câmara Rio-Grandense do Livro, na Feira do Livro de Porto Alegre; e em 11 de novembro, às 10h, na Faculdade de Biblioteconomia e Comunicação da UFRGS (Fabico). Na feira, o título terá 20% de desconto, em ação com a Associação Riograndense de Imprensa.

As opiniões expressas neste texto são de responsabilidade exclusiva do(a) autor(a) e não refletem, necessariamente, o posicionamento e a visão do Estado de Minas sobre o tema.