Quando a IA deixa de ser ferramenta e vira infraestrutura social
Quando a inteligência artificial passa a organizar a sociedade, seus vieses podem transformar tecnologia em exclusão
Mais lidas
Durante décadas, a inclusão digital foi pensada a partir da premissa de que a tecnologia existe e quem não consegue utilizá-la precisa ser capacitado, adaptado ou receber alguma tecnologia assistiva. Porém, as atuais evoluções tecnológicas estão reduzindo a fronteira entre tecnologia e sociedade e isso está tornando a premissa inicial obsoleta.
No cerne da premissa está a percepção da tecnologia como ferramenta, mas o que tem se visto é que a própria tecnologia passou a compor a arquitetura por meio da qual acessamos trabalho, educação, saúde, crédito, informação e serviços públicos.
Cada vez mais os algoritmo definem quais currículos chegarão a um recrutador; quais conteúdos um estudante recebe; quais exames devem ser realizados, quais riscos afetam a economia ou política; quais pessoas podem ou não acessar crédito; quais informações devemos acessar; ou quais cidadãos podem acessar um benefício ou determinado serviço.
Embora aparentemente sutil, essa mudança altera profundamente o significado de exclusão. No antigo modelo em que a tecnologia era a ferramenta, bastava a pessoa desenvolver habilidades e acessar a ferramenta e o problema se resolvia (apesar disso sabemos que não foi plenamente resolvido).
Mas na era sociomaterial, a tecnologia assume o controle de decisões (porque nós voluntariamente a demos esse dever) e passa a participar da própria construção das relações e instituições sociais. Nesse contexto, a exclusão pode se tornar irreversível, pois qualquer viés na construção ou na atuação da tecnologia excluirá sistematicamente as pessoas e não haverá nada que elas possam fazer para superar essa exclusão.
Imagine um serviço público que nunca pode ser acessado por uma pessoa porque algum viés de concepção simplesmente elimine a pessoa dos possíveis beneficiários. Imagine isso em um sistema de saúde no qual a triagem, o agendamento e a orientação são mediados por algoritmos e esses algoritmos simplesmente não reconhecem os padrões ou necessidades de públicos distintos. Imagine um processo seletivo em que modelos automatizados filtram candidatos e estabelecem critérios de seleção, o candidato pode ser excluído não porque seu currículo seja ruim, mas porque não foi escrito na linguagem que o algoritmo reconhece.
É nesse ponto que a discussão sobre inteligência artificial deixa de ser uma discussão sobre tecnologia e passa a ser uma discussão sobre poder e ética.
Quando um algoritmo apenas sugere uma música, um filme ou um produto, seu erro, normalmente, não causa grandes impactos, mas quando o mesmo princípio de classificação e predição passa a mediar o acesso a um emprego, a um empréstimo, a um diagnóstico, a uma política pública ou a um benefício social, o erro vira exclusão sistêmica.
E a escala é o que torna essa questão particularmente preocupante já que um sistema automatizado pode reproduzir o mesmo erro milhares ou milhões de vezes, com a aparência de objetividade, consistência e neutralidade, mas que na realidade usa métodos opacos para a maioria das pessoas e que podem estar enviesados ou serem impossíveis de contestar e responsabilizar. É por isso que a ética precisa estar no desenho da tecnologia – e não apenas depois que os problemas aparecem.
Siga nosso canal no WhatsApp e receba notícias relevantes para o seu dia
A adoção da IA não deveria, portanto, começar pelos aspectos tecnológicos, mas de uma pergunta mais incômoda: Que sociedade queremos construir? Como a delegação às máquinas de parte crescente das decisões que deveríamos tomar contribui para essa sociedade?
As opiniões expressas neste texto são de responsabilidade exclusiva do(a) autor(a) e não refletem, necessariamente, o posicionamento e a visão do Estado de Minas sobre o tema.
