Racismo algorítmico é “uma espécie de atualização do racismo estrutural”, cuja manutenção produz vantagens em prol de um grupo hegemônico, “profundamente, dependente de uma epistemologia da ignorância para manutenção do poder”. A observação é do pesquisador Tarcizio Silva, nesta entrevista ao blog do Centro de Estudos Estratégicos da Fiocruz Antonio Ivo de Carvalho (CEE-Fiocruz). Tarcizio destaca a importância do debate sobre o racismo algorítmico, uma vez que esse tipo de prática tem se tornado cada vez mais visível nas redes. Para o pesquisador, há uma falsa crença de que as tecnologias digitais são objetivas ou expressam decisões neutras. “O desenvolvimento de tecnologias algorítmicas se alimenta do histórico social para oferecer uma pretensa inteligência artificial. Mas essa ‘desinteligência’ artificial, que atualiza opressões como o racismo estrutural, é vendida como neutra”, explica.
Leia a entrevista a seguir.
O que é o racismo algorítmico?
Uso o termo “racismo algorítmico” para explicar como tecnologias e imaginários sociotécnicos em um mundo moldado pelo privilégio branco fortalecem a ordenação racializada de conhecimentos, recursos, espaço e violência em detrimento de grupos não brancos. Então, muito além dos detalhes das linhas de programação, falamos aqui da promoção e implementação acríticas de tecnologias digitais que favorecem a reprodução dos desenhos de poder e opressão que já estão em vigor.
O principal problema na superfície é que sistemas algorítmicos podem transformar decisões e processos em caixas opacas inescrutáveis, isto é, tecnologias repletas de problemas são lançadas na sociedade e podem aprofundar discriminações, que vão de buscadores que representam negativamente pessoas negras até softwares de policiamento preditivo – uso de dados e análises para predizer o crime – que fortalecem a seletividade penal.
Mas o racismo algorítmico não é só a questão dos softwares em si, abarca também tecnologias digitais emergentes, que mesmo com tantos problemas são lançadas de forma cada vez mais acelerada. Isto acontece porque as pessoas vulnerabilizadas por tais sistemas são minorias políticas e econômicas que têm seus direitos colocados em último lugar nas prioridades do setor privado e governamental.
As tecnologias digitais possuem dualidades que podem pender para a opressão em sociedades marcadas pelas desigualdades
Quis os impactos do racismo algorítmico, principalmente, em relação a minorias raciais no Brasil e em torno do mundo?
As tecnologias digitais possuem dualidades que podem pender para a opressão em sociedades marcadas pelas desigualdades. Manifestações mais individualizadas do racismo algorítmico podem acontecer em quase todas as esferas da vida e são cada vez mais mediadas por tecnologias digitais como plataformas, aplicativos e sistemas de classificação e ranqueamento. Assim, a mediação algorítmica de decisões em áreas como serviços públicos, liberdade de expressão, trabalho, remuneração, segurança e até acesso à saúde pode aumentar as disparidades já conhecidas socialmente.
Isso acontece porque, a corrida pelo domínio mercadológico da inteligência artificial faz com que empresas, universidades e governos desenvolvam e implementem tecnologias sem considerar direitos humanos, em fases como ideação, planejamento, coleta de dados, processamento de dados, design, desenvolvimento de modelos e implementação.
O desenvolvimento de tecnologias algorítmicas se alimenta do histórico social para oferecer uma pretensa inteligência artificial, que é comprometida com o patriarcado e o colonialismo. Mas essa desinteligência artificial, que atualiza opressões como o racismo estrutural, é vendida como neutra.
Seria o racismo algorítmico apenas uma consequência do racismo estrutural?
O racismo algorítmico é uma espécie de atualização do racismo estrutural, sua ponta de lança na era da datificação da sociedade. A manutenção do racismo como sistema de produção de vantagens em prol de um grupo hegemônico, a branquitude, é profundamente dependente de uma epistemologia da ignorância para manutenção do poder. Em outras palavras, a branquitude mantém uma compreensão limitada da sociedade para que as estruturas de poder racializadas e generificadas não sejam questionadas. Nesse contexto, o desenvolvimento de tecnologias algorítmicas se alimenta do histórico social para oferecer uma pretensa inteligência artificial, que é comprometida com o patriarcado e o colonialismo. Mas essa desinteligência artificial, que atualiza opressões como o racismo estrutural, é vendida como neutra.
Então, a relação entre racismo estrutural e tecnologias digitais algorítmicas é, globalmente, marcada pelo que chamo de dupla opacidade, isto é, o modo pelo qual grupos hegemônicos buscam tanto apresentar a ideia de neutralidade na tecnologia, quanto dissipar o debate sobre racismo e supremacia branca no Ocidente. O uso irresponsável de bases de dados supostamente naturais para treinamento, sem filtragem ou curadoria plena, promove o que há de pior na sociedade, ainda, na coleta de dados. E as camadas de opacidade na produção de modelos, implementação e ajustes são defendidas por empresas de big tech, em termos de custo-benefício e segredo de negócio.
Racismo algorítmico não é uma questão de programação ou engenharia. Mais importante que as linhas de código é saber quais são as relações de poder e quais decisões são habilitadas pela implementação de alguma tecnologia.
Que papel caberia às empresas de tecnologia para enfrentar essa pretensa neutralidade e essa dupla opacidade?
Os compromissos antirracistas de corporações de tecnologia, ou que compram tecnologias digitais emergentes, devem ser expandidos também para as decisões sobre isonomia, transparência e explicabilidade de seus modelos. A tendência de construção de relatórios de impactos à proteção de dados e de discriminação algorítmica está em solidificação, apesar de a parte mais barulhenta do setor privado realizar lobby para frear o controle social da tecnologia. Através de mecanismos de controle em desenvolvimento regulatório em torno do mundo, times interdisciplinares com supervisão independente podem realizar mapeamento de risco de impactos presentes e futuros.
Preciso enfatizar, também, que o conhecimento experiencial de quem sofre os impactos deve ser levado em conta e ser valorizado. Racismo algorítmico não é uma questão de programação ou engenharia. Mais importante que as linhas de código é saber quais são as relações de poder e quais decisões são habilitadas pela implementação de alguma tecnologia.
Nesse sentido, gosto muito da ideia de auditoria pública, com debates, testes, mapeamento de casos e de impactos, que sejam abertos pela própria sociedade. Assim, os impactos do racismo algorítmico podem ser demonstrados e a sociedade civil pode reagir. E as empresas não podem fugir de suas responsabilidades com desculpas como “segredo de negócio”, pois a tentativa de autorregulação na seara da inteligência artificial em escala busca constranger o debate a noções tecnicistas de vieses para estabelecer auditorias apenas técnicas e apenas a quem possui acesso aos dados internos das empresas.
Durante a pandemia de Covid-19, uma imagem de sabonete em pedra, ao lado de uma bonita embalagem de sabonete líquido sobre uma pia, foi identificada por buscadores como o Google como comida, queijo, pão, bolo… e não com sabonete – o principal produto de higiene utilizado contra Covid-19, nas comunidades mais carentes. Esse relato, apresentado em um evento, pelo pesquisador Carlos Gadelha (atual secretário de Ciência, Tecnologia, Inovação e Complexo da Saúde do Ministério da Saúde) é mais uma mostra de que as tecnologias são desenvolvidas por pessoas brancas e educadas em países de alta renda, não?
O caso é um bom exemplo da limitação da desinteligência artificial em compreender os mundos naturais e sociais, assim como suas complexidades. As tecnologias de visão computacional para identificar objetos em imagens foram responsáveis pela grande explosão de interesse em aprendizado de máquina na década passada. Alguns desenvolvedores, ligados a universidades e empresas conectadas com o Vale do Silício, acreditavam fielmente que seria possível “mapear todos os objetos do mundo” e construir bases de dados de treinamento que incluíssem fotografias de tudo, para que os sistemas de visão computacional passassem a entender imagens e vídeos de todos os tipos. Como é frequente no campo, a abordagem foi superestimada por anos até que grupos mais heterogêneos de desenvolvedoras puderam analisar a fundo as bases de treinamento e ver suas limitações epistêmicas e sociais.
Tecnologias desenvolvidas por grupos hegemônicos possuem vieses que poderiam sim ser relativamente mitigados com uma transformação na diversidade demográfica e cultural de quem as desenvolve, mas é uma parte da questão. Também faz parte do problema do racismo algorítmico, e talvez seja o próprio cerne da questão, a escolha sobre em quais tecnologias investir e com quais finalidades. Não é possível existir reconhecimento facial antirracista para policiamento. É um oxímoro. Também não é possível existir chatbots para atendimento ao consumidor construídos de forma inclusiva, quando o seu objetivo, geralmente, é eliminar postos de trabalho com enorme desemprego e quando a renda básica universal ainda não é a realidade.
Qual o papel da inteligência artificial e dos bancos de dados para a naturalização dos processos de discriminação racial?
A naturalização dos processos de discriminação racial nos sistemas algorítmicos e bancos de dados é característica da própria abordagem de negócios de startups e empresas de big tech. Bilionários que se tornaram gurus do capitalismo, como Elon Musk e Mark Zuckerberg, têm frases famosas como “Mova rápido e quebre coisas”, para explicar os sucessos privados e falhas socialmente compartilhadas. É preciso mudar a premissa de que a universalidade de soluções ou tecnologias é possível. Não é possível criar sistemas que sejam adequados, justos e potentes para todas as culturas. Essa crença está ligada a lentes coloniais sobre conhecimento, que favorecem apenas a implementação e circulação de corporações globais de tecnologia e, em decorrência, serviços de segunda classe para grupos minoritários ou Sul Global.
Buscar necessidades locais e nacionais precisa ser um compromisso multissetorial entre Estado, empresariado local, comunidade técnico-científica e sociedade civil, para construções e consensos sobre o controle social da tecnologia. Investimentos em ciência, educação e inovação são indispensáveis para o desenvolvimento global, e é necessário que sejam atrelados ao bem-estar social e à promoção de direitos humanos e todas as suas potencialidades.
Somente a articulação intensa da sociedade civil pode fazer com que as muitas controvérsias sobre controle de tecnologias digitais pendam para favorecer o bem comum
Como interromper esse ciclo discriminatório?
Há diferentes expedientes de reações ao racismo algorítmico que focam em melhorar implementações específicas – filtros de selfies no Instagram, por exemplo – voltadas à advocacia legislativa por inclusão de dispositivos antidiscriminatórias em leis sobre inteligência artificial, proteção de dados e afins.
O controle social da tecnologia é um objetivo indispensável, se desejarmos futuros democráticos e benéficos para o mundo. O Brasil é um exemplo teórico de governança da internet multissetorial, com mecanismos de participação de setores como governo, empresas, sociedade civil e academia na discussão sobre políticas, regulação e caminhos da internet. Na prática, porém, o setor privado tem agido de forma consistente contra os interesses da população, em alguns momentos até promovendo desinformação sobre governança da internet.
Outro exemplo em andamento é o debate sobre a regulação de inteligência artificial, de forma mais ampla, no Senado brasileiro. Em 2022, uma comissão foi indicada para propor um substitutivo a projetos de lei sobre o tema, em especial o PL 21/2020. Entre os 18 membros da comissão, observou-se uma concentração de privilegiados brancos: apenas juristas, sobretudo das grandes metrópoles, e nenhuma pessoa negra entre os eles. A sociedade civil organizou-se para promover maior diversidade nas audiências públicas, mas o resultado ainda foi muito limitado e se expressou no relatório da comissão, que não incluiu a recomendação do banimento de tecnologias sabidamente nocivas como o reconhecimento facial. Somente a articulação intensa da sociedade civil pode fazer com que as muitas controvérsias sobre controle de tecnologias digitais pendam para favorecer o bem comum.
A falsa crença de que tecnologias digitais são objetivas ou tomam decisões neutras facilita a implementação de sistemas e modelos de negócio que enfatizam o lucro, economia de custos, precarização e eliminação de postos de trabalho em detrimento dos valores humanos
Que relação podemos estabelecer entre inteligência artificial e trabalho precarizado? Como situar os jovens negros nesse contexto?
Boa parte das aplicações mais lucrativas de inteligência artificial está vinculada à dinâmica de plataformização no mercado, que tem sido promovida pelas maiores empresas e startups de tecnologia em torno do mundo. Vão muito além das mídias sociais: aplicativos de transporte e de entrega tornaram-se sinônimo desse tipo de precarização, a exemplo do termo uberização. Ao oferecer plataformas intermediárias entre trabalhadores e prestadores de serviço ou produtos, empresas como iFood, Uber e similares se posicionam para extrair valor das várias pontas da cadeia produtiva. A inteligência artificial entra em jogo tanto como tecnologia quanto como ideologia, para permitir esse aprofundamento da exploração. De um lado, como tecnologia, permite que empresas criem opacidades de decisões de negócio para explorar os mais diferentes tipos de prestadores de serviço e seus dados através de criação de vantagens injustas e implementação de mecanismos de precificação e remuneração diferencial. De outro lado, como ideologia, é útil ao capitalismo a própria falsa noção de inteligência artificial. Os sistemas que recebem esse nome não são nem inteligentes nem artificiais, uma vez que são produzidos a partir da exploração do trabalho alheio, direta ou indiretamente. Mas a ideologia da inteligência artificial promove a falsa noção de neutralidade e de que nós, cidadãos, devemos nos adaptar à inteligência artificial e não o contrário, que as tecnologias devem ser construídas, reguladas e implementadas socialmente para o bem comum.
Combater discriminações na web ou impactos nocivos de sistemas automatizados não é barato. Não tem como ser barato, considerando a complexidade do mundo, dos discursos e a sedução da branquitude. Justo por isso, empresas de tecnologia baseadas em capital financeiro buscam oferecer soluções que individualizam as reações possíveis e tentam fugir de responsabilidade. Então, a falsa crença de que tecnologias digitais são objetivas ou tomam decisões neutras facilita a implementação de sistemas e modelos de negócio que enfatizam o lucro, economia de custos, precarização e eliminação de postos de trabalho em detrimento dos valores humanos.
Sistemas como o Chat GPT são o que pensadoras como Timnit Gebru chamam de papagaios estocásticos. São sistemas que desenvolvem resultados credíveis devido ao tamanho do big data, público do qual extraíram dados para privatizar soluções
Como você vê o Chat GPT em relação à lógica discriminatória dos algoritmos?
Assim como aconteceu com as plataformas de mídias sociais, modelos fundacionais algorítmicos com o Chat GPT receberam investimentos bilionários para desenvolver tecnologias baseadas no trabalho gratuito de milhões de pessoas enquanto embalaram a iniciativa na ideia de abertura ou democratização. O Chat GPT foi criado pela Open AI, que tem a palavra aberta no próprio nome, mas, ao fim, o grande objetivo é estabelecer monopólio em serviços de computação cognitiva por assinatura. O agressivo lançamento das versões da GPT tenta estabelecer efeitos de rede para que a solução se torne tão indispensável para negócios terceiros que quebre as concorrências. Mas tudo isso sendo feito deixando de lado preocupações de impacto econômico, considerações sobre diversidade cultural e discriminação.
Apesar dos aparentes avanços, sistemas como o Chat GPT são o que pensadoras como Timnit Gebru chamam de papagaios estocásticos. São sistemas que desenvolvem resultados credíveis devido ao tamanho do big data, público do qual extraíram dados para privatizar soluções, mas repetem não só erros factuais, mas também estruturas de linguagem simples e cheias de representações de vieses e hegemonia nociva. Os impactos já identificados vão de racismo e desinformação até reforço de posições coloniais e imperialistas, como o enquadramento de países específicos como inimigos. A adoção acrítica a sistemas como o Chat GPT, até por governos progressistas, é muito preocupante e reforça a necessidade de esforços multisetoriais pelo controle social de tecnologias digitais emergentes, como os sistemas algorítmicos.
Tarcizio Silva
Pesquisador sênior de Políticas de Tecnologia, Fundação Mozilla. Mestre em Comunicação e Cultura Contemporâneas pela UFBA e doutorando em Ciências Humanas e Sociais na UFABC, onde estuda racismo algorítmico e imaginários sociotécnicos de resistência. Autor do livro Racismo Algorítmico: mídia, inteligência artificial e discriminação nas redes digitais (2022).
