Em 2016, a Microsoft criou um perfil no Twitter chamado Tay. A chatbot, uma robô que usava IA (inteligência artificial) para interagir com adolescentes na rede social, saiu do controle. A ideia era que Tay aprendesse com as redes, e acabou endossando o holocausto, teorias da conspiração, além de reproduzir piadas racistas e machistas. A empresa pediu desculpas e tirou-a do ar em menos de 24 horas.
Em “Coded Bias”, documentário disponível no Netflix, Tay é o fio condutor para pontuar como a inteligência artificial pode ser contaminada pelo conteúdo racista e machista que circula aleatoriamente pelas redes, e as possíveis implicações negativas para o uso de bots sem nenhuma regulação.
Outra protagonista, Joy Buolamwini, estudante de doutorado em Computer Science do MIT (Instituto de Tecnologia de Massachusetts) vai além: mostra como os próprios algoritmos podem carregar preconceitos. No caso, algoritmos de reconhecimento facial.
Buolamwini descobriu que os sistemas identificam erroneamente rostos pretos a uma taxa muito maior do que os brancos. Negra, ela mesma foi vítima dessa falha quando seu próprio rosto não foi identificado em um teste. Quando colocava uma máscara totalmente branca, porém, descobriu que a câmera conseguia captar os seus traços.
Buolamwini passou a estudar os softwares das maiores empresas de tecnologia dos EUA como IBM, Microsoft, Google e Amazon. Comprovou que os algoritmos desses grandes grupos reconhecem com mais facilidade rostos de homens brancos. Identificou também que o recrutamento da Amazon, feito por um robô, excluía a maioria das mulheres do processo seletivo.
Por que o padrão se repete? Buolamwini conclui que, por trás da criação de cada código existe, provavelmente, uma equipe de homens brancos, chefiados por homens brancos.
E não é por falta de profissionais gabaritadas. Como contraponto para esta predominância masculina nas empresas de tecnologia, a diretora Shalini Kantayya usa depoimentos, em sua maioria, de mulheres com currículos dignos de ocupar posições de liderança.
Entre as entrevistas, traz mulheres como Cathy O’Neil, autora do best seller “Algoritmos de Destruição em Massa”, Meredith Broussard, professora da NYU (Universidade de Nova York) e autora de “Artificial Unintelligence: How Computers Misunderstand the World” [desinteligência artificial: como os computadores desentendem o mundo]” e Timnit Gebru, ex-cientista de IA do Google.
Ao lado da discussão do racismo e machismo institucional, o documentário toca em outro ponto. O que é mais danoso: a vigilância estatal ou a corporativa?
Entre os exemplos de controle via estado, o documentário mostra o sistema de pontuação desenvolvido pela China, onde o governo está ciente de cada passo do cidadão. Há pontuação para desempenho escolar, para pagamento de dívidas, para uma série de atividades rotineiras. E essa vigilância não é escondida, é explícita. Cada um tem acesso ao “score” [pontuação] do outro. Em um depoimento, uma chinesa diz que escolhe se sairá com um pretendente pelo score. “Economizo meu tempo”, diz.
Em Hong Kong, durante os protestos pró-democracia em 2019, a vigilância teve conotação política. O reconhecimento facial foi usado pelo governo para perseguir manifestantes, que reagiram à tecnologia invasiva usando lasers, quebrando câmera e cobrindo os rostos com máscaras.
Já no Reino Unido, o reconhecimento facial foi adotado de modo experimental pela polícia de Londres. Silkie Carbo, da ONG Big Brother Watch, compara a coleta biométrica ao ato de recolher, sem autorização, digitais ou amostras de DNA. Segundo a ONG, 98% das correspondências pelas câmeras identificaram incorretamente inocentes como se fossem foragidos.
“Isso não acontece só na China, mas também no Ocidente –estamos sendo avaliados constantemente, a diferença é que os dados são vendidos comercialmente pelas big techs”, diz Meredith Broussard.
O documentário alerta que o estado de vigilância, seja para repressão política ou ganho econômico, precisa ser igualmente vigiado. Para a diretora do longa, o caminho é a regulamentação das empresas. Reino Unido e Estados Unidos trazem alguns exemplos, mas cada país terá que encontrar sua solução.
CODED BIAS
Onde Netfilx
Classificação Maiores de 14 anos
Elenco Joy Buolamwini, Meredith Broussard, Cathy O’Neil, Timnit Gebru, entre outras
Produção 2020; EUA
Direção Shalini Kantayya
