Descolonizando a IA: uma abordagem transfeminista sobre informação e justiça social

Foto de Clara Juliano para Coding Rights, utilizada com permissão.

A Rising Voices (RV), em parceria com a Associação para o Progresso da Comunicação (APC), que produziu o relatório Observatório Global da Sociedade da Informação 2019 (GISWatch), com o tema principal Inteligência Artificial (IA): direitos humanos, justiça social e desenvolvimento. Nos próximos meses, a RV vai publicar versões dos relatórios de cada país, especialmente os relatórios que evidenciam como a IA pode afetar comunidades historicamente sem representação ou marginalizadas. 

Este post foi escrito por Paz PeñaJoana Varon, do Coding Rights. Este relatório foi originalmente publicado como parte de uma compilação maior: “Observatório Global da Sociedade da Informação 2019: Inteligência Artificial (IA): direitos humanos, justiça social e desenvolvimento”. Visite o site GISWatch para ler o relatório completo que está disponível sob licença CC BY 4.0.

Digamos que você teve acesso a um banco de dados com informações de 12.000 meninas e jovens mulheres entre 10 e 19 anos, que moram em alguma província pobre da América do Sul. As informações incluem idade, vizinhança, etnia, país de origem, grau de instrução de quem chefia a família, deficiências físicas ou mentais, número de moradores da residência e se possuem água quente. Que conclusões você tiraria de um banco de dados desses? Ou talvez a questão deva ser: Deveríamos tirar alguma conclusão? Algumas vezes, e infelizmente com muita frequência, a simples possibilidade de extrair grandes quantidades de informação é uma desculpa suficiente para “fazer os dados falarem” e, ainda pior, tomar decisões baseadas nessas conclusões.

O banco de dados descrito acima é real, e é utilizado por autoridades públicas para prevenir a evasão escolar e a gravidez na adolescência. “Algoritmos inteligentes permitem identificar características de pessoas que poderiam passar por estes problemas e então avisar o governo para que possa trabalhar na prevenção”, disse um representante da Microsoft Azure. A empresa é responsável pelo sistema de aprendizado de máquina (machine-learning) utilizado na Plataforma Tecnológica de Intervenção Social, lançada pelo Ministério da Primeira Infância na província de Salta, na Argentina.

“Com tecnologia, a partir do nome, sobrenome e endereço, podemos prever, com cinco ou seis anos de antecedência, que menina ou futura adolescente tem 86% de chance de ter uma gravidez precoce”, declarou Juan Manuel Urtubey, um político conservador e governador de Salta. O Ministério da Primeira Infância trabalhou por anos juntamente com a ONG antiaborto Fundación CONIN para preparar esse sistema. A declaração de Urtubey foi feita em meio a uma campanha pela legalização do aborto na Argentina em 2018, organizada pelo movimento social por direitos sexuais que estava no centro da discussão pública local e recebia muita atenção internacional. A ideia de que algoritmos podem prever a gravidez na adolescência antes de acontecer é a desculpa perfeita para que ativistas contra direitos sexuais e reprodutivos da mulher declarem desnecessária a permissão ao aborto. Segundo a narrativa deles, com informação suficiente sobre famílias pobres, políticas públicas conservadoras podem ser acionadas para prever e evitar abortos feitos por mulheres pobres. Além disso, existe uma crença de que “se é recomendado por um algoritmo, é matemática, e então deve ser uma verdade irrefutável”.

É importante ressaltar que o banco de dados utilizado na plataforma é composto apenas por dados sobre mulheres. O foco em um gênero específico reforça papéis patriarcais e, em última instância, culpa adolescentes pelas gestações indesejadas, como se uma criança pudesse ser concebida sem espermatozoides.

Por essas razões, e por outras, a  Plataforma Tecnológica de Intervenção Social recebeu muitas críticas. Alguns acusaram o sistema de ser uma “mentira”, uma “alucinação” e uma “inteligência que não pensa“, e afirmaram que dados sensíveis de mulheres pobres e crianças estão sob risco. Uma análise técnica completa das falhas do sistema foi publicada pelo Laboratório de Inteligência Artificial Aplicada (LIAA), da Universidade de Buenos Aires. Segundo o LIAA, que analisou as informações postadas no GitHub por um engenheiro da Microsoft, os resultados do sistema foram exagerados devido aos erros estatísticos na metodologia. O banco de dados foi considerado tendencioso por conta da inevitável sensibilidade em relatar gestações indesejadas, e as informações foram consideradas inadequadas para se fazer previsões confiáveis.

Apesar disso, a plataforma continuou a ser utilizada. E pior, como más ideias travestidas de inovação se espalham rápido, o sistema está sendo empregado em outras províncias argentinas, como La Rioja, Tierra del Fuego e Chaco, e foi exportado para a Colômbia e implementado na cidade de La Guajira.

A Plataforma Tecnológica de Intervenção Social é um claro exemplo de como soluções de inteligência artificial, que os proponentes apresentam como neutras e objetivas, têm sido implementadas em alguns países da América Latina como suporte de políticas públicas potencialmente discriminatórias que atentam contra os direitos humanos de pessoas menos favorecidas. Como mostra a plataforma, isso inclui monitorar e censurar mulheres e seus direitos sexuais e reprodutivos.

Nós acreditamos que uma das principais causas do uso errôneo do aprendizado de máquinas e outras tecnologias de IA é a crença cega na propaganda de que o big data resolverá os problemas da humanidade. Na contramão, nós propomos a construção de uma crítica transfeminista e um modelo capaz não só de analisar os efeitos negativos da IA, mas também de promover um entendimento proativo sobre como imaginar, projetar e desenvolver uma IA emancipatória, que supere normas sociais consumistas, misóginas, racistas, binárias e heteropatriarcais.

Big data como solução de problemas ou discriminação disfarçada de matemática?

A inteligência artificial pode ser definida em termos gerais como uma tecnologia que faz previsões com base em identificação automática de padrões em bases de dados. Assim como o governo de Salta, muitos países ao redor do mundo estão aumentando o uso de ferramentas de tomada de decisão baseadas em algoritmos, para determinar a distribuição de bens e serviços, como educação, serviços públicos de saúde, segurança e moradia, entre outros. Além disso, programas de combate à pobreza estão sendo “dataficados” por governos, e algoritmos estão sendo utilizados para determinar benefícios sociais para os mais pobres e desempregados, transformando “a experiência vivida da pobreza e da vulnerabilidade em dados legíveis por computadores, com efeitos reais na vida e nos recursos dos cidadãos envolvidos”.

Cathy O’Neil, ao analisar a utilização da IA nos Estados Unidos, afirma que muitos sistemas de IA “tendem a punir os mais pobres”. Ela explica:

This is, in part, because they are engineered to evaluate large numbers of people. They specialize in bulk, and they’re cheap. That’s part of their appeal. The wealthy, by contrast, often benefit from personal input. […] The privileged, we’ll see time and again, are processed more by people, the masses by machines.

Isso ocorre, em parte, porque esses sistemas são feitos para avaliar grandes quantidades de pessoas. São especializados em dados em massa e são baratos. Isso é parte do seu apelo. Os mais favorecidos, ao contrário, geralmente se beneficiam de uma análise pessoal. […] Os privilegiados são mais analisados por pessoas, as massas por máquinas.

Sistemas de IA baseiam-se em modelos que são representações abstratas, universalizações e simplificações de realidades complexas, e muitas informações são deixadas de fora, conforme o julgamento dos criadores desses sistemas. O’Neil observa que:

[M]odels, despite their reputation for impartiality, reflect goals and ideology. […] Our own values and desires influence our choices, from the data we choose to collect to the questions we ask. Models are opinions embedded in mathematics.

Modelos, apesar de serem considerados imparciais, refletem objetivos e ideologias. […] Nossos próprios valores e desejos influenciam nossas escolhas, desde os dados selecionados para coleta até as perguntas que fazemos. Modelos são opiniões revestidas de matemática.

Nesse contexto, a IA reflete os valores de seus criadores e por isso muitos críticos têm chamado atenção para a necessidade de maior diversidade e inclusão:

So inclusivity matters – from who designs it to who sits on the company boards and which ethical perspectives are included. Otherwise, we risk constructing machine intelligence that mirrors a narrow and privileged vision of society, with its old, familiar biases and stereotypes.

Assim, inclusão é importante, desde os programadores até os diretores com suas perspectivas éticas. Caso contrário, corremos o risco de construir máquinas inteligentes que espelham uma visão estreita e elitista da sociedade, com velhos preconceitos e estereótipos.

Mas diversidade e inclusão não são suficientes para criar uma IA emancipatória. Segundo ideias de Marcuse, o modo de produção tecnológica é uma forma específica ou um conjunto de condições, entre outras possíveis condições, de produção em nossa sociedade. Esse modo de produção tem papel central na construção das técnicas, assim como no direcionamento do seu desenvolvimento e proliferação. Diante disso, é necessário investigar profundamente quais são os interesses deste projeto histórico-social. Neste sentido, teorias de justiça de dados refletem a necessidade de vincular uma agenda de justiça social à revolução de dados que está sendo feita por governos, empresas e órgãos internacionais, para que possamos alcançar uma equidade na maneira como as pessoas são percebidas e tratadas pelo Estado e pelo setor privado.

Segundo Payal Arora, os discursos sobre big data têm uma conotação muito positiva devido à ideia neoliberal de que a exploração lucrativa de dados dos mais empobrecidos, feita por empresas privadas, só traz benefícios à população. Isto significa, de muitas maneiras, que duas concepções históricas, o capitalismo e o colonialismo, se fazem presentes, sempre que um sistema de IA retira a autonomia das pessoas e as considera “apenas dados brutos para processamento“. Da mesma forma, Couldry e Mejias consideram que a apropriação e exploração de dados como mercadoria tem raízes no capitalismo e no colonialismo.

Recentemente, ao relacionar esta crítica à racialização de cidadãos e comunidades feita por decisões baseadas em algoritmos, Safiya Umoja Noble cunhou o termo “technological redlining” (negação tecnológica), que se refere ao processo de discriminação que aumenta a desigualdade e a opressão. O termo é uma derivação da prática de “redlining” (negação) nos EUA, em que comunidades sofreram a negação sistemática de vários serviços, seja de forma direta ou por meio do aumento de preços, com base em suas raças:

I think people of color will increasingly experience it as a fundamental dimension of generating, sustaining, or deepening racial, ethnic and gender discrimination. This process is centrally tied to the distribution of goods and services in society, like education, housing and other human and civil rights, which are often determined now by software, or algorithmic decision-making tools, which might be popularly described as “artificial intelligence”.

Eu acho que os grupos minoritários vão sentir esta discriminação como um aumento ou uma piora da discriminação racial, étnica ou de gênero. Esse processo está fortemente ligado à distribuição de bens e serviços na sociedade, como educação, moradia e outros direitos humanos e civis, que agora são comumente determinados por softwares ou ferramentas de tomada de decisão por algoritmos, que podem ser popularmente descritos como “inteligência artificial”.

A questão é saber até que ponto os cidadãos e as autoridades públicas que estão comprando, desenvolvendo e utilizando estes sistemas, estão cientes disso. O caso de Salta, e muitos outros, mostra claramente que a lógica de promover o big data como solução para todos os problemas sociais está sendo exportada para a América Latina, aumentando os desafios da descolonização. Essa lógica não só enfraquece tentativas de criticar o status quo nas relações de poder, desde a geopolítica até as questões de gênero e o capitalismo, como também dificulta a sustentação e a promoção de formas alternativas de vida.

IA, pobreza e estigma

“O futuro é agora”. Este parece ser o mantra de autoridades públicas que adotam tecnologias digitais sem qualquer consideração pelas vozes contrárias que mostram que os efeitos são potencialmente discriminatórios. Nos últimos anos, por exemplo, o uso de big data para políticas de previsão parece ser uma tendência popular na América Latina. Em nossa pesquisa, descobrimos que diferentes formas destes sistemas de IA foram utilizados (ou estão em fase de planejamento) em países como Argentina, Brasil, Chile, Colômbia, México e Uruguai, entre outros. O modelo mais comum é a construção de mapas de previsão de crimes, mas também houve tentativas de desenvolver modelos de previsão de futuros criminosos.

Como sugere Fieke Jansen:

These predictive models are based on the assumption that when the underlying social and economic conditions remain the same crime spreads as violence will incite other violence, or a perpetrator will likely commit a similar crime in the same area.

Estes modelos de previsão são baseados na suposição de que, se as condições sociais e econômicas continuam as mesmas, os mesmos crimes e violências vão gerar mais violência, ou que um criminoso cometerá o mesmo tipo de crime na mesma região.

Muitos críticos apontam os impactos negativos do policiamento preventivo em bairros empobrecidos e outras comunidades vulneráveis, incluindo violência policial, estigmatização, racismo e discriminação. Além disso, como resultado dessa crítica, nos EUA, onde estes sistemas foram implementados há algum tempo, muitas agências policiais têm questionado a real eficiência dos sistemas.

A mesma lógica por trás do policiamento preventivo é encontrada em sistemas de IA para combate à pobreza, que coletam dados para prever riscos sociais e acionar programas governamentais. Como vimos, este é o caso da Plataforma Tecnológica de Intervenção Social, mas também está presente em sistemas como o Alerta Infancia no Chile. Novamente, nesse sistema, são gerados alertas de proteção automáticos, que então permitem intervenções “preventivas”. De acordo com informações oficiais, essa plataforma define o risco a partir de fatores como gravidez na adolescência, uso de álcool ou drogas, delinquência, doença psiquiátrica crônica, trabalho infantil, exploração sexual, maus-tratos, abusos e evasão escolar. Entre muitas críticas ao sistema, instituições da sociedade civil defensoras dos direitos das crianças disseram que, além da vigilância, o sistema “constitui a imposição de uma certa forma de normatividade sociocultural”, bem como “encoraja e valida socialmente formas de estigmatização, discriminação e até mesmo criminalização da diversidade cultural existente no Chile”. Eles afirmaram:

This especially affects indigenous peoples, migrant populations and those with lower economic incomes, ignoring that a growing cultural diversity demands greater sensitivity, visibility and respect, as well as the inclusion of approaches with cultural relevance to public policies.

Isso afeta especialmente indígenas, migrantes e os mais empobrecidos, e ignora que uma diversidade cultural crescente exige maior sensibilidade, visibilidade e respeito, além da inclusão de abordagens de relevância cultural para políticas públicas.

Existem pelo menos três características comuns nesses sistemas utilizados na América Latina, que são especialmente preocupantes devido ao potencial de aumentar a injustiça social na região. A primeira é a identificação forçada de indivíduos e populações pobres. Essa quantificação de indivíduos, de corpos (entendidos como construções sociais) e de comunidades não deixa espaço para renegociação. Em outras palavras, a “dataficação” substitui “identidade social” por “identidade sistemática”.

Relacionada a essa consideração, há um segunda característica que aumenta a injustiça social: a falta de transparência e prestação de contas nesses sistemas. Nenhum deles foi desenvolvido por intermédio de algum tipo de processo participativo, seja com especialistas, ou, ainda mais importante, com as comunidades afetadas. Ao contrário, sistemas de IA reforçam a construção de políticas públicas de cima para baixo, de governos que compreendem as pessoas como “beneficiários” ou “consumidores”. “Da mesma maneira como o ranqueamento significa ‘criar pessoas’ com a classificação, a “dataficação” ‘cria’ beneficiários por meio de categorias de censo que são cristalizadas por meio de dados e tornadas passíveis de controle de cima para baixo”.

Por fim, esses sistemas são desenvolvidos pelo que podemos chamar de “consórcios neoliberais”, onde governos desenvolvem ou compram sistemas de IA desenvolvidos pelo setor privado ou universidades. Isso merece maior investigação, pois os valores neoliberais parecem influenciar a forma como os sistemas são planejados, não só por empresas, mas também por universidades financiadas com dinheiro público e dedicadas à “inovação” e melhoria da atividade comercial.

Por que uma estrutura transfeminista?

Como vimos nos exemplos de utilização desse tipo de tecnologia, alguns programas de combate à pobreza na América Latina, refletem uma estrutura positivista de pensamento, onde a realidade é melhor compreendida e modificada se conseguirmos quantificar todos os aspectos de nossa vida. Essa lógica também estimula a visão de que seres humanos devem procurar por “progresso”, visto como sinônimo de aumento da produção e do consumo, que em última instância significa exploração de corpos e territórios.

Todos esses números e medidas sobre a vida de pessoas menos privilegiadas são coletados, compilados e analisados sob a lógica da “produtividade” para, no fim das contas, manter o capitalismo, o heteropatriarcalismo, a supremacia branca e o colonialismo. Mesmo que a narrativa do “autorrastreamento” pareça ser focada no indivíduo, não há espaço para o reconhecimento de todos os diferentes níveis que a consciência humana pode alcançar, nem espaço para formas alternativas de ser ou de construir práticas comunitárias.

É necessário descobrirmos como podemos criar abordagens metodológicas para o processamento de dados, que desafiem esse padrão positivista de análise. Existe predominância dos métodos quantitativos, que parecem ser, atualmente, um foco fundamental no desenvolvimento e implementação de algoritmos e processos de tomadas de decisão automatizadas.

Como diz Silvia Rivera Cusicanqui:

How can the exclusive, ethnocentric “we” be articulated with the inclusive “we” – a homeland for everyone – that envisions decolonization? How have we thought and problematized, in the here and now, the colonized present and its overturning?

Como podemos fazer com que o excludente e etnocêntrico “nós” seja articulado com o inclusivo “nós”, uma terra para todos, que engloba a descolonização? Como pensamos e problematizamos, no aqui e agora, o presente colonizado e sua superação?

Para além até mesmo de uma estrutura de direitos humanos, abordagens de descolonização e transfeministas sobre tecnologias são ótimas ferramentas para visualizar futuros alternativos e superar a lógica prevalecente onde sistemas de IA estão sendo criados. Valores transfeministas precisam ser inseridos nesses sistemas, para que avanços no desenvolvimento de tecnologias possam nos ajudar a entender e romper com o que a pensadora negra feminista Patricia Hill Collins chama de “matriz de dominação” (reconhecimento de diferentes camadas de opressão causadas por raça, classe, gênero, religião e outros aspectos de interseccionalidade). Isto nos levará para um futuro que promova e proteja, não só direitos humanos, mas também justiça social e ambiental, porque ambos estão no centro das teorias de descolonização feminista.

Reimaginando o futuro

Para colocar essa abordagem feminista em prática, na Coding Rights, em parceria com o Co-Design Studio do MIT, estamos fazemos um experimento com um jogo chamado “Oráculo para Futuros Transfeministas”. Através de uma série de workshops, nós pensamos coletivamente sobre que tipo de valores transfeministas nos inspirarão e ajudarão a visualizar futuros imaginados. Como disse Ursula Le Guin, certa vez:

The thing about science fiction is, it isn't really about the future. It's about the present. But the future gives us great freedom of imagination. It is like a mirror. You can see the back of your own head.

A questão sobre a ficção científica é que não se trata realmente do futuro. É sobre o presente. Mas o futuro nos dá uma enorme liberdade de imaginação. É como um espelho. Você consegue ver atrás da sua própria cabeça.

Naturalmente, propostas tangíveis de mudança no presente surgem assim que nos permitimos imaginar o futuro nos workshops. Com o tempo, valores como agenciamento, transparência, autonomia, justiça social, identidades não binárias, cooperação, descentralização, consentimento, diversidade, descolonização, empatia, segurança, entre outros, emergem durante os encontros.

Ao analisar apenas um ou dois desses valores combinados, conseguimos uma ferramenta para avaliar, um projeto de IA ou uma classificação, em termos de um conjunto de valores feministas descolonizadores. Desse modo, podemos propor práticas ou tecnologias alternativas que sejam mais coerentes com o presente e com o futuro que queremos.

Inicie uma conversa

Colaboradores, favor realizar Entrar »

Por uma boa conversa...

  • Por favor, trate as outras pessoas com respeito. Trate como deseja ser tratado. Comentários que contenham mensagens de ódio, linguagem inadequada ou ataques pessoais não serão aprovados. Seja razoável.