Democracia no espaço digital  “Cuidado com o que você cria”

Os algoritmos de reconhecimento facial não são isentos de preconceitos.
Os algoritmos de reconhecimento facial não são isentos de preconceitos. Foto (dethale): © picture alliance/Zoonar/Axel Bueckert

Maureen Webb, advogada especializada em direitos humanos e escritora, explica como soluções tecnológicas podem acentuar a discriminação – e como a cena de hackers se empenha para que os direitos democráticos fundamentais sejam resguardados no espaço digital.

Em seu livro “Coding Democracy” [Codificando a democracia], você descreve hackers como elementos perturbadores produtivos que se opõem à vigilância, à concentração de poder e ao autoritarismo. Você também argumenta que os hackers podem nos ajudar a superar a “disforia da informação” que assola a sociedade no momento. O que você quer dizer com isso?

Disforia da informação descreve o mal-estar com o qual nós, no Ocidente, nos confrontamos no momento – o estado de desorientação que sentimos num mundo digital em que nossas informações e relações sociais são cada vez mais controladas por forças invisíveis. Trata-se de um termo mais neutro que fake news, informação errada, desinformação, preconceito ou discriminação, embora englobe todos esses problemas. No jargão da patologia, “disforia” designa um estado de medo, depressão e “impaciência na aflição” – sendo esse último significado, na nossa atual situação política, muito relevante.

Quais são essas “forças invisíveis” que você menciona?

Há diversos exemplos: os algoritmos, que tomam decisões nada transparentes e nos classificam socialmente. O Big Data, com seus pressupostos nada comprovados, que a cada dia assumem mais funções de governança. A prática de narrowcasting, na qual a mídia atende a fragmentos cada vez menores da sociedade. O microtargeting político, como vimos no escândalo da Cambridge Analytica em torno das eleições presidenciais nos EUA em 2016 e da votação do Brexit. As influence campaigns [campanhas nas redes sociais voltadas a influenciar as opiniões e as decisões das pessoas], que ocultam suas origens reais. As campanhas que veiculam informações erradas e se tornam virais, a ascensão das deepfakes... Esses são apenas alguns exemplos.

Em que dimensão a disforia da informação é usada como tática política?

A democracia precisa de um discurso moderado, baseado em fatos. Colocar a população em disforia da informação é uma tática antiga de regimes autoritários que, fortalecida pelas mídias digitais, se infiltrou também nas democracias ocidentais nos últimos anos. Você enche o espaço público com inverdades e acaba se contradizendo o tempo todo. Até que ninguém mais sabe o que é verdadeiro ou falso, e os donos do poder ficam na posição de definir os símbolos do dia. Os símbolos contornam os debates e o discurso porque tocam diretamente as emoções das pessoas, suas preocupações, seus valores, bem como os mitos de perda e redenção. A disforia da informação é usada também para promover a vigilância das massas e a censura. Para “consertar” o mundo da informação, os governos e as elites começam a cooperar estreitamente com plataformas que monopolizam o setor, a fim de controlar o que a população pode ouvir, pensar e dizer. Isso destrói o discurso e a democracia.

A disforia da informação é usada também pelos menos poderosos?

É possível dizer que colocar a elite dominante em disforia da informação é uma tática de resistência política. Em uma série de posts para um blog, escrita antes do início do WikiLeaks, Julian Assange explicou que o leaking (sobretudo aquele de grande alcance) é uma prática emancipatória. Não apenas porque revela segredos que cidadãs e cidadãos precisam saber, mas também porque estrangula a comunicação entre os poderosos e os desorienta.

Grupos de hackers como o alemão Chaos Computer Club (CCC) empenham-se há muito contra a vigilância e em prol de mais transparência, certo?

Sim, e eles criaram uma outra tática brilhante de desorientação: o humor! Como por exemplo quando muitos governos, nos primeiros momentos da “guerra contra o terrorismo”, queriam introduzir as identidades biométricas. Foi ali que o CCC roubou as impressões digitais do então ministro alemão do Interior, Wolfgang Schäuble, e publicou-as em uma revista – impressas em um plástico filme que qualquer pessoa poderia usar para se fazer passar pelo ministro em controles de segurança. Essa foi uma forma muito bem-humorada de apontar a vulnerabilidade desse tipo de sistema e influenciar como a população – e o próprio ministro – pensam sobre isso.

Como o preconceito e a discriminação são perceptíveis nas tecnologias digitais?

Vejamos um exemplo muito discutido: os algoritmos no nosso entorno que decidem quem pode receber um empréstimo, quem é convidado para uma entrevista de emprego ou quem pode fazer um seguro – e a que preço. Esses algoritmos não são automaticamente justos. Preconceito e discriminação são replicados sem qualquer avaliação e com muita frequência. No mundo analógico, desenvolvemos vários meios para detectar e deter isso. No mundo digital, o código é com frequência uma “caixa-preta” e pouca gente entende exatamente o que acontece ali dentro. No caso da aprendizagem através da máquina, muitas vezes nem os próprios desenvolvedores entendem de fato.

Você poderia citar um exemplo de quando o preconceito digital influencia as decisões e a vida das pessoas?

Antigamente, a Amazon usava um algoritmo para empregar engenheiros de software. Eles constataram que o mecanismo selecionava exclusivamente currículos de homens. A razão para isso era: foram usados apenas currículos de funcionários já pertencentes ao quadro da empresa para definir os critérios de aceitação no cargo. Ou seja, o preconceito já estava presente nos dados históricos e foi replicado pelo algoritmo.

A mesma coisa poderia acontecer com tecnologias usadas por governos, como por exemplo com os softwares de reconhecimento facial?

Uma pesquisa que analisou dois grandes programas de reconhecimento facial constatou que havia um percentual de erro de apenas 1% na verificação do gênero de uma pessoa – quando esta pessoa era um homem branco. No caso de uma mulher de pele escura, esse percentual de erro era de aproximadamente 35%. A razão disso é que os programadores alimentaram os algoritmos com datasets constituídos por perfis semelhantes a eles próprios. Isso é preocupante quando se pensa que nosso sistema penal e outros sistemas de aplicação da lei estão delegando cada vez mais decisões a algoritmos. Em um sistema completamente automatizado, não há como apelar das decisões, não existe julgamento humano, nem clemência ou discrição.

Por que o uso da tecnologia discriminatória não esbarra em maior resistência pública?

Por um lado, porque tudo acontece de forma obscura e há pouca compreensão a respeito do assunto. Além disso, as pessoas são impacientes – elas almejam uma arma mágica que solucione todos os problemas e estão dispostas a reagir a impulsos iliberais. Isso diz respeito a todos nós. Precisamos ter a coragem de olhar para esses fenômenos de maneira totalmente imparcial. Acho muito importante que também as pessoas progressistas reconheçam que elas têm preconceitos. A censura através de algoritmos de busca tornou-se a arma de escolha para combater opiniões, questões e debates que não são de agrado dos progressistas. Falo aqui como parte da esquerda, como sindicalista e defensora dos direitos humanos. Nós também difundimos preconceitos através de processos tecnológicos. Há situações nas quais achamos que estamos fazendo a coisa certa, mas, na verdade, estamos causando danos.

Por exemplo?

Havia um aplicativo de Hollywood que tinha como meta combater a discriminação de negros na indústria do cinema. O aplicativo começou como um simples banco de dados de pessoas negras que atuam no setor. O segundo passo planejado por quem desenvolveu o aplicativo era criar para os estúdios um mapeamento demográfico da origem étnica de todos os funcionários de uma produção cinematográfica. Em uma palestra no Goethe-Institut de São Francisco, argumentei que isso poderia ser uma péssima ideia – do ponto de vista dos direitos humanos e trabalhistas.

Qual era o problema desse aplicativo de Hollywood?

Sou uma defensora absoluta de uma maior participação de minorias nos locais de trabalho em todas as esferas. Mas precisei perguntar: se vocês oferecem um mapeamento demográfico das identidades dos funcionários, quais categorias vocês usam? Não apenas etnia e gênero, mas também família, religião e status socioeconômico? Os direitos humanos protegem esses dados. Se vocês têm por meta uma representação proporcional, como ela pode ser atingida se toda pessoa tem características identitárias múltiplas que se sobrepõem e que, juntas, resultam em muito mais que 100%? Além disso, os funcionários de uma empresa têm direito de proteção à privacidade. Há muitas razões pelas quais eles podem não querer revelar a seus empregadores todos os elementos de suas identidades. Entre elas está também o medo, por exemplo, de ser preterido se os estúdios souberem que a pessoa em questão tem alguma deficiência ou antecedentes criminais. Isso nos leva à pergunta: o que fazer com aqueles que não querem participar? Vocês de fato querem obrigar todo funcionário e toda funcionária a carregar uma identidade – uma identidade racial –, só porque nossa sociedade da informação está em condições de criar um sistema como esse? Uma ideia que começa sendo boa e progressista pode rapidamente se transformar em uma péssima ideia com consequências indesejáveis, se a gente confiar demais nas “soluções da tecnologia”.

Governos progressistas introduziram recentemente uma “solução tecnológica” em forma de certificado de vacinação. Isso também poderia surtir consequências indesejáveis?

Esse é outro exemplo importante de como os progressistas deixam facilmente de perceber seus próprios preconceitos. Em um curto espaço de tempo, os governos ocidentais (confiando em sua própria virtude e inteligência superior) levaram boa parte da sociedade a aceitar uma vigilância em massa e um sistema social de crédito nos moldes chineses. Se esses governos tivessem metas legítimas no contexto da saúde pública, teriam usado cartões temporários descartáveis com proteção contra fraude, como cédulas de dinheiro, carteiras de motorista ou cartões de seguradoras. Em vez disso, criaram um aplicativo móvel com um código QR, que arquiva dados pessoais e médicos. Geraram um sistema sem precedentes nos países ocidentais, que será provavelmente expandido – tanto em termos de conteúdo quanto de duração. O que quero dizer é que instrumentos digitais que nos classificam socialmente, nas mãos de qualquer pessoa, são um perigo. São instrumentos de controle social, que funcionam através da lógica de uma máquina e sem sensibilidade humana. E seu uso tem consequências que muitas vezes vão além da imaginação das próprias pessoas que os desenvolveram. Meu conselho urgente é: tenha cuidado com aquilo que você cria! Uma sociedade precisa ponderar com cautela quais sistemas ela cria.

Instrumentos digitais que nos classificam socialmente, nas mãos de qualquer pessoa, são um perigo. São instrumentos de controle social, que funcionam através da lógica de uma máquina e sem sensibilidade humana. E seu uso tem consequências que muitas vezes vão além da imaginação das próprias pessoas que os desenvolveram.

Você argumenta, em seu livro, que justamente os hackers apresentam as melhores soluções para todos esses desafios democráticos.

Acho que os hackers estão no caminho certo e fazem isso melhor que outros grupos. E não acho que soluções tecnológicas bitoladas vão nos tirar da miséria. Os hackers lutam há três décadas por princípios fundamentais de governança e ética na era digital. Hackers progressistas defendem o compartilhamento do poder, da tomada de decisões e da democracia. Eles defendem também o acesso aberto à internet, a descentralização e as chamadas “common-based solutions” (soluções de base comunitária). Seu princípio mais importante – conhecido como o “imperativo prático” – é o de que deveria ser ilimitado o acesso a tudo o que pode ensinar ao ser humano como o mundo funciona. Isso significa que toda pessoa deveria ter a possibilidade de analisar sistemas de computador, interferir nos mesmos e melhorá-los.

Pode-se dizer que os hackers são céticos por natureza com relação a todos os sistemas, porque sabem que qualquer um deles pode ser usurpado?

Sim, acho que essa é uma observação perspicaz.

De volta aos princípios sobre os quais falamos há pouco. Eles parecem se basear na “ética hacker” que Steven Levy descreveu há quase 40 anos – ironicamente no ano de 1984, para ser preciso.

Sim, há toda uma geração de ideias hackers que nos remetem aos anos 1950. Levy resumiu tudo nos anos 1980 e elas continuam sendo desenvolvidas pelos hackers até agora. Hoje a “ética hacker” envolve os princípios da esfera privada e da autodeterminação dos dados, transparência, neutralidade da rede, software livre e também o “imperativo prático”. Esses princípios são a chave para a proteção da nossa democracia na era digital e para a superação da disforia da informação.

Um slogan hacker, que muita gente talvez conheça, é: “Esfera privada para os fracos, transparência para os poderosos”. Por que a esfera privada para os fracos é um tema tão importante para os hackers?

A esfera privada garante autonomia e segurança na vida privada. Se você quer proteger usuários do microtargeting e de campanhas de desinformação, você precisa proteger suas esferas privadas e dar a eles o controle sobre seus dados pessoais para que estes não sejam usurpados. Os hackers trabalham há anos na criação de ferramentas de criptografia civil para possibilitar a autodeterminação dos dados.

E a transparência para os poderosos?

Transparência é o antídoto para governos corruptos e malconduzidos. O WikiLeaks iniciou uma nova e inédita era em termos de transparência para os poderosos.  Muitas outras plataformas de leaking seguiram esse exemplo, inclusive aquelas usadas hoje pela maioria das grandes e estabelecidas organizações de mídia.

E os outros princípios da ética hacker?

A neutralidade da rede existia na internet original, que era descentralizada e não vigiava nem discriminava os conteúdos de usuários. Cada pessoa podia usá-la livremente para seus próprios propósitos – não havia um controle na portaria. O que as pessoas precisam entender é que o empenho dos hackers em prol da neutralidade da rede é, na verdade, uma luta pela comunicação livre na era digital.

Você também mencionou o “software livre”.

Software “livre” não quer dizer software “grátis”. O livre diz respeito à possibilidade de avaliar, modificar, compartilhar e poder continuar desenvolvendo um software sem restrições. Não deveriam existir “caixas-pretas”. A ideia de que usuários controlam o software e não o contrário é o alicerce da liberdade e da democracia no espaço digital.

A ideia de que usuários controlam o software e não o contrário é o alicerce da liberdade e da democracia no espaço digital.

Para escrever seu livro, você esteve no Chaos Communication Camp, em Berlim, organizado pelo CCC, e visitou também grupos de hackers na Espanha e na Itália. Há diferenças entre as cenas hackers na Europa e as cenas correspondentes do outro lado do Atlântico?

Tive a honra de conhecer hackers de diversos países e há diferenças evidentes, sobretudo entre europeus e estadunidenses – e isso apesar da internacionalização crescente da cena no mundo. Minha impressão foi de que os hackers europeus – especialmente os alemães – são muito mais destemidos e mais sérios que os hackers estadunidenses. Uma ação política séria e intrépida como a publicação das impressões digitais de um ministro não ocorreria com um grupo de hackers nos Estados Unidos. E a piada também não teria sido tão bem recebida por lá como foi na Alemanha.

Quais são as outras diferenças da cena hacker nos EUA?

A cena estadunidense está muito comercializada hoje. Muitos hackers foram recrutados por complexos militares e de segurança, pelas grandes empresas de tecnologia e até mesmo pelo Partido Democrata. Conferências de hackers como a Defcon e a Black Hat seguem uma orientação muito comercial. Em 2013, o discurso inaugural da Defcon foi até mesmo proferido por um funcionário do Departamento de Segurança Nacional. Muita gente que se autodenomina hacker nos EUA não liga para os efeitos sociais da tecnologia.

A cena europeia tem uma consciência social e democrática mais acentuada?

Na Espanha, França e Itália com certeza. Hackers alemães como o CCC também sempre abordaram a relação entre tecnologia e sociedade. E há grandes progressos a serem observados. Da mesma forma que o Congresso Nacional Africano de Nelson Mandela, a fama do CCC foi se transformando com o passar dos anos – da suspeita de criminalidade à seriedade. Hoje há apreço por esses grupos, que são regularmente consultados pelos Parlamentos alemão e europeu.

Qual é o futuro do movimento hacker?

A cena progressiva de hackers está se tornando um movimento internacional crescente. Ela tem ligações cada vez mais estreitas com grupos civis que se debruçam sobre todos esses temas dos quais falamos. Os hackers também tentam usar suas habilidades e seu saber tecnológico para tratar dos problemas com os quais nos confrontamos. O desafio democrático agora é manter os princípios liberais do Ocidente e ao mesmo tempo chegar a um consenso amplo. Isso pode ser possível através dos modelos de democracia e tomada de decisão compartilhada que alguns grupos de hackers defendem.

Leia mais…

Failed to retrieve recommended articles. Please try again.