Ei, Programadores! Parem de odiar Humanas

Compartilho abaixo a tradução livre de um texto de Emma Pierson, postado em Abril de 2017 na Wired Magazine. Uso ele para abrir o assunto que será constante no meu blog nas próximas semanas. A versão original em inglês está disponível no link acima.

Como estudante de doutorado em ciência da computação, sou uma discípula de big data. Não vejo nenhum tópico sagrado para análises estatísticas: usei-as para estudar tudo, desde sexo a Shakespeare, e recebi respostas raivosas para essas tentativas. Em Stanford, na adolescência, eu recebia armas elegantes e letais – algoritmos que poderiam identificar os terroristas mais perigosos, ou detectar a insatisfação de alguém com o governo por meio de seus textos on-line.

A ciência da computação é maravilhosa. O problema é que muitas pessoas no Vale do Silício acreditam que ela é tudo o que importa. Você vê isso quando recrutadores em feiras de carreira deixam claro que só estão interessados nos cientistas da computação; na diferença salarial entre estudantes de engenharia e não-engenheiros; nos olhares inquisitivos que os estudantes de humanidades recebem quando ousam revelar suas especialidades. Eu vi cientistas de computadores brilhantes mostrarem uma ignorância tão lamentável sobre as populações que estavam estudando que eu só pude rir diante deles. Eu observei cientistas militares apresentarem suas inovações letais com um entusiasmo infantil, sem mencionar a quem as armas estão sendo usadas. Há poucas coisas mais assustadoras do que um cientista que pode dar uma palestra acadêmica sobre como atirar num ser humano, mas não pode raciocinar se você deveria estar atirando neles em primeiro lugar.

O fato de tantos cientistas da computação serem ignorantes ou desdenhosos em relação a abordagens não-técnicas é preocupante porque, em meu trabalho, estou constantemente confrontando questões que não podem ser respondidas com código. Quando eu fui programadora na Coursera, uma empresa de educação on-line, desenvolvi um algoritmo que recomendava aulas para pessoas com base em seu gênero. Mas a empresa decidiu não usá-lo quando descobrimos que isso afastaria as mulheres de cursos em ciência da computação.

Acontece que esse efeito – em que os algoritmos entranham as disparidades sociais – ocorre em domínios que vão da justiça criminal à pontuação de crédito. Este é um dilema difícil: na justiça criminal, por exemplo, você é confrontado com o fato de que um algoritmo que atende a determinantes estatísticos básicos também é muito mais provável de classificar réus negros como de alto risco, mesmo quando eles não seguirão adiante cometendo outro crime.

Eu não tenho uma solução para esse problema. Eu sei, no entanto, que não vou encontrá-lo no meu livro de algoritmos; Tenho muito mais probabilidade de encontrar fatos relevantes no trabalho de Ta-Nehisi Coates sobre discriminação sistêmica ou de Michelle Alexander sobre o encarceramento em massa.

Meus projetos pessoais têm apresentado questões éticas espinhosas semelhantes. Devo escrever um programa de computador que irá baixar as comunicações de milhares de adolescentes que sofrem de transtornos alimentares postados em um site de aconselhamento de anorexia? Escrever um programa para postar mensagens anônimas e suicidas em centenas de fóruns universitários para ver quais faculdades oferecem mais apoio? Minha resposta a estas perguntas, incidentemente, foi “não”. Mas eu considerei isso. E a glória e o perigo dos computadores é que eles aumentam o impacto de suas fantasias: um impulso se torna um programa que pode prejudicar milhares de pessoas.

Talvez seja mais eficiente permitir que cientistas da computação façam o que sabem melhor – escrever código – e deixar para que outras pessoas regulem nossos produtos? Isso é insuficiente. Os programadores desenvolvem produtos em velocidade alucinante, muitas vezes encobertos pelo sigilo da indústria; Quando a legislação chegar, milhões de pessoas já poderão ser prejudicadas. O treinamento de ética é necessário para profissionais de outras áreas, em parte porque é importante que médicos e advogados possam agir com ética, mesmo quando ninguém está olhando. Além disso, os cientistas da computação precisam ajudar nas regulamentações porque eles possuem o conhecimento técnico necessário; É difícil regular o viés algorítmico de word embeddings se você não tem ideia do que é um word embedding.

Aqui estão alguns passos recomendados. As universidades devem começar com um treinamento mais amplo para estudantes de ciências da computação. Entrei em contato com oito dos principais programas de graduação em ciência da computação e descobri que a maioria não exige que os alunos façam um curso sobre questões éticas e sociais (embora alguns ofereçam cursos opcionais). Esses cursos são difíceis de ensinar bem. Os cientistas da computação muitas vezes não os levam a sério, não se sentem à vontade com o pensamento não quantitativo, são excessivamente confiantes porque são matematicamente brilhantes ou estão convencidos de que o utilitarismo é a resposta para tudo. Mas as universidades precisam tentar. Os professores precisam assustar seus alunos, fazê-los sentir que eles recebem as habilidades não apenas para ficar ricos, mas para destruir vidas; eles precisam torná-los humildes, para fazê-los perceber que, por melhores que sejam em matemática, ainda há muito que eles não sabem.

Um currículo mais socialmente orientado não apenas tornaria os programadores menos propensos a causar danos; ele pode também torná-los mais propensos a fazer o bem. As escolas de ponta desperdiçam muito do seu talento técnico em atividades socialmente inúteis (mas que pagam bem), como algorítmicos de trading. Como Andrew Ng, um cientista da computação de Stanford, repreendeu uma sala cheia de estudantes de Stanford que ele estava tentando recrutar para o Coursera: “Você tem que se perguntar, por que eu estudei ciência da computação? E para muitos estudantes, a resposta parece ser, para que eu possa projetar o novo aplicativo de mídia social … Acredito que podemos construir coisas que sejam mais significativas do que isso “.

Há muitas ações que as empresas de tecnologia também devem adotar. As organizações devem explorar as questões éticas e sociais que seus produtos criam: o Google e a Microsoft merecem crédito por pesquisar a discriminação algorítmica, por exemplo, e o Facebook para investigar as câmaras de eco (echo chambers). Torne mais fácil para pesquisadores externos avaliarem os impactos de seus produtos: seja transparente sobre como seus algoritmos funcionam e forneça acesso a dados sob acordos de uso de dados apropriados. (Pesquisadores também precisam ter permissão para auditar algoritmos sem serem processados.) Faça perguntas sociais ou éticas nas entrevistas de contratação, não apenas sobre algoritmos; Se os gerentes de contratação pedissem, os alunos aprenderiam como respondê-los. (Em uma entrevista técnica, o CEO da Microsoft foi questionado sobre o que faria se visse um bebê caído em um cruzamento: a resposta óbvia de pegar o bebê não ocorreu a ele).

As empresas devem contratar as pessoas prejudicadas ou excluídas por seus produtos: cujos rostos seus sistemas de visão computacional não reconhecem e seus emojis sorridentes não representam, cujos currículos são classificados como menos relevantes e cujas opções de moradia eles limitam, que são assediados pela Internet por trolls que eles ajudaram a organizar e fazer pouco para controlar. Contrate cientistas “não-informáticos” e leve-os para palestras na hora do almoço; faça com que eles desafiem as visões de mundo da sua força de trabalho.

É possível que escutar cientistas que não sejam de computação reduzirá a velocidade da máquina do Vale do Silício: visões de mundo diversas podem produzir conflitos. Mas desacelerar em lugares onde pessoas razoáveis podem discordar é uma coisa boa. Em uma época em que até as eleições são vencidas e perdidas nos campos de batalha digitais, as empresas de tecnologia precisam se mover menos rapidamente e quebrar menos coisas.

A luta é uma dança que é uma luta

Imagem da manifestação de resistência a Bolsonaro. Hermann Platz

São coisas misturadas, luta e dança. Mistura e oposição simultâneas. Ambas fazem parte da natureza. Acasalamento e oposição. Criação e morte. Beleza e horror. A existência de uma possibilita a apreciação da outra. As melhores lutas têm um pouco de dança e as melhores danças têm um pouco de luta.

É tempo de resgatar a dança dentro da luta e a luta dentro da dança. Tivemos um vislumbre disso na Hermannplatz, dia 4 de novembro de 2018: Kundgebung des Widerstands gegen Bolsonaro.

Que comecem a música. O primeiro round vai começar.

Quantos somos?

A – Sinto que o mundo está mais conectado. As pessoas viajam mais, conhecem outras culturas…

B – Você acha? Concordo que tem muito mais gente viajando, mesmo assim acho que ainda não é tão representativo.

A – Por que você diz isso? Está tudo lotado de turistas hoje em dia!

B – Mas isso é aqui na Europa. É em cidades específicas. O aumento existe, mas é concentrado.

A – Discordo. Todos os meus amigos viajam. Cada vez que nos encontramos o assunto acaba sendo a última viagem, um novo lugar descoberto.

B – Qual é a representatividade dos seus amigos? Digo, em relação ao mundo? Em relação a 7 bilhões de pessoas no mundo.

A – Mas aí você está indo muito além…

B – Não acho que é muito além. Você falou em mundo conectado. Existe esse discurso de que o mundo está cada vez menor. Mas acho que é uma ideia falsa. Ou, pelo menos, distorcida.

A – Distorcida como?

B – Primeiro pelo argumento da representatividade. Sim, mais gente viaja, mas ainda é uma minoria em termos globais. Boa parte do mundo continua sem recursos básicos e viajar é um luxo. Segundo, tem a desigualdade, mesmo nos países desenvolvidos. Algumas pessoas viajam muito, a maioria pouco ou nunca.

A – De onde você está tirando essa informação?

B – Estamos conversando, não tenho as referências de cabeça. Mas é só dar um Google e ver. Até onde eu lembro 2017 teve por volta de 1.3 bilhões de turistas. É gente pra cacete, mas temos 7.5 bilhões de pessoas no mundo. Não dá nem um quinto do total!

A – Mas cada um que viaja volta com histórias! Espalha entre os amigos, pela família. Esses 1.3 bilhões com certeza influenciam o restante.

B – É um bom ponto, não discordo totalmente. Mas aí entramos na questão qualitativa também.

A – Em quê sentido?

B – Viajar não é um produto acabado. Existem muitas formas de viajar. Pode ser profissional, familiar, sexual, turística. Pegando apenas a turística, acho que em boa parte o ato de viajar se tornou um produto de consumo.

A – E qual é o problema de ser um produto de consumo?

B – O problema é que não existe conexão, como você falou. Existe consumo. Compra, uso e descarte. As pessoas não absorvem a outra cultura de forma significativa. Elas se deslocam fisicamente, consomem, e voltam. É ínfima a parcela que realmente absorve, que realmente se conecta.

A – Essa é a sua opinião. Para você se conectar exige o quê?

B – Sem dúvida é a minha opinião. É o que as pessoas fazem quando conversam. Realmente, para mim conexão é algo que leva tempo. Não pode ser condensada em uma semana, um mês, talvez nem em um ano.

A – Então ninguém se conecta com ninguém? Quantos podem viajar por mais de um ano?

B – Claro que se conecta. Algumas viagens são introduções para algo além. Estabelecemos laços e eles são construídos com o tempo.

A – Então pronto, existe conexão!

B – Existe, isso é inegável. O meu ponto é que isso não é representativo. O discurso de um mundo mais tolerante por causa de tanta gente fazendo mochilão é exagerado. A prova disso é ver o que tem acontecido na política.

A – A maioria dos meus amigos que viajam está chocada com essas mudanças!

B – É claro que estão. Mas o que eles podem fazer? São minoria. Uma minoria conectada com o mundo e desconectada de seu próprio povo…