A entrevista mais importante de 2018: Yuval Harari e Tristan Harris

Yuval Noah Harari and Tristan Harris interviewed by Wired

Yuval Noah Harari, historiador-estrela, escritor aclamado, conselheiro global sobre o futuro da humanidade.

Tristan Harris, ex-designer do Google, diretor e cofundador do Centro para a Tecnologia Humana, um dos mais influentes pensadores na área de design persuasivo.

Os dois estão juntos, a convite da Wired Magazine, para uma interessante conversa a respeito do poder da persuasão em tempos digitais. Grande destaque é dado para os limites da mente humana e como ela é influenciável. É o reconhecimento de que os humanos são animais manipuláveis, e como a crença na escolha humana é uma ilusão.

A conversa é extremamente interessante por reunir um historiador e um cientista da computação. Ambos preocupados com os rumos da humanidade. Na minha opinião, eles dão um diagnóstico preciso do momento presente, e mostram possíveis caminhos para um futuro mais justo e próspero.

Ambos são pensadores essenciais para entendermos o confuso momento do agora. Eles também são relativamente pouco conhecidos no Brasil e no mundo em desenvolvimento, o que é uma lástima. Portanto, fica a recomendação. Com certeza discutirei suas ideias com mais profundidade nas próximas postagens.

Ei, Programadores! Parem de odiar Humanas

Compartilho abaixo a tradução livre de um texto de Emma Pierson, postado em Abril de 2017 na Wired Magazine. Uso ele para abrir o assunto que será constante no meu blog nas próximas semanas. A versão original em inglês está disponível no link acima.

Como estudante de doutorado em ciência da computação, sou uma discípula de big data. Não vejo nenhum tópico sagrado para análises estatísticas: usei-as para estudar tudo, desde sexo a Shakespeare, e recebi respostas raivosas para essas tentativas. Em Stanford, na adolescência, eu recebia armas elegantes e letais – algoritmos que poderiam identificar os terroristas mais perigosos, ou detectar a insatisfação de alguém com o governo por meio de seus textos on-line.

A ciência da computação é maravilhosa. O problema é que muitas pessoas no Vale do Silício acreditam que ela é tudo o que importa. Você vê isso quando recrutadores em feiras de carreira deixam claro que só estão interessados nos cientistas da computação; na diferença salarial entre estudantes de engenharia e não-engenheiros; nos olhares inquisitivos que os estudantes de humanidades recebem quando ousam revelar suas especialidades. Eu vi cientistas de computadores brilhantes mostrarem uma ignorância tão lamentável sobre as populações que estavam estudando que eu só pude rir diante deles. Eu observei cientistas militares apresentarem suas inovações letais com um entusiasmo infantil, sem mencionar a quem as armas estão sendo usadas. Há poucas coisas mais assustadoras do que um cientista que pode dar uma palestra acadêmica sobre como atirar num ser humano, mas não pode raciocinar se você deveria estar atirando neles em primeiro lugar.

O fato de tantos cientistas da computação serem ignorantes ou desdenhosos em relação a abordagens não-técnicas é preocupante porque, em meu trabalho, estou constantemente confrontando questões que não podem ser respondidas com código. Quando eu fui programadora na Coursera, uma empresa de educação on-line, desenvolvi um algoritmo que recomendava aulas para pessoas com base em seu gênero. Mas a empresa decidiu não usá-lo quando descobrimos que isso afastaria as mulheres de cursos em ciência da computação.

Acontece que esse efeito – em que os algoritmos entranham as disparidades sociais – ocorre em domínios que vão da justiça criminal à pontuação de crédito. Este é um dilema difícil: na justiça criminal, por exemplo, você é confrontado com o fato de que um algoritmo que atende a determinantes estatísticos básicos também é muito mais provável de classificar réus negros como de alto risco, mesmo quando eles não seguirão adiante cometendo outro crime.

Eu não tenho uma solução para esse problema. Eu sei, no entanto, que não vou encontrá-lo no meu livro de algoritmos; Tenho muito mais probabilidade de encontrar fatos relevantes no trabalho de Ta-Nehisi Coates sobre discriminação sistêmica ou de Michelle Alexander sobre o encarceramento em massa.

Meus projetos pessoais têm apresentado questões éticas espinhosas semelhantes. Devo escrever um programa de computador que irá baixar as comunicações de milhares de adolescentes que sofrem de transtornos alimentares postados em um site de aconselhamento de anorexia? Escrever um programa para postar mensagens anônimas e suicidas em centenas de fóruns universitários para ver quais faculdades oferecem mais apoio? Minha resposta a estas perguntas, incidentemente, foi “não”. Mas eu considerei isso. E a glória e o perigo dos computadores é que eles aumentam o impacto de suas fantasias: um impulso se torna um programa que pode prejudicar milhares de pessoas.

Talvez seja mais eficiente permitir que cientistas da computação façam o que sabem melhor – escrever código – e deixar para que outras pessoas regulem nossos produtos? Isso é insuficiente. Os programadores desenvolvem produtos em velocidade alucinante, muitas vezes encobertos pelo sigilo da indústria; Quando a legislação chegar, milhões de pessoas já poderão ser prejudicadas. O treinamento de ética é necessário para profissionais de outras áreas, em parte porque é importante que médicos e advogados possam agir com ética, mesmo quando ninguém está olhando. Além disso, os cientistas da computação precisam ajudar nas regulamentações porque eles possuem o conhecimento técnico necessário; É difícil regular o viés algorítmico de word embeddings se você não tem ideia do que é um word embedding.

Aqui estão alguns passos recomendados. As universidades devem começar com um treinamento mais amplo para estudantes de ciências da computação. Entrei em contato com oito dos principais programas de graduação em ciência da computação e descobri que a maioria não exige que os alunos façam um curso sobre questões éticas e sociais (embora alguns ofereçam cursos opcionais). Esses cursos são difíceis de ensinar bem. Os cientistas da computação muitas vezes não os levam a sério, não se sentem à vontade com o pensamento não quantitativo, são excessivamente confiantes porque são matematicamente brilhantes ou estão convencidos de que o utilitarismo é a resposta para tudo. Mas as universidades precisam tentar. Os professores precisam assustar seus alunos, fazê-los sentir que eles recebem as habilidades não apenas para ficar ricos, mas para destruir vidas; eles precisam torná-los humildes, para fazê-los perceber que, por melhores que sejam em matemática, ainda há muito que eles não sabem.

Um currículo mais socialmente orientado não apenas tornaria os programadores menos propensos a causar danos; ele pode também torná-los mais propensos a fazer o bem. As escolas de ponta desperdiçam muito do seu talento técnico em atividades socialmente inúteis (mas que pagam bem), como algorítmicos de trading. Como Andrew Ng, um cientista da computação de Stanford, repreendeu uma sala cheia de estudantes de Stanford que ele estava tentando recrutar para o Coursera: “Você tem que se perguntar, por que eu estudei ciência da computação? E para muitos estudantes, a resposta parece ser, para que eu possa projetar o novo aplicativo de mídia social … Acredito que podemos construir coisas que sejam mais significativas do que isso “.

Há muitas ações que as empresas de tecnologia também devem adotar. As organizações devem explorar as questões éticas e sociais que seus produtos criam: o Google e a Microsoft merecem crédito por pesquisar a discriminação algorítmica, por exemplo, e o Facebook para investigar as câmaras de eco (echo chambers). Torne mais fácil para pesquisadores externos avaliarem os impactos de seus produtos: seja transparente sobre como seus algoritmos funcionam e forneça acesso a dados sob acordos de uso de dados apropriados. (Pesquisadores também precisam ter permissão para auditar algoritmos sem serem processados.) Faça perguntas sociais ou éticas nas entrevistas de contratação, não apenas sobre algoritmos; Se os gerentes de contratação pedissem, os alunos aprenderiam como respondê-los. (Em uma entrevista técnica, o CEO da Microsoft foi questionado sobre o que faria se visse um bebê caído em um cruzamento: a resposta óbvia de pegar o bebê não ocorreu a ele).

As empresas devem contratar as pessoas prejudicadas ou excluídas por seus produtos: cujos rostos seus sistemas de visão computacional não reconhecem e seus emojis sorridentes não representam, cujos currículos são classificados como menos relevantes e cujas opções de moradia eles limitam, que são assediados pela Internet por trolls que eles ajudaram a organizar e fazer pouco para controlar. Contrate cientistas “não-informáticos” e leve-os para palestras na hora do almoço; faça com que eles desafiem as visões de mundo da sua força de trabalho.

É possível que escutar cientistas que não sejam de computação reduzirá a velocidade da máquina do Vale do Silício: visões de mundo diversas podem produzir conflitos. Mas desacelerar em lugares onde pessoas razoáveis podem discordar é uma coisa boa. Em uma época em que até as eleições são vencidas e perdidas nos campos de batalha digitais, as empresas de tecnologia precisam se mover menos rapidamente e quebrar menos coisas.