Tomada de decisão

Quer decisões menos preconceituosas? Use algoritmos

Alex P. Miller
25 de setembro de 2018
uso dos algoritmos na tomada de decisão

Uma revolução silenciosa está em curso. Ao contrário do que diz a maior parte da cobertura da imprensa sobre inteligência artificial, essa revolução não está ligada à ascensão de um exército de androides conscientes. Em vez disso, ela é caracterizada por um aumento contínuo na automação de processos de decisão tradicionalmente executados por seres humanos em organizações de todo o país. Embora avanços como o AlphaGo Zero produzam manchetes atraentes, são tecnologias mais tradicionais, como aprendizado de máquina e técnicas de estatística — mínimos quadrados, regressão logística e árvores de decisão — que estão agregando valor real aos resultados de muitas organizações. Aplicações no mundo real vão desde diagnósticos médicos e sentenças judiciais até recrutamento profissional e alocação de recursos em repartições públicas.

Leia também
Uma ferramenta simples para começar a tomar decisões com a ajuda da IA
Por que a IA levará a tomada de decisão da diretoria à linha de frente

Mas será que essa revolução é positiva? Parece haver um número crescente de autores, acadêmicos e jornalistas que responderiam “não” a essa pergunta. Livros que seguem essa linha incluem Weapons of math destruction, Automating inequality e The black box society. Também foi publicada uma série de longos artigos expositivos como “Machine Bias”, “Austeriry is an Angorithm” e “Are Algorithms Building the New Infrastructure of Racism?”. Esses trabalhos trazem uma preocupação central: a de que os algoritmos geralmente são ferramentas obscuras, tendenciosas, que não podem ser responsabilizadas, usadas a serviço dos interesses dos poderes institucionais. Então, até que ponto deveríamos estar preocupados com a escalada moderna dos algoritmos?

Essas críticas e investigações podem ser profundas e iluminadoras, e foram muito importantes para nos dissuadir da ideia de que os algoritmos seriam puramente objetivos. Mas há um padrão entre esses críticos: eles raramente questionam de que maneira esses sistemas que estão analisando operariam sem algoritmos. E essa é a questão mais relevante para médicos e tomadores de decisão: como a relação entre preconceito e desempenho de algoritmos se compara com o que existe hoje? Em vez de questionar as falhas dos algoritmos, deveríamos nos perguntar de que maneira essas falhas se comparam com as falhas dos seres humanos.

O que dizem as pesquisas?

Existe um grande volume de pesquisas, iniciadas várias décadas atrás, sobre as tomadas de decisão com algoritmos. Todos os estudos sobre esse tópico chegaram a uma conclusão surpreendentemente similar: os algoritmos são menos tendenciosos e mais precisos do que os seres humanos que estão substituindo. Aqui está uma amostra do que as pesquisas dizem sobre o que acontece quando os algoritmos tomam conta de tarefas tradicionalmente executadas por seres humanos (trechos grifados por mim):

  • Em 2002, uma equipe de economistas estudou o impacto de algoritmos de subscrição automatizada no setor de crédito imobiliário. Seus achados principais são “que sistemas de subscrição automatizada preveem inadimplência com mais precisão do que métodos manuais” e “que esse aumento de precisão se reflete em taxas maiores de aprovação para crédito, especialmente para candidatos carentes”. Em vez de marginalizar compradores desfavorecidos, o sistema algorítmico beneficia esse segmento mais do que os outros.
  • Bo Cowgill, da Columbia Business School, chegou a uma conclusão semelhante quando estudou a performance de um algoritmo de seleção de candidatos em uma companhia de software. Quando a empresa usou a ferramenta para decidir quais candidatos deveriam ser entrevistados, o algoritmo favoreceu candidatos “não-tradicionais” com maior frequência do que os recrutadores humanos. Na comparação, o algoritmo exibiu bem menos preconceito contra os candidatos com características pouco presentes na empresa (como aqueles sem referências pessoais ou sem formação em universidades de prestígio).
  • Estudando as audiências de custódia com fiança da cidade de Nova York, um time formado por cientistas da computação e economistas proeminentes descobriu que os algoritmos têm potencial para alcançar decisões bem mais justas do que os juízes encarregados da tarefa, com “reduções nas taxas de encarceramento de até 41,9%, sem nenhum aumento na taxa de criminalidade”. Eles também descobriram que, nesse novo modelo, “todas as categorias de crimes, incluindo os violentos, mostram uma redução [de taxas de encarceramento]; e que esses ganhos podem ser alcançados ao mesmo tempo que as disparidades raciais são reduzidas.”
  • A revista do New York Times publicou há pouco tempo uma longa reportagem que pretendia responder à questão: “Um algoritmo pode dizer quando crianças estão em perigo?” A reportagem diz que sim, e acrescenta que os algoritmos podem executar essa tarefa com muito mais precisão do que os seres humanos. Em vez de exacerbar os preconceitos raciais perniciosos associados a alguns serviços do governo, “a experiência de Alegheny sugere que sua ferramenta de triagem é menos ruim na avaliação dos preconceitos do que os humanos.
  • Por fim, examinando dados históricos em companhias de capital aberto, um time de professores de finanças decidiu construir um algoritmo capaz de escolher os melhores membros do conselho para uma determinada companhia. A pesquisa concluiu que as empresas têm um melhor desempenho quando os membros do conselho são selecionados por algoritmos; na comparação, “descobriram que as empresas [sem algoritmos] tendem a escolher diretores do sexo masculino, que contam com uma extensa rede de relacionamentos, têm muita experiência em conselhos, servem em outros conselhos e têm experiência em finanças.

Em cada um desses estudos de caso, os cientistas de dados fizeram algo que parece alarmante: eles treinaram os algoritmos usando dados passados que, com certeza, estavam distorcidos por preconceitos históricos. Como se explicam, então, esses resultados? Como é possível que os algoritmos estejam diminuindo o preconceito em tantas áreas diferentes — aplicações de crédito, recrutamento, justiça penal, alocação de recursos públicos e governança corporativa —, quando ouvimos tantos especialistas dizerem que eles fazem o contrário?

Seres humanos são péssimos tomadores de decisão

Um segredo não tão bem guardado sobre os algoritmos mencionados acima é que eles, na verdade, são tendenciosos. Mas os seres humanos que estão substituindo são muito mais preconceituosos. Afinal, de onde vêm os preconceitos institucionais, senão dos humanos que sempre estiveram no comando?

Mas os seres humanos não podem ser tão ruins, certo? É verdade que podemos ser preconceituosos, mas deve haver algum indicador de desempenho indicando que somos bons tomadores de decisão. Infelizmente, décadas de estudos psicológicos sobre julgamentos e tomadas de decisão mostraram muitas e muitas vezes que os humanos são péssimos juízes de valor em uma ampla gama de contextos. Graças ao trabalho pioneiro de Paul Meehl (e o trabalho posterior de Robyn Dawes), sabemos, desde os anos 1950, que modelos matemáticos muito simples superam supostos especialistas na hora de prever resultados relevantes em cenários clínicos.

Em todos os exemplos mencionados acima, as pessoas que costumavam tomar as decisões eram tão ineficientes que a sua substituição por algoritmos aumentou a precisão e reduziu o preconceito institucional. Isso é o que os economistas chamam de eficiência de Pareto, quando uma política supera a alternativa em todos os quesitos que importam. Embora muitos críticos gostem de insinuar que as organizações modernas priorizam a eficiência operacional e o crescimento da produtividade em detrimento da igualdade e da justiça, todas as provas disponíveis sugerem que isso não acontece. Algoritmos produzem resultados mais eficientes e mais igualitários. Se algo deveria causar preocupação, é o fato de que tantas decisões importantes estão sendo tomadas por seres humanos que sabidamente são inconsistentes, preconceituosos e péssimos tomadores de decisão.

Melhorando a situação atual

É claro que devemos fazer todo o possível para erradicar o preconceito institucional e sua influência perniciosa sobre os algoritmos de tomada de decisão. Os críticos das decisões por algoritmo geraram uma nova e riquíssima leva de pesquisas sobre aprendizado de máquina, que aborda de maneira mais séria as consequências sociais e políticas da ação dos algoritmos. Existem novas técnicas em estatística e aprendizado de máquina desenhadas sob medida para lidar com a questão da discriminação algorítmica. Foi criado até mesmo um congresso acadêmico anual para que os pesquisadores discutam os desafios éticos e sociais do aprendizado de máquina e apresentem novos modelos e métodos para garantir que os algoritmos tenham um impacto positivo na sociedade. É provável que esse trabalho se torne mais importante à medida que algoritmos menos transparentes, como a aprendizagem profunda, sejam mais utilizados.

Mesmo que a tecnologia não possa eliminar de maneira definitiva as doenças sociais do preconceito institucional e da discriminação tendenciosa, os estudos mostrados aqui sugerem que os algoritmos podem, na prática, ter um papel pequeno mas significativo na melhora do atual estado de coisas. Este não é um argumento em favor do poder absoluto dos algoritmos ou da fé cega no poder das estatísticas. Se descobrirmos que, em algumas circunstâncias, os algoritmos apresentam um nível de preconceito inaceitável em comparação aos atuais processos de tomada de decisão, então o melhor será seguir as evidências e manter o paradigma existente. Mas esse compromisso de seguir as evidências funciona para os dois lados, e devemos estar prontos para aceitar que, em algumas circunstâncias, os algoritmos serão parte da solução para reduzir o preconceito institucional. Então, na próxima vez em que ler uma manchete sobre os perigos do preconceito algorítmico, olhe no espelho e lembre-se de que os perigos do preconceito humano são provavelmente bem maiores.


Alex P. Miller é doutorando em Sistemas de Informação & Tecnologia pela Wharton School, University of Pennsylvania.


Tradução: Marisa Adán Gil

Compartilhe nas redes sociais!

replica rolex