O que está acontecendo no Google AI?

24 de fevereiro de 2021 0 459

A empresa não para de despedir seus especialistas em ética.

Os sistemas de IA e ML avançaram em sofisticação e capacidade em um ritmo impressionante nos últimos anos. Eles agora podem modelar estruturas de proteínas com base apenas na sequência de aminoácidos da molécula, criar poesia e texto no mesmo nível de escritores humanos – até mesmo identificar indivíduos específicos em uma multidão ( assumindo que sua pele seja suficientemente clara ). Mas por mais impressionantes que sejam esses feitos de proezas computacionais, o campo continua a lutar com uma série de questões morais e éticas fundamentais. Um sistema de reconhecimento facial projetado para identificar terroristas pode ser facilmente utilizado para monitorar manifestantes pacíficos ou suprimir minorias étnicas , dependendo de como é implantado.

Além do mais, o desenvolvimento da IA ​​até o momento tem se concentrado amplamente nas mãos de apenas algumas grandes empresas como IBM, Google, Amazon e Facebook, já que estão entre as poucas com recursos suficientes para aplicar em seu desenvolvimento. Mas essas empresas não estão fazendo isso pela bondade de seus corações ou para se gabar, elas estão fazendo isso para criar e vender produtos desejáveis. Mas vimos o que acontece quando a melhoria dos resultados financeiros da empresa acarreta danos à sociedade . É por isso que quando a Alphabet uniu seus vários empreendimentos de IA sob a bandeira Google.AI em 2017, a empresa também criou uma equipe de ética para monitorar esses projetos, garantindo que eles estão sendo usados ​​para a melhoria da sociedade, não apenas para aumentar os lucros.

Essa equipe foi co-liderada por Timnit Gebru, um importante pesquisador sobre as discrepâncias raciais em sistemas de reconhecimento facial, bem como uma de quase um punhado de mulheres negras no campo da IA, e Margaret Mitchell, uma cientista da computação especializada no estudo de viés algorítmico. Ambas as mulheres foram defensoras ferrenhas do aumento da diversidade no que historicamente tem sido um campo predominantemente masculino e branco. Sua equipe estava entre as mais diversificadas de toda a empresa e regularmente produzia estudos inovadores que desafiavam as visões tradicionalmente sustentadas de pesquisa em IA. Eles também levantaram preocupações de que o Google estava censurando pesquisas críticas de seus programas de IA mais ambiciosos (e lucrativos). Nos últimos meses, Gebru e Mitchell foram sumariamente demitidos.

A demissão de Gebru veio em dezembro, depois que ela foi coautora de um artigo de pesquisa criticando sistemas de IA de grande escala . Nele, Gebru e sua equipe argumentaram que os sistemas de IA, como o modelo de linguagem de IA do Google com trilhões de parâmetros , que são projetados para imitar a linguagem podem prejudicar grupos minoritários. A introdução do artigo diz: “perguntamos se foi pensado o suficiente sobre os riscos potenciais associados ao seu desenvolvimento e estratégias para mitigar esses riscos”.

De acordo com Gebru, a empresa a demitiu depois que ela questionou uma diretiva de Jeff Dean, chefe do Google AI, de retirar o documento da Conferência ACM sobre Justiça, Responsabilidade e Transparência (ACM FAccT). Dean, desde então, rebateu que o jornal não “cumpriu nosso limite para publicação” e que Gebru ameaçou renunciar a menos que o Google cumprisse sua lista de condições específicas, o que a empresa se recusou a fazer.

“Aparentemente, a gerente de meu gerente enviou um e-mail [para] meus subordinados dizendo que ela aceitou minha demissão”, tuitou Gebru em dezembro . “Eu não pedi demissão – pedi condições simples primeiro e disse que responderia quando voltasse das férias. Mas acho que ela decidiu por mim 🙂 esse é o discurso do advogado. ”

“Eu disse aqui estão as condições. Se você puder conhecê-los, ótimo, vou tirar meu nome deste jornal, se não, então posso trabalhar em um último encontro, ” ela continuou . “Então ela enviou um e-mail aos meus subordinados diretos dizendo que aceitou minha renúncia. Então, esse é o Google para vocês. Você viu isso acontecer bem aqui. ”

O acesso ao e-mail corporativo de Gebru foi interrompido antes de ela retornar das férias, mas ela publicou trechos da resposta de seu gerente no Twitter:

A demissão de Gebru, especialmente a maneira como Dean lidou com a situação, gerou uma tempestade de críticas dentro e fora da empresa. Mais de 1.400 funcionários do Google, bem como 1.900 outros apoiadores, assinaram uma carta de protesto, enquanto vários líderes no campo da IA ​​expressaram sua indignação online, argumentando que ela havia sido demitida por falar a verdade ao poder. Eles também questionaram se a empresa estava realmente comprometida em promover a diversidade dentro de suas fileiras e se perguntaram em voz alta por que o Google se daria ao trabalho de empregar especialistas em ética se eles não fossem livres para desafiar as ações da empresa.

“Com a demissão de Gebru, a política de civilidade que atraiu o jovem esforço para construir as barreiras de proteção necessárias em torno da IA ​​foi destruída, trazendo questões sobre a homogeneidade racial da força de trabalho da IA ​​e a ineficácia dos programas de diversidade corporativa para o centro do discurso”, Alex Hannah e Meredith Whitaker escreveram em um artigo na Wired . “Mas esta situação também deixou claro que – por mais sincero que uma empresa como as promessas do Google possam parecer – a pesquisa financiada por corporações nunca pode ser divorciada das realidades de poder e dos fluxos de receita e capital.”

Mitchell posteriormente escreveu uma carta aberta em apoio à Gebru , declarando:

A demissão do Dr. Timnit Gebru não está bem, e a maneira como foi feito não está bem. Parece resultar da mesma falta de previsão que está no cerne da tecnologia moderna e, portanto, serve como um exemplo do problema. A demissão parece ter sido alimentada pelas mesmas bases de racismo e sexismo que nossos sistemas de IA, quando em mãos erradas, tendem a absorver. Como o Dr. Gebru foi demitido não está certo, o que foi dito sobre isso não está certo e o ambiente que levou a isso não estava – e não está – certo. Cada momento em que Jeff Dean e Megan Kacholia não assumem a responsabilidade por suas açõesé mais um momento em que a empresa como um todo permanece em silêncio como se para enviar intencionalmente a mensagem horrível de que o Dr. Gebru merece ser tratado dessa forma. Tratada como se fosse inferior a seus colegas. Caricaturado como irracional (e pior). Sua escrita de pesquisa definida publicamente como abaixo da barra. Sua bolsa de estudos declarou publicamente ser insuficiente. Para registro: Dra. Gebru foi tratada de forma totalmente inadequada, com intenso desrespeito, e ela merece um pedido de desculpas.

Após essa crítica pública a seu empregador, o Google bloqueou a conta de e-mail de Mitchell e em 19 de janeiro abriu uma investigação sobre as ações de Mitchell, acusando-a de baixar um grande número de documentos internos e compartilhá-los com estranhos.

“Nossos sistemas de segurança bloqueiam automaticamente a conta corporativa de um funcionário quando detectam que a conta está sob risco de comprometimento devido a problemas de credencial ou quando uma regra automatizada envolvendo o manuseio de dados confidenciais foi acionada”, disse o Google em um comunicado de janeiro. nesta instância, ontem nossos sistemas detectaram que uma conta exfiltrou milhares de arquivos e os compartilhou com várias contas externas. Explicamos isso ao funcionário hoje cedo. “

De acordo com uma fonte não identificada da Axios , “Mitchell estava usando scripts automatizados para examinar suas mensagens e encontrar exemplos que mostrassem o tratamento discriminatório de Gebru antes de sua conta ser bloqueada”. A conta de Mitchell permaneceu bloqueada por cinco semanas até que seu emprego foi encerrado em fevereiro, agravando ainda mais as tensões entre a equipe de Ethics AI e a gerência.

“Depois de realizar uma análise da conduta desse gerente, confirmamos que houve várias violações de nosso código de conduta, bem como de nossas políticas de segurança, que incluíam a exfiltração de documentos comerciais confidenciais e dados privados de outros funcionários”, a O representante do Google disse ao Engadget. Junto com a demissão de Mitchell, a empresa anunciou que Marian Croak assumiria o comando da equipe de IA de ética, apesar de ela não ter nenhuma experiência direta com desenvolvimento de IA.

“Eu ouvi e reconheço o que a saída da Dra. Gebru significou para as tecnólogas femininas, para os da comunidade negra e outros grupos sub-representados que buscam carreiras em tecnologia e para muitos que se preocupam profundamente com o uso responsável da IA ​​pelo Google”, disse Dean em um memorando interno publicado em fevereiro e obtido pela Axios . “Isso levou alguns a questionar seu lugar aqui, o que eu lamento.”

“Compreendo que poderíamos e devíamos ter lidado com esta situação com mais sensibilidade”, continuou. “E por isso, eu sinto muito.”

A empresa também se comprometeu a fazer mudanças no que diz respeito aos seus esforços de diversidade no futuro. Essas mudanças incluem vincular salários para VPs e alta gerência sênior, em parte para atingir metas de diversidade e inclusão, simplificar seu processo de publicação de pesquisas, aumentar sua equipe de retenção de funcionários e implementar novos procedimentos em relação a saídas de funcionários potencialmente problemáticas. Além disso, o Google embaralhou suas equipes de IA para que os pesquisadores éticos de IA não se reportassem mais a Megan Kacholia. No entanto, a empresa conseguiu pisar em um último ancinho ao não notificar a equipe de IA de ética sobre as mudanças até depois de Croak ter sido contratado.

Google