Grupo lança alerta para os perigos de permitir que qualquer pessoa crie vídeos gerados por IA sobre quase tudo o que escrever num prompt de texto.
A indústria tecnológica voltou a avançar depressa, desta vez atingindo a realidade partilhada da humanidade e o controlo da nossa imagem antes e depois da morte, graças a plataformas de geração de imagens com IA como o Sora 2 da OpenAI.
O típico vídeo do Sora, criado na aplicação da OpenAI e espalhado no TikTok, Instagram, X e Facebook, é concebido para entreter o suficiente para levar ao clique e à partilha. Pode ser a rainha Isabel II a fazer rap ou algo mais banal e credível.
Um género popular no Sora são falsas imagens de câmaras colocadas à porta que captam algo ligeiramente inquietante, por exemplo uma jiboia no alpendre ou um crocodilo a aproximar-se de uma criança impassível, e terminam com um sobressalto ligeiro, como uma avó a gritar enquanto bate no animal com uma vassoura.
Mas cresce o número de grupos de defesa, académicos e especialistas que alertam para os perigos de permitir que se criem vídeos de IA sobre quase tudo o que se escreve num prompt (comando), levando à proliferação de imagens não consentidas e deepfakes realistas num mar de “lixo de IA” menos nocivo.
A OpenAI restringiu criações com IA de figuras públicas, entre elas Michael Jackson, Martin Luther King Jr. e Mister Rogers, a fazer coisas disparatadas, mas só depois da indignação de espólios familiares e de um sindicato de atores.
A organização sem fins lucrativos Public Citizen exige agora que a OpenAI retire o Sora 2 do acesso público, escrevendo numa carta enviada na terça-feira à empresa e ao CEO Sam Altman que o lançamento apressado da aplicação para chegar antes da concorrência revela “um padrão consistente e perigoso de a OpenAI apressar-se a colocar no mercado um produto que é intrinsecamente inseguro ou que carece das salvaguardas necessárias”.
O Sora 2, diz a carta, revela um “desrespeito imprudente” pela segurança do produto, bem como pelos direitos das pessoas sobre a própria imagem e pela estabilidade da democracia. O grupo enviou também a carta ao Congresso dos EUA.
A OpenAI não respondeu aos pedidos de comentário na terça-feira.
Grupo levanta preocupações de segurança
“A maior preocupação é a potencial ameaça à democracia”, disse o especialista em políticas tecnológicas da Public Citizen, JB Branch, em entrevista.
“Estamos a entrar num mundo em que as pessoas já não podem confiar no que veem. E começam a surgir estratégias na política em que a primeira imagem, o primeiro vídeo que é divulgado, é aquilo de que as pessoas se lembram”.
Autor da carta de terça-feira, Branch vê também preocupações mais amplas com a privacidade que afetam de forma desproporcionada populações vulneráveis online.
A OpenAI bloqueia conteúdos de nudez, mas Branch disse que “as mulheres veem-se a ser assediadas online” de outras formas, como com conteúdos de nicho fetichizados que passam pelas restrições das aplicações.
O meio 404 Media noticiou recentemente uma vaga de vídeos feitos no Sora com mulheres a serem estranguladas.
A OpenAI apresentou a nova aplicação Sora nos iPhones há mais de um mês. Na semana passada foi lançada em telemóveis Android nos EUA, Canadá e vários países asiáticos, incluindo o Japão e a Coreia do Sul.
Grande parte da contestação mais forte veio de Hollywood e de outros interesses do entretenimento, incluindo a indústria de manga japonesa.
A OpenAI anunciou as primeiras grandes alterações poucos dias após o lançamento, dizendo que “excesso de moderação é muito frustrante” para os utilizadores, mas que é importante ser conservador “enquanto o mundo ainda se está a adaptar a esta nova tecnologia”.
Seguiram-se acordos, anunciados publicamente, com a família de Martin Luther King Jr. em 16 de outubro, para impedir “representações desrespeitosas” do líder dos direitos civis enquanto a empresa trabalhava em melhores salvaguardas, e outro em 20 de outubro com o ator de “Breaking Bad” Bryan Cranston, o sindicato SAG-AFTRA e agências de talentos.
“Isso serve para quem é famoso”, disse Branch. “É um padrão da OpenAI, disposta a responder à indignação de uma população muito pequena”.
“Estão dispostos a lançar algo e pedir desculpa depois”, acrescentou Branch. “Mas muitos destes problemas são escolhas de design que podem fazer antes de lançar”.
A OpenAI enfrentou queixas semelhantes sobre o seu produto de referência, o ChatGPT. Sete novos processos intentados na semana passada nos EUA alegam que o chatbot levou pessoas ao suicídio e a delírios nocivos mesmo sem historial de problemas de saúde mental.
Apresentados em nome de seis adultos e um adolescente pelo Social Media Victims Law Center e pelo Tech Justice Law Project, os processos alegam que a OpenAI lançou conscientemente o GPT-4o prematuramente no ano passado, apesar de avisos internos de que era perigosamente bajulador e psicologicamente manipulador.
Quatro das vítimas morreram por suicídio.
A Public Citizen não esteve envolvida nos processos, mas Branch disse ver paralelos no lançamento apressado do Sora.
Segundo o próprio, estão “a pôr o pé no acelerador sem atender aos danos. Muito disto parece previsível. Mas preferem pôr um produto cá fora, pôr pessoas a descarregá-lo, ter pessoas viciadas nele, em vez de fazerem o que é certo e testarem estes sistemas exaustivamente antes, preocupando-se com a situação dos utilizadores comuns”.
A OpenAI passou a semana passada a responder a queixas de uma associação comercial japonesa que representa estúdios de animação renomados, como o Studio Ghibli de Hayao Miyazaki, e criadores de videojogos como a Bandai Namco e a Square Enix.
A OpenAI disse que muitos fãs de anime querem interagir com as suas personagens favoritas, mas que a empresa também definiu salvaguardas para impedir que personagens conhecidas sejam geradas sem o consentimento dos detentores dos direitos de autor.
“Estamos a envolver-nos diretamente com estúdios e detentores de direitos, a ouvir feedback e a aprender com a forma como as pessoas estão a usar o Sora 2, incluindo no Japão, onde as indústrias culturais e criativas são profundamente valorizadas", disse a OpenAI num comunicado sobre a carta do grupo na semana passada.