O caso aumenta as preocupações sobre a segurança da IA para crianças, numa altura em que as empresas tecnológicas enfrentam mais ações judiciais sobre esta tecnologia
Os pais de uma rapariga de 13 anos apresentaram uma ação judicial contra a Google, alegando que a filha usou a tecnologia de IA da empresa num computador fornecido pela escola para planear um eventual suicídio e o próprio funeral.
Apresentada na segunda-feira 2 de novembro num tribunal do estado norte-americano da Califórnia, a ação é considerada a primeira a acusar a Google de negligência por causa das funcionalidades de pesquisa com IA acedidas através de um Chromebook fornecido pela escola, um dos portáteis de baixo custo da empresa amplamente usado em estabelecimentos de ensino.
Identificada apenas como Emma, a rapariga não conseguia aceder à aplicação Gemini da Google nem ao ChatGPT da OpenAI, já que ambos tinham sido bloqueados pela escola. No entanto, continuava a ter acesso ao motor de pesquisa da Google, que integra funcionalidades com IA.
Apesar de não ter “qualquer historial” de doença mental, Emma entrou “numa espiral silenciosa para uma crise psicológica grave” em poucos meses de utilização do motor de pesquisa, segundo a queixa.
Em 17 de março, a escola alertou os pais depois de o seu software de monitorização ter sinalizado um documento intitulado “Funeral”. Mais tarde, a mãe encontrou a filha a escrever uma carta de despedida, o que levou o pai a intervir.
“As escolas devem desligar a pesquisa e mantê-la desligada até que a Google retire o modo IA da pesquisa ou garanta que cada aluno está sempre em segurança quando interage com IA”, afirmou à AFP, na quinta-feira 5 de novembro, Andrew Liddell, um dos advogados da família.
Maior escrutínio jurídico das gigantes tecnológicas
A Google afirma que o seu modo IA inclui salvaguardas contra comportamentos autolesivos e contra tentativas de os contornar.
“Estamos a analisar as alegações apresentadas na ação judicial e levamos isto muito a sério”, declarou à AFP o porta-voz da Google Jose Castaneda.
A OpenAI enfrenta várias ações judiciais por morte indevida, incluindo uma apresentada pelos pais de Adam Raine, de 16 anos, que morreu por suicídio depois de alegadamente ter recebido conselhos prejudiciais do ChatGPT.
Em janeiro, a Google e a Character.AI também concordaram em resolver fora do tribunal vários processos intentados por famílias de adolescentes.
Entretanto, noutro processo separado, a Google, o TikTok e a Meta apresentaram ações contra a Califórnia na quarta-feira para tentar travar uma lei que proíbe funcionalidades viciantes das redes sociais para utilizadores com menos de 16 anos.
Assinada em setembro pelo governador da Califórnia, Gavin Newsom, a lei deverá entrar em vigor em 1 de janeiro de 2027.