Enfrenta uma série de processos judiciais, incluindo o de uma mãe que afirma que uma personagem virtual de IA convenceu o filho a pôr termo à vida.
A Character.AI estáa proibir o acesso de menores aos seus chatbots, numa altura de crescentes preocupações com os efeitos das conversas com inteligência artificial (IA) nas crianças.
A empresa enfrenta várias ações judiciais relacionadas com a segurança infantil, incluindo uma apresentada pela mãe de um adolescente que alega que os chatbots da empresa levaram o filho a suicidar-se.
A Character Technologies afirmou que os utilizadores com menos de 18 anos deixam de poder manter conversas abertas com as suas personagens de chatbot e que, até 25 de novembro, será imposto um limite de utilização de 2 horas.
A plataforma permite criar ou interagir com personagens personalizáveis que “parecem vivos e humanos”, para várias atividades, como jogar ou fazer simulações de entrevistas de emprego.
A Character.AI disse que vai implementar funções de verificação de idade para ajudar a determinar quais os utilizadores com menos de 18 anos. Cada vez mais plataformas tecnológicas recorrem a verificações de idade para impedir que crianças acedam a ferramentas que não são seguras para elas.
Mas esses métodos são imperfeitos, e muitas crianças encontram maneiras de contorná-los. A digitalização facial, por exemplo, nem sempre consegue distinguir se alguém tem 17 ou 18 anos. Além disso, há preocupações com a privacidade quando se pede às pessoas que enviem documentos de identidade oficiais.
A Character.AI acrescentou que está a trabalhar em novas funcionalidades para crianças, como criar vídeos, histórias e transmissões com personagens de IA, bem como num laboratório de segurança de IA. A empresa está também a criar um laboratório de segurança de IA
Meetali Jain, diretora executiva do Tech Justice Law Project, disseque a medida da Character.AI “ainda deixa muitos detalhes em aberto”.
“Não explicaram como vão operacionalizar a verificação de idade, como vão garantir que os métodos preservam a privacidade, nem abordaram o possível impacto psicológico de desativar subitamente o acesso dos utilizadores jovens, dadas as dependências emocionais que foram criadas”, disse Jain.
“Além disso, estas alterações não abordam as características de conceção subjacentes que facilitam estas dependências emocionais, não apenas nas crianças, mas também em pessoas com mais de 18 anos.”
Mais de 70% dos adolescentes já usaram companheiros de IA e metade utiliza-os regularmente, segundo um estudo recenteda Common Sense Media, organização que estuda e defende o uso sensato de ecrãs e media digitais.