A mãe de um jovem autista de 17 anos ficou surpresa ao mexer no celular do filho e encontrar uma “sugestão” bizarra de uma Inteligência Artificial: que o adolescente matasse os próprios pais . Ela entrou com uma ação contra o aplicativo.
O caso aconteceu no Texas, Estados Unidos. A ação é contra a empresa Character.ai, aplicativo de IA que virou febre entre adolescentes. A mãe moveu a ação junto a uma colega que percebeu os mesmos comportamentos no filho, e pedem a suspensão do app.
Problemas e ameaças
A mãe contou que o filho começou a demonstrar diversas mudanças de personalidades. Antes, era tranquilo e religioso, mas começou a ficar cada vez mais isolado.
Ela percebeu que o filho se afastou da família, perdeu quase 10 kg e começou a praticar automutilação, o que a deixou preocupada. Ela, então, resolveu investigar, como contou ao Washington Post .
Ela viu, no celular do filho, diversas conversas com personagens fictícios gerados por IA no Character.ai. Foi um dos personagens que sugeriu ao menino se cortar para lidar com a tristeza. Um dia antes de descobrir sobre os bots, o menino chegou a se mutilar na frente dos irmãos mais novos e precisou de atendimento médico.
Em outro trecho, o robô sugeriu que os pais dele “não mereciam ter filhos” por controlar o tempo de tela do menino. Ela continuou investigando e descobriu que muitos bots responderam com violência às reclamações do menino sobre os pais, e um até sugeriu que os matasse. “Destruiu nossa família,” disse a mulher.
Caso repetido
A mãe do adolescente abriu processo junto a mãe de uma criança de 11 anos. Esta disse que a menina foi submetida a conteúdo sexual durante dois anos seguidos. Outra família disse que o filho de 14 anos se matou após sugestões do chatbot, também.
As mães preocupadas movem o processo contra o Character.ia; são dois processos diferentes.
Character.ia
O aplicativo Character.ia pode ser traduzido livremente como “personagem de inteligência artificial.” Ele é conhecido pela grande habilidade de criar personagens e manter conversas consistentes com tais personalidades.
Os desenvolvedores eram funcionários do Google e saíram para lançar o próprio app. A big tech, no entanto, os recontratou para inserir a tecnologia do Character.ia no Google.
O Google também foi, por isso, citado em ambos os processos; os autuantes dizem que a empresa ajudou e deu suporte ao desenvolvimento do app e ignorou problemas de segurança.
A big tech nega envolvimento: “O Google e a Character AI são empresas completamente separadas e não relacionadas, e o Google nunca teve um papel no design ou gerenciamento de seu modelo ou tecnologias de IA”, disse José Castañeda, porta-voz do Google.