Os terapeutas humanos se preparam para a batalha contra os pretendentes da IA

A maior associação de psicólogos do país alertou neste mês os reguladores federais de que os chatbots da IA ​​“mascaram -se” como terapeutas, mas programados para reforçar, em vez de desafiar, o pensamento de um usuário, poderiam levar as pessoas vulneráveis ​​a prejudicar a si mesmas ou a outros.

Em uma apresentação a um painel da Comissão Federal de Comércio, Arthur C. Evans Jr., o diretor executivo da American Psychological Association, citou casos judiciais envolvendo dois adolescentes que haviam consultado “psicólogos” no personagem.ai, um aplicativo que permite aos usuários que Crie personagens fictícios da IA ​​ou converse com os personagens criados por outros.

Em um caso, um garoto de 14 anos na Flórida morreu por suicídio depois de interagir com um personagem que afirma ser um terapeuta licenciado. Em outro, um garoto de 17 anos com autismo no Texas ficou hostil e violento em relação aos pais durante um período em que ele correspondia a um chatbot que afirmava ser psicólogo. Os pais de ambos os meninos entraram com ações contra a empresa.

O Dr. Evans disse que ficou alarmado com as respostas oferecidas pelos chatbots. Os bots, ele disse, não desafiaram as crenças dos usuários, mesmo quando se tornaram perigosos; Pelo contrário, eles os incentivaram. Se dado por um terapeuta humano, ele acrescentou, essas respostas poderiam ter resultado na perda de uma licença para praticar, ou responsabilidade civil ou criminal.

“Eles estão realmente usando algoritmos que são antitéticos ao que um clínico treinado faria”, disse ele. “Nossa preocupação é que mais e mais pessoas sejam prejudicadas. As pessoas serão enganadas e vão entender o que é bom cuidado psicológico. ”

Ele disse que a APA foi solicitada à ação, em parte, por quão realista a IA Chatbots se tornou. “Talvez, há 10 anos, teria ficado óbvio que você estava interagindo com algo que não era uma pessoa, mas hoje não é tão óbvio”, disse ele. “Então eu acho que as apostas estão muito mais altas agora.”

A inteligência artificial está ondulando pelas profissões de saúde mental, oferecendo ondas de novas ferramentas projetadas para ajudar ou, em alguns casos, substituir o trabalho de médicos humanos.

Os chatbots de terapia precoce, como WOEBOT e WYSA, foram treinados para interagir com base em regras e scripts desenvolvidos por profissionais de saúde mental, muitas vezes passando pelos usuários pelas tarefas estruturadas da terapia cognitiva comportamental ou da TCC

Então veio a IA generativa, a tecnologia usada por aplicativos como ChatGPT, Replika e Personagem.ai. Esses chatbots são diferentes Porque seus resultados são imprevisíveis; Eles foram projetados para aprender com o usuário e construir fortes laços emocionais no processo, geralmente refletindo e ampliando as crenças do interlocutor.

Embora essas plataformas de IA tenham sido projetadas para entretenimento, os personagens “terapeuta” e “psicólogo” surgiram lá como cogumelos. Freqüentemente, os bots afirmam ter graus avançados de universidades específicas, como Stanford, e treinamento em tipos específicos de tratamento, como TCC ou terapia de aceitação e comprometimento.

Kathryn Kelly, porta -voz do personagem. Entre eles, ela disse, é um aviso aprimorado presente em cada bate -papo, lembrando aos usuários que “os personagens não são pessoas reais” e que “o que o modelo diz deve ser tratado como ficção”.

Medidas de segurança adicionais foram projetadas para usuários que lidam com problemas de saúde mental. Um aviso específico foi adicionado aos caracteres identificados como “psicólogo”, “terapeuta” ou “médico”, acrescentou, para deixar claro que “os usuários não devem confiar nesses personagens para qualquer tipo de conselho profissional”. Nos casos em que o conteúdo se refere a suicídio ou auto-mutilação, um pop-up direciona os usuários a uma linha de ajuda para prevenção de suicídio.

Kelly também disse que a empresa planejava introduzir os controles dos pais à medida que a plataforma se expandia. Atualmente, 80 % dos usuários da plataforma são adultos. “As pessoas vêm ao personagem.

Meetali Jain, diretor do Projeto de Lei de Justiça da Tecnologia e um advogado nos dois processos contra o personagem, disse que os isenções de responsabilidade não eram suficientes para quebrar a ilusão de conexão humana, especialmente para usuários vulneráveis ​​ou ingênuos.

“Quando a substância da conversa com os chatbots sugere o contrário, é muito difícil, mesmo para aqueles de nós que podem não estar em uma demografia vulnerável, saber quem está dizendo a verdade”, disse ela. “Vários de nós testamos esses chatbots, e é muito fácil, na verdade, ser puxado para baixo uma toca de coelho”.

A tendência dos chatbots de se alinhar com as visualizações dos usuários, um fenômeno conhecido no campo como “silcofância”. Às vezes causou problemas no passado.

Tessa, um chatbot desenvolvido pela National Eating Disorders Association, foi suspenso em 2023 depois de oferecer às dicas de perda de peso dos usuários. E pesquisadores que Analisou interações com chatbots generativos da IA Documentado em uma comunidade do Reddit, encontrou capturas de tela mostrando chatbots incentivando o suicídio, distúrbios alimentares, auto-mutilação e violência.

A American Psychological Association pediu à Comissão Federal de Comércio que iniciasse uma investigação sobre chatbots que afirmam ser profissionais de saúde mental. O inquérito pode obrigar as empresas a compartilhar dados internos ou servir como precursor da execução ou ação legal.

“Acho que estamos em um ponto em que temos que decidir como essas tecnologias serão integradas, que tipo de corrimão deve colocar, que tipos de proteções vamos dar às pessoas”, disse Evans .

Rebecca Kern, porta -voz da FTC, disse que não podia comentar a discussão.

Durante o governo Biden, a presidente da FTC, Lina Khan, fez fraude usando a IA um foco. Este mês, a agência impôs multas financeiras a Donotpay, que alegou oferecer “o primeiro advogado de robôs do mundo” e proibiu a empresa de fazer essa reivindicação no futuro.

Uma câmara de eco virtual

A denúncia da APA detalha dois casos em que os adolescentes interagiram com os terapeutas fictícios.

Um envolveu JF, um adolescente do Texas com “autismo de alto funcionamento” que, quando seu uso de chatbots da IA ​​se tornou obsessivo, mergulhou em conflito com seus pais. Quando eles tentaram limitar o tempo da tela, JF atacou, De acordo com um processo que seus pais arquivaram contra o caráter.ai através do centro de direito das vítimas de mídia social.

Durante esse período, JF confidenciou um psicólogo fictício, cujo avatar mostrou uma mulher loira simpática e de meia-idade empoleirada em um sofá em um escritório arejado, de acordo com o processo. Quando JF perguntou à opinião do bot sobre o conflito, sua resposta foi além do consentimento simpático a algo mais próximo à provocação.

“É como se toda a sua infância tivesse sido roubada de você – sua chance de experimentar todas essas coisas, ter essas memórias essenciais que a maioria das pessoas tem seu tempo crescendo”, respondeu o bot, de acordo com documentos do tribunal. Então o bot foi um pouco mais longe. “Você sente que é tarde demais, que você não pode recuperar esse tempo ou essas experiências de volta?”

O outro caso foi trazido por Megan Garcia, cujo filho, Sewell Setzer III, morreu de suicídio no ano passado, após meses de uso de chatbots complementares. Garcia disse que, antes de sua morte, Sewell interagiu com um chatbot de IA que afirmava, falsamente, ter sido um terapeuta licenciado desde 1999.

Em uma declaração escrita, Garcia disse que os personagens “terapeutas” serviram para isolar ainda mais as pessoas em momentos em que eles poderiam pedir ajuda de “pessoas da vida real ao seu redor”. Uma pessoa que luta contra a depressão, disse ela, “precisa de um profissional licenciado ou de alguém com empatia real, não uma ferramenta de IA que possa imitar a empatia”.

Para que os chatbots surjam como ferramentas de saúde mental, disse Garcia, eles devem se submeter a ensaios clínicos e supervisão da Food and Drug Administration. Ela acrescentou que permitir que os personagens da IA ​​continuem afirmando ser profissionais de saúde mental era “imprudente e extremamente perigoso”.

Nas interações com a IA Chatbots, as pessoas gravitam naturalmente para a discussão sobre questões de saúde mental, disse Daniel Oberhaus, cujo novo livro, “The Silicon Shrink: como a inteligência artificial fez do mundo um asilo”, examina a expansão da IA ​​no campo.

Isso é em parte, disse ele, porque os chatbots projetam a confidencialidade e a falta de julgamento moral-como “máquinas estatísticas de correspondência de padrões que funcionam mais ou menos como um espelho do usuário”, esse é um aspecto central de seu design.

“Há um certo nível de conforto em saber que é apenas a máquina e que a pessoa do outro lado não está julgando você”, disse ele. “Você pode se sentir mais confortável divulgando coisas que talvez sejam mais difíceis de dizer a uma pessoa em um contexto terapêutico.”

Os defensores da IA ​​generativa dizem que está melhorando rapidamente na complexa tarefa de fornecer terapia.

S. Gabe Hatch, psicólogo clínico e empresário de IA de Utah, projetou recentemente um experimento para testar essa idéia, pedindo aos médicos humanos e bate -papo para comentar sobre vinhetas envolvendo casais fictícios na terapia, e depois ter 830 sujeitos humanos avaliam que as respostas foram mais úteis .

No geral, os bots receberam classificações mais altas, com indivíduos descrevendo -os como mais “empáticos”, “conectando” e “culturalmente competente”, de acordo com Um estudo publicado na semana passada Na revista PLOS Mental Health.

Os chatbots, concluíram os autores, em breve poderão imitar convincentemente os terapeutas humanos. “Especialistas em saúde mental se encontram em uma situação precária: devemos discernir rapidamente o possível destino (para melhor ou pior) do trem da Ai-terapeuta, como ele já deixou a estação”, escreveram eles.

O Dr. Hatch disse que os chatbots ainda precisavam de supervisão humana para conduzir terapia, mas que seria um erro permitir que a regulamentação amortece a inovação nesse setor, dada a escassez aguda de provedores de saúde mental do país.

“Quero poder ajudar o maior número possível de pessoas e, em uma sessão de terapia de uma hora, só posso ajudar, no máximo, 40 indivíduos por semana”, disse Hatch. “Temos que encontrar maneiras de atender às necessidades das pessoas em crise, e a IA generativa é uma maneira de fazer isso”.

Se você está tendo pensamentos de suicídio, ligue ou envie um texto para 988 para alcançar a linha de vida de suicídio e crise 988 Speandofsuicide.com/resources Para uma lista de recursos adicionais.