A ascensão do bate -papo por voz em videogames on -line inevitavelmente levou a um crescimento de mau comportamento entre os jogadores – é, afinal, muito mais fácil gritar insultos e abusar para outras pessoas que não é parar de jogar e digitá -las. Moderar esse tipo de toxicidade é difícil, e algumas empresas estão se voltando para a IA para ajudar a reprimir o pior. Falando na GDC, o diretor técnico sênior da Roblox, Kiran Bhat, e o líder da segurança de voz, Hannes Heikinheimo, disse que a Roblox está usando a moderação de bate -papo por voz de aprendizado de máquina há um ano e teve um bom sucesso com ele – mas reconheceu que, às vezes, os seres humanos reais são melhores no trabalho.
“A voz moderadora em tempo real parece realmente assustadora, porque, para obter a voz moderada, você não apenas precisa saber o que a pessoa está dizendo, mas também deseja capturar o tom e a intensidade do que está sendo dito para decidir se algo é tóxico ou não”, disse Bhat durante a palestra. “Também há contexto que faz parte de algo ofensivo. Portanto, é um problema muito difícil”.
Mitigar esse desafio, explicou Bhat, é que pelo menos 85% do que é considerado tóxico pode ser abordado em quatro categorias principais, e a “grande maioria” de ofensas é capturada com uma lista das 50 principais palavras-chave-“então, se você já fez as 50 palavras-chave entre essas categorias, fez um bom trabalho”.
Sou naturalmente cético em relação às grandes reivindicações sobre as capacidades da IA, mas Heikinheimo, o líder de segurança de voz da Roblox, afirma resultados impressionantes: depois de executar o sistema por cerca de um ano, durante o qual foi expandido para cobrir 31 países, ele disse que o número de relatórios de abuso feitos por “hora ativa de conversa” foi cortada pela metade.
Uma das vantagens de usar o aprendizado de máquina para moderação por voz é “consistência”, disse Heikinheimo: Ao contrário dos humanos, as máquinas não têm perspectivas ou opiniões diferentes, elas não ficam cansadas ou com raiva ou têm dias ruins, eles apenas fazem o que fazem. Portanto, em “casos muito claros (de comportamento tóxico), as máquinas são mais eficazes e mais consistentes” do que as pessoas. Mas a humanidade essencial que pode nos tornar difíceis de definir também nos permite fazer um trabalho melhor do que as máquinas orientadas por sistemas em situações que não são tão claras: as máquinas podem ser boas em padrões correspondentes, mas quando se trata de entender a intenção e exercitar a discrição, bem, “os seres humanos ainda superam máquinas”.
“Os seres humanos ainda são melhores nesses tipos de coisas em que você pode estar muito próximo do limite da decisão”, disse Heikinheimo. “Ou pode ser um caso muito raro, onde não temos tantos dados para o sistema de aprendizado de máquina aprender. Portanto, nesses casos, os humanos ainda podem ser melhores”.
O Roblox não é o único a perseguir moderação de voz a IA. Na GDC 2024, por exemplo, conversamos com dois fabricantes de software que trabalham em sistemas de aprendizado de máquina para ajudar na moderação do bate -papo por voz. Também é notável que a Activision tenha relatado um sucesso semelhante com suas próprias ferramentas de moderação de voz a IA em Call of Duty.
Ceticismo inato à parte, reconheço que o aprendizado de máquina-ai, como você quiser chamá-lo-tem muitos casos de uso em potencial do mundo real, e este é um bom exemplo. Mas também aprecio que isso demonstre que é uma ferramenta, não uma panacéia, e que nós seres humanos ainda temos um lugar neste corajoso novo mundo do futuro.
