Chatbots, DeepFakes e Clones de voz: Ai Deception para venda

Você deve ter ouvido falar da teoria da simulação, a noção de que nada é real e todos fazemos parte de um programa de computador gigante. Vamos supor pelo menos pela duração deste post do blog que essa noção é falsa. No entanto, podemos estar indo para um futuro em que uma parte substancial do que vemos, ouvimos e lemos é uma simulação gerada por computador. Sempre mantemos isso real aqui na FTC, mas o que acontece quando nenhum de nós pode dizer real de falso?

Em um Postagem recente do blogDiscutimos como o termo “IA” pode ser usado como um ponto de venda enganoso para novos produtos e serviços. Vamos chamar isso de AI falsa problema. O tópico de hoje é o uso da IA ​​atrás da tela para criar ou espalhar decepção. Vamos chamar isso de Ai falso problema. Este último é uma ameaça mais profunda e emergente que as empresas de todo o ecossistema digital precisam abordar. Agora.

A maioria de nós passa muito tempo olhando as coisas em um dispositivo. Graças às ferramentas de IA que criam “mídia sintética” ou geram conteúdo, uma porcentagem crescente do que estamos vendo não é autêntica e está ficando mais difícil dizer a diferença. E, assim como essas ferramentas de IA estão se tornando mais avançadas, eles também estão se tornando mais fáceis de acessar e usar. Algumas dessas ferramentas podem ter usos benéficos, mas os golpistas também podem usá -los para causar danos generalizados.

AI generativa e meios sintéticos são termos coloquiais usados ​​para se referir a chatbots desenvolvido a partir de grandes modelos de linguagem e para tecnologia que simula a atividade humana, como software que cria Vídeos Deepfake e clones de voz. Já existem evidências de que os fraudadores podem usar essas ferramentas para gerar conteúdo realista, mas falso direcionando certas comunidades ou indivíduos específicos. Eles podem usar chatbots para gerar E-mails de phishing de lançaAssim, sites falsosAssim, Postagens falsasAssim, perfis falsose Revisões falsas do consumidorou para ajudar a criar malwareAssim, Ransomwaree Ataques de injeção imediata. Eles podem usar deepfakes e clones de voz para facilitar golpes de impostorAssim, extorsãoe fraude financeira. E isso é uma lista não exaustiva.

A proibição da Lei da FTC de conduta enganosa ou injusta pode ser aplicada se você fizer, vender ou usar uma ferramenta que seja efetivamente projetada para enganar – mesmo que esse não seja o objetivo ou o único objetivo. Então considere:

Você deveria estar fazendo ou vendendo? Se você desenvolver ou oferecer uma mídia sintética ou um produto generativo de IA, considere na fase de design e, posteriormente, as maneiras razoavelmente previsíveis – e muitas vezes óbvias – de maneiras que isso pode ser mal utilizado por fraude ou causar outros danos. Em seguida, pergunte a si mesmo se esses riscos são altos o suficiente para que você não ofereça o produto. Tornou -se um meme, mas aqui parafraseremos o Dr. Ian Malcolm, o personagem Jeff Goldblum em “Jurassic Park”, que advertiu os executivos por serem tão preocupados com o fato de eles poderia construir algo que eles não pararam para pensar se eles deve.

Você está efetivamente mitigando os riscos? Se você decidir fazer ou oferecer um produto como esse, tome todas as precauções razoáveis antes Ele atinge o mercado. A FTC processou empresas que disseminaram tecnologias potencialmente prejudiciais sem tomar medidas razoáveis ​​para evitar lesões no consumidor. Apenas alertar seus clientes sobre o uso indevido ou pedir a eles para fazer divulgações dificilmente é suficiente para impedir os maus atores. Suas medidas de dissuasão devem ser duráveis, recursos internos e não correções de bugs ou recursos opcionais que terceiros podem minar por meio de modificação ou remoção. Se sua ferramenta se destina a ajudar as pessoas, também pergunte a si mesmo se realmente precisa imitar os seres humanos ou pode ser tão eficaz, falando, falando ou agindo como um bot.

Você está se deparando com a detecção pós-liberação? Os pesquisadores continuam a melhorar os métodos de detecção para vídeos, imagens e áudio gerados pela IA. O reconhecimento de texto gerado pela IA é mais difícil. Mas esses pesquisadores estão em uma corrida armamentista com empresas desenvolvendo as ferramentas generativas de IA, e os fraudadores que usam essas ferramentas costumam seguir em frente quando alguém detectar seu conteúdo falso. De qualquer forma, o ônus não deve estar nos consumidores para descobrir se uma ferramenta de IA generativa está sendo usada para enganá -los.

Você está enganando as pessoas sobre o que estão vendo, ouvindo ou lendo? Se você é um anunciante, pode ser tentado a empregar algumas dessas ferramentas para vender, bem, praticamente qualquer coisa. Os deepfakes de celebridades já são comuns, por exemplo, e estão aparecendo em anúncios. Nós temos previamente avisado empresas que enganam consumidores via doppelgängers, como Perfis de namoro falsoAssim, seguidores falsosDeepFakes, ou Chatbots, poderia resultar – e de fato resultaram – em ações de aplicação da FTC.

Embora o foco deste post esteja em fraude e engano, essas novas ferramentas de IA carregam consigo uma série de outras preocupações graves, como possíveis danos a crianças, adolescentes e outras populações em risco ao interagir com ou sujeitar essas ferramentas. A equipe da Comissão está rastreando essas preocupações de perto, à medida que as empresas continuam apressando esses produtos ao mercado e, à medida que as interações humano-computador continuam tomando reviravoltas novas e possivelmente perigosas.

Mais postagens nos FTCs AI e seu negócio série: