O teste de atração: IA e a engenharia da confiança do consumidor
No filme de 2014 Ex machinaUm robô manipula alguém a libertá -lo de seus limites, resultando na pessoa confinada. O robô foi projetado para manipular as emoções dessa pessoa e, opa, foi o que fez. Embora o cenário seja pura ficção especulativa, as empresas estão sempre procurando novas maneiras – como o uso de ferramentas generativas de IA – para melhor convencer as pessoas e mudar seu comportamento. Quando essa conduta é de natureza comercial, estamos no território da FTC, um vale astuto onde as empresas devem saber para evitar práticas que prejudicam os consumidores.
Em postagens anteriores do blog, focamos no RELATIVO DE AI decepçãoambos em termos de reivindicações exageradas e não fundamentadas para produtos de IA e o uso de IA generativa para fraude. Projetar ou uso de um produto também pode violar a Lei FTC se for injusto – algo que mostramos em vários casos e discutimos em termos de ferramentas de IA com resultados tendenciosos ou discriminatórios. Sob a Lei da FTC, uma prática é injusta se causar mais mal do que bem. Para ser mais específico, é injusto se causar ou provavelmente causar lesões substanciais aos consumidores que não são razoavelmente evitáveis pelos consumidores e não superados por benefícios compensatórios para os consumidores ou para a concorrência.
Quanto à nova onda de ferramentas generativas de IA, as empresas estão começando a usá -las de maneiras que podem influenciar as crenças, emoções e comportamento das pessoas. Esses usos estão se expandindo rapidamente e incluem chatbots projetados para fornecer informações, conselhos, suporte e companheirismo. Muitos desses chatbots são efetivamente construídos para persuadir e foram projetados para responder a perguntas em linguagem confiante, mesmo quando essas respostas são fictícias. Uma tendência a confiar na saída dessas ferramentas também vem em parte do “viés de automação”, pelo qual as pessoas podem confiar indevidamente das respostas de máquinas que podem parecer neutras ou imparciais. Ele também vem do efeito do antropomorfismo, o que pode levar as pessoas a confiarem mais no chatbots quando projetadas, digamos, para usar pronomes e emojis pessoais. As pessoas podem ser facilmente levadas a pensar que estão conversando com algo que as entende e está do seu lado.
Muitos atores comerciais estão interessados nessas ferramentas generativas de IA e sua vantagem integrada de explorar a confiança humana não merecida. A preocupação com o uso malicioso vai muito além da jurisdição da FTC. Mas uma preocupação importante da FTC são as empresas que as usam de maneiras que, deliberadamente ou não, orientam as pessoas de forma injusta ou enganosa em decisões prejudiciais em áreas como finanças, saúde, educação, moradia e emprego. Empresas que pensam em novos usos de IA generativa, como personalizar anúncios para pessoas ou grupos específicos, devem saber que o design de elementos que levam as pessoas a fazer escolhas prejudiciais são um elemento comum em casos de FTC, como ações recentes relacionadas a ofertas financeirasAssim, compras no jogoe Tentativas de cancelar serviços. A manipulação pode ser uma prática enganosa ou injusta quando faz com que as pessoas tomem ações contrárias aos objetivos pretendidos. De acordo com a Lei da FTC, as práticas podem ser ilegais, mesmo que todos os clientes sejam prejudicados e mesmo que os prejudicados não compreendam uma classe de pessoas protegidas pelas leis anti-discriminação.
Outra maneira pela qual os profissionais de marketing podem tirar proveito dessas novas ferramentas e suas habilidades manipuladoras é colocar anúncios dentro de Um recurso generativo de IA, assim como eles podem colocar anúncios nos resultados da pesquisa. A FTC estudou repetidamente e forneceu orientações sobre como apresentar anúncios on -line, tanto nos resultados da pesquisa quanto em outros lugares, para evitar enganos ou injustiça. Isso inclui trabalhos recentes relacionados a padrões escuros e publicidade nativa. Entre outras coisas, sempre deve ficar claro que um anúncio é um anúncio, e os resultados da pesquisa ou qualquer saída de IA generativa deve distinguir claramente entre o que é orgânico e o que é pago. As pessoas devem saber se a resposta de um produto de IA está direcionando -as para um site específico, provedor de serviços ou produto por causa de um relacionamento comercial. E, certamente, as pessoas devem saber se estão se comunicando com uma pessoa real ou uma máquina.
Dadas essas muitas preocupações sobre o uso de novas ferramentas de IA, talvez não seja o melhor momento para as empresas construírem ou implantá -las para remover ou bombardear o pessoal dedicado à ética e à responsabilidade pela IA e pela engenharia. Se a FTC vier ligar e você quiser nos convencer de que você avaliou os riscos adequadamente e os danos atenuados, essas reduções podem não ser uma boa aparência. O que pareceria melhor? Fornecemos orientações em nossas postagens anteriores no blog e em outros lugares. Entre outras coisas, sua avaliação e mitigações de risco devem levar em consideração os usos previsíveis a jusante e a necessidade de treinar funcionários e contratados, além de monitorar e abordar o uso e o impacto reais de quaisquer ferramentas, eventualmente implantadas.
Se ainda não o tornamos óbvio, a equipe da FTC está se concentrando intensamente em como as empresas podem optar por usar a tecnologia de IA, incluindo novas ferramentas generativas de IA, de maneiras que podem ter um impacto real e substancial nos consumidores. E para as pessoas que interagem com um chatbot ou outro conteúdo gerado pela IA, o aviso da Mind Prince a partir de 1999: “É legal usar o computador. Não deixe o computador usá -lo. ”
A FTC tem mais postagens no AI e seu negócio série:
