A amizade terminou com a raça humana: os Boffins declaram que o ‘teste de mete Turing’ foi aprovado, e a IA agora está fazendo legendas mais engraçadas em média do que seus pedaços inúteis
Um novo estudo fez com que a descoberta curiosa de que os memes com legendas geradas pela IA são, em geral, que obtiveram maior pontuação por criatividade, humor e “compartilhabilidade” do que aqueles apenas legendados por seres humanos, além de seres humanos em parceria com a IA.
O único ponto positivo: os humanos criaram em geral os memes mais excepcionais. Mas não o suficiente, carne de carne.
O estudo é chamado “não se não é apenas meme: avaliar a co-criatividade entre LLMs e humanos na geração de humor” e foi Relatado pela primeira vez pela ARS Technica. Certamente não é preciso dizer que tudo o que diz deve ser levado com uma pitada de sal, e os próprios autores criticam as descobertas, mas, no entanto, aqui vamos nós.
O estudo foi baseado em memes criados em cinco modelos de meme existentes: há uma imagem mais abaixo do artigo, mas esses são o modelo de Boromir (“não se faz simplesmente etcetera”), a história de brinquedos um de zumbido apontando para algo enquanto Woody parece espancado, o de Fry de Futurama estreitando os olhos, o Satyfied Toddler com um Clanched, e o Fry e o Futurama estreitando os olhos, Satyfied Chopdler com um Clanch,
Estes foram legendados por seres humanos, humanos com a ajuda da IA e pela IA de forma independente. O modelo de IA usado foi o GPT-4O da IA aberto. Eles foram convidados a legendar os modelos de meme para se relacionar com três categorias de humor: trabalho, comida e esportes.
O processo resultaria em cada grupo criando centenas de memes, a partir da qual uma amostra aleatória de 50 foi selecionada. Estes foram então classificados por humanos, que receberam uma amostra aleatória de 50 dos memes em uma pesquisa e pediram para classificá -los nos três critérios.
Os resultados mostraram algumas dicas: os memes relacionados ao local de trabalho tendiam a ser classificados mais altos na maioria das categorias, o que acho que é porque mesmo as pessoas mais ridiculamente bem pagas que conheço adoram gemer sobre o trabalho deles.
Os memes feitos apenas pelos modelos de IA obtiveram uma pontuação mais alta, em média, nas categorias. No entanto, os memes individuais mais engraçados foram criados por humanos, enquanto as colaborações humanas-AI acabaram em algum lugar no meio: um impulso na produtividade sobre os humanos solo, o que aparentemente os tornou mais “criativos” e “compartilháveis”, sem tocar nos melhores exemplos humanos solo.
“Embora a IA possa aumentar a produtividade e criar conteúdo que atrai um público amplo”, diz o estudo, “a criatividade humana permanece crucial para o conteúdo que se conecta em um nível mais profundo. O aumento da produtividade das equipes de AI humano não leva a melhores resultados-apenas a mais resultados”.
Mais uma ressalva: os humanos que criaram memes em colaboração com a IA geralmente se sentiam um pouco menos propriedade sobre suas criações do que os humanos que voaram sozinho. O que parece uma parte importante da experiência criativa.
“Lamento anunciar que o teste de mete Turing foi aprovado”, disse Professor Wharton Ethan Mollick do estudo. “Os LLMs produzem memes mais engraçados do que o humano médio, como julgado pelos seres humanos. Os seres humanos que trabalham com a IA não recebem impulso (uma descoberta que está chegando frequentemente no trabalho de criatividade da AI), os melhores memers humanos ainda vencem a IA, no entanto.”
Mas o grande argumento aqui é que, em geral, a IA pode ser legenda de forma independente de uma maneira que muitos humanos acham divertido. Os pesquisadores atribuem isso em primeira instância ao fato de que esses modelos são treinados em um excesso de dados da Internet, dos quais eles podem triangular os padrões de humor amplamente atraentes. Como o estudo coloca: “A IA capta tendências gerais em seus dados de treinamento, o que ajuda a produzir conteúdo que a maioria das pessoas acham atraente”.
Uma das coisas interessantes é que, olhando para os exemplos de memes gerados pela IA, eles não me parecem especialmente engraçados. Mas esse pode ser o ponto. “Uma lição é que muitas pessoas acham os memes ruins engraçados e interessantes”. Notas Mollick.
Como alguém que ainda usa o Facebook e observou seu declínio gradual em contas e contas de meme geradas pela IA, essas descobertas realmente não são surpreendentes. Você vê regularmente conteúdo insano que deve ser gerado pela IA fazendo as rodadas e, em alguns casos, a estupidez disso é por isso que as pessoas estão compartilhando: “Spot the AI” é quase um metagame on-line neste momento.
“É difícil competir com a capacidade da IA de atender a gostos populares”, observa a conclusão do estudo, mesmo que “o toque humano individual ressoe mais profundamente em certas dimensões. Os criadores humanos mais bem classificados provavelmente trouxer E assim será jamais.
