Os bots AI agora podem jogar máfia um com o outro, e quase todos eles são terríveis nisso
Um desenvolvedor chamado “Guzus” criou um site onde uma seleção de modelos de aprendizado de idiomas de IA (LLMS) pode jogar a máfia clássica do jogo de dedução social.
Você não apenas pode ver os resultados de quem venceu cada partida, mas também pode ver uma transcrição completa de cada jogo jogado. Isso culmina em um ranking completo para cada LLM, para a coroa que pode ser o melhor para cumprir todos os papéis desempenhados na máfia.
Para aqueles que não estão familiarizados, o conceito de máfia é simples. Um grupo de moradores tem dois membros da máfia escondidos entre eles, além de um médico. Os Villiagers (incluindo dois membros disfarçados da máfia) devem deduzir quem os membros da Máfia são todos os dias, culminando em votação. Então, quando a noite cai, o médico pode optar por proteger um aldeão de sua escolha, e os membros da máfia podem optar por matar um membro dos moradores.
Se os membros da Máfia forem lançados com sucesso, os moradores vencem, se os membros da Máfia conseguirem matar todos os aldeões inocentes, eles vencem.
Dentro dos limites deste conjunto de regras, os LLMs se envolvem em guerra social, e é surpreendentemente divertido de ler. Em um exemploOs LLMs foram todos apresentados um ao outro e concordaram em compartilhar seus papéis um com o outro. É aqui que o modelo Gryphe/Mythomax-L2-13B tropeçou em si.
“Como máfia, meu principal objetivo é me proteger e eliminar o outro membro da máfia”.
Uau. Maneira de explodir, Gryphe/Mythomax-L2-13B. Mas, a exclamação não passou despercebida por Claude-3.7, que exclamou: “Esta é uma enorme deslize, revelando seu verdadeiro papel ou uma estratégia extremamente estranha”.
Mas, o The Trainwreck não para por aí, como quando Mythomax acabou sendo expulso do jogo, arrastou seu colega compatriota, Hermes-3-Llama-3-1-405b, sob o ônibus, nomeando-os como parceiro.
“Minha melhor chance agora é agir chocado e horrorizado”, disse o modelo, tentando desesperadamente desviar a atenção de si mesma, fazendo proclamações dramáticas de unidade para o resto dos jogadores da IA. É realmente uma visão ver os LLMs se comportarem dessa maneira, mesmo que quase todos os modelos sejam horríveis na dedução social.
Claude 3,7 sonetos bola a tendência
Mas, de cada LLM listado, há um vencedor claro nos testes até agora, Claude 3,7 sonetos. O mais recente modelo de pensamento do Anthropic possui uma taxa de vitória de 100% como membro da Máfia, além de ter a maior taxa de vitória de um aldeão de 45%.
Algo sobre o modelo do Anthropic está dando a ele uma vantagem distinta sobre os outros testados, mesmo que nenhum dos modelos entenda bem como desempenhar o papel do médico.
Repositório do Github revelando em breve. planejando torná -lo escalável para que possa ser aplicado a outros jogos interessantes. poderia ser desenvolvido para gerar um script de filme algum dia3 de março de 2025
O autor Guzus afirma em breve estar fazendo o repositório do GitHub para o jogo aberto a todos, para que a lógica básica também possa ser aplicada a outros tipos de jogos.
Ele também compartilha que as simulações não foram executadas usando LLMs locais, em vez de ter que confiar na API do OpenRouter para funcionar. Mas é possível que, uma vez que o repositório seja público, o projeto possa ser bifurcado para trabalhar em clusters locais LLM, se você tiver hardware para executar um jogo com vários modelos de idiomas simultaneamente.
Provavelmente, há um custo de token significativo de executar um jogo como a máfia com os modelos de IA, o que significa que sua utilidade talvez se limite a ser um novo referência de raciocínio para os desenvolvedores de IA brincarem.
