Os principais cientistas alertam sobre a IA fora de controle
Yoshua Bengio (L) e Max Tegmark (R) discutem o desenvolvimento da inteligência geral artificial durante uma gravação ao vivo do “Beyond the Valley” da CNBC em Davos, na Suíça, em janeiro de 2025.
CNBC
A inteligência geral artificial construída como “agentes” pode ser perigosa, pois seus criadores podem perder o controle do sistema, disseram dois dos cientistas de IA mais proeminentes do mundo.
No último episódio da CNBC’s “Além do vale” Podcast lançado na terça -feira, Max Tegmark, professor do Instituto de Tecnologia de Massachusetts e presidente do Future of Life Institute, e Yoshua Bengio, apelidado de um dos “Padrões de Ai” e um professor da Université de Montréal, falou sobre suas preocupações com a inteligência geral artificial, ou AGI. O termo se refere amplamente a sistemas de IA que são mais inteligentes que os humanos.
Seus medos decorrem das maiores empresas do mundo agora falando sobre “agentes da IA” ou “IA Agentic” – que as empresas afirmam que permitirão que a IA Chatbots aja como assistentes ou agentes e ajude no trabalho e na vida cotidiana. As estimativas da indústria variam quando a AGI surgirá.
Com esse conceito, surge a ideia de que os sistemas de IA poderiam ter alguma “agência” e pensamentos próprios, de acordo com o Bengio.
“Os pesquisadores da IA foram inspirados pela inteligência humana para construir inteligência de máquinas e, em humanos, há uma mistura da capacidade de entender o mundo como pura inteligência e comportamento agêntico, significando … usar seu conhecimento para alcançar objetivos , “Bengio disse ao” Beyond the Valley “da CNBC.
“No momento, é assim que estamos construindo AGI: estamos tentando torná -los agentes que entendem muito sobre o mundo e depois podem agir de acordo. Mas essa é realmente uma proposta muito perigosa”.
Bengio acrescentou que a busca dessa abordagem seria como “criar uma nova espécie ou uma nova entidade inteligente neste planeta” e “sem saber se eles vão se comportar de maneiras que concordam com nossas necessidades”.
“Então, em vez disso, podemos considerar, quais são os cenários em que as coisas vão mal e todas elas dependem da agência? Em outras palavras, é porque a IA tem seus próprios objetivos que poderíamos estar com problemas”.
A idéia de autopreservação também pode surgir, pois a IA fica ainda mais inteligente, disse Bengio.
“Queremos estar em competição com entidades mais inteligentes que nós? Não é uma aposta muito tranquilizadora, certo? Então, temos que entender como a autopreservação pode surgir como um objetivo na IA”.
Ai ferramenta a chave
Para o tegmark do MIT, a chave está na chamada “ferramenta AI”-sistemas criados para um propósito específico e estreitamente definido, mas que não precisam ser agentes.
Tegmark disse que uma ferramenta IA pode ser um sistema que informa como curar o câncer, ou algo que possui “alguma agência” como um carro autônomo “, onde você pode provar ou obter algumas garantias realmente altas e realmente confiáveis de que você ainda está vai ser capaz de controlá -lo. “
“Acho que, em uma nota otimista aqui, podemos ter quase tudo o que estamos empolgados com a IA … se simplesmente insistirmos em ter alguns padrões básicos de segurança antes que as pessoas possam vender sistemas de IA poderosos”, disse Tegmark.
“Eles precisam demonstrar que podemos mantê -los sob controle. Então a indústria inovará rapidamente para descobrir como fazer isso melhor”.
O Instituto Futuro da Vida da Tegmark, em 2023, pediu uma pausa para o desenvolvimento de sistemas de IA que podem competir com a inteligência em nível humano. Embora isso não tenha acontecido, Tegmark disse que as pessoas estão falando sobre o tópico e agora é hora de tomar medidas para descobrir como colocar o Guardrails no lugar para controlar a AGI.
“Então, pelo menos agora, muitas pessoas estão falando a conversa. Temos que ver se podemos fazê -las caminhar”, disse Tegmark ao “Beyond the Valley” da CNBC.
“É claramente insano para nós, humanos, construir algo muito mais inteligente do que nós antes de descobrirmos como controlá -lo”.
Existem várias visualizações sobre quando a AGI chegará, parcialmente motivada por definições variadas.
O CEO da Openai, Sam Altman, disse que sua empresa sabe como construir a AGI e disse que chegará mais cedo do que as pessoas pensam, embora ele subestimasse o impacto da tecnologia.
“Meu palpite é que vamos atingir a AGI mais cedo do que a maioria das pessoas no mundo pensa e isso importa muito menos”, Altman disse em dezembro.
