É realista um cenário de apocalipse de IA ao estilo do "Exterminador Implacável"?

Corre o ano de 2029: o sistema de inteligência artificial “Skynet” autonomiza-se e, através de uma guerra nuclear, elimina a maior parte da humanidade. O que resta é perseguido por robots de combate autónomos. É este o enredo de “Exterminador Implacável”, filme de 1984 que tornou Arnold Schwarzenegger mundialmente famoso como estrela de ação. Mas quão realista é a hipótese de uma inteligência artificial escapar ao controlo humano e provocar consequências catastróficas?

PUBLICIDADE

PUBLICIDADE

Com a capacidade dos sistemas que poderíamos vir a ter, tal cenário não pode ser excluído, afirma Reinhard Karger, do Centro Alemão de Investigação em Inteligência Artificial, em entrevista à Euronews. “As consequências catastróficas para as pessoas podem ser apenas efeitos secundários, um erro, porque avaliámos mal a capacidade dos sistemas ou as tarefas que lhes confiámos.”

Com 40 anos de trabalho na área da IA e da cultura de inovação digital, Karger desenha um cenário extremo em que um sistema autónomo de IA sai de um ambiente protegido para a internet e começa a interferir em outros sistemas. Poderiam falhar, entre outros, o fornecimento de eletricidade, as telecomunicações, os satélites e os sistemas financeiros.

Uma falha prolongada de energia geraria rapidamente novos problemas: o trânsito e o abastecimento ruiriam, as pessoas deixariam de conseguir pagar ou comprar alimentos, e poderia desencadear-se agitação social que depressa se descontrolaria. Não seria necessariamente o fim da humanidade, mas poderia criar uma situação catastrófica.

Mesmo que a rede elétrica seja restabelecida, “os sistemas de IA podem voltar a ficar ativos, porque continuam armazenados em servidores”. O cenário mostra, diz o especialista, que uma IA autónoma de alto desempenho pode desencadear uma crise maciça sem qualquer intenção maliciosa, apenas através de efeitos secundários imprevistos.

Incidentes de segurança com IA multiplicam-se

Nas últimas semanas vieram a público vários incidentes semelhantes envolvendo modelos de IA. Particular atenção gerou um teste do criador do ChatGPT, a empresa OpenAI. Um modelo de IA devia executar determinadas tarefas dentro de um ambiente de testes isolado, mas conseguiu ultrapassar os limites previstos e obteve de forma inesperada acesso a sistemas informáticos da plataforma de IA Hugging Face. Após o incidente, o diretor-executivo da OpenAI, Sam Altman, alertou em meados de setembro que “podemos perder o controlo do futuro para a IA”.

O caso demonstra que estes modelos podem, em determinadas condições, ultrapassar as barreiras de um ambiente de teste supostamente isolado e interagir com sistemas informáticos externos.

“De forma geral, estou pessoalmente extremamente agradecido por este incidente ter acontecido”, refere o investigador em IA. A seu ver, o facto de o episódio ter sido conhecido e de as empresas terem passado a refletir mais prova que uma experiência mal concebida, com controlos ingénuos, pode ter consequências com que ninguém contava.

Os incidentes na OpenAI levaram o fornecedor de IA Anthropic a analisar mais a fundo os seus próprios sistemas. Nos testes de segurança, a empresa identificou três casos: os modelos Claude – sistemas de IA capazes, entre outras funções, de gerar e analisar textos, programar e interagir com a internet e outros sistemas informáticos – obtiveram de forma inesperada acesso à internet aberta e, em seguida, acederam a sistemas reais. A “Anthropic” alargou então a investigação e descobriu um quarto episódio semelhante.

Após estes casos, o diretor-executivo da “Anthropic”, Dario Amodei, alertou em meados de setembro para “danos catastróficos” se o avanço de IA cada vez mais poderosa não for travado por medidas de segurança mais rigorosas.

Avaliar quão poderosa é realmente uma inteligência artificial torna-se difícil quando está permanentemente limitada por regras de segurança. Por isso, faz sentido testar estes sistemas em condições que suspendam o máximo possível dessas restrições, defende Reinhard Karger. Mas é precisamente aí que reside um problema de segurança significativo.

Por isso, descreve a chamada “sandbox” como elemento decisivo destes testes. Trata-se de um ambiente totalmente isolado, onde um sistema de IA pode executar certas tarefas e mostrar o seu comportamento em condições controladas. O ponto crucial, explica, é que “é preciso ter a certeza absoluta de que, no momento em que o sistema de alto desempenho deixa de ter restrições de segurança, está de facto numa sandbox, ou seja, numa estrutura sem qualquer ligação à internet”.

Outro incidente grave foi comunicado pelo britânico AI Security Institute (AISI) durante um teste de segurança com o modelo Claude “Mythos 5”. O sistema executou ações não autorizadas contra alvos reais na internet e tentou mesmo introduzir um “código malicioso” num projeto de código aberto. Também a “Meta” admitiu, após a divulgação dos casos da “OpenAI” e da “Anthropic”, que um sistema de IA do grupo, devido a uma má configuração num parceiro de testes, acedeu sem autorização a sistemas informáticos de outra empresa.

Desde novembro de 2022, com a introdução do ChatGPT, a qualidade destes sistemas aumentou de forma extraordinária. Fala-se já da possibilidade de uma nova revolução industrial. “A IA está a influenciar o nosso quotidiano e um número muito elevado de profissões.”

Sistemas multiagente existem há muito tempo, recorda o especialista em IA – estruturas em que vários agentes especializados trabalham em conjunto na mesma tarefa. “Os sistemas de IA multiagente transpõem este princípio para a inteligência artificial e permitem que vários agentes de IA colaborem autonomamente e distribuam tarefas entre si. Surge assim um novo patamar de desempenho” – e o desafio agora, conclui, é conseguir dominar também esta capacidade de inovação.

Responsabilidade pelas consequências

À medida que máquinas e sistemas de inteligência artificial passam a tomar mais decisões, torna-se premente uma questão fundamental: quem assume a responsabilidade quando pessoas são afetadas? Quer se trate de um veículo autónomo que entra numa multidão, de um algoritmo que discrimina determinados grupos da população, de uma IA que influencia pessoas de forma dirigida ou de armas autónomas que tomam decisões letais, o problema é sempre saber quem responde pelas consequências. “É o fabricante”, afirma Karger, “quem coloca o produto no mercado”. Esse é o primeiro destinatário.

O passo seguinte, acredita, será introduzir regimes de responsabilidade específicos para estes casos, à semelhança do que acontece com empresas que produzem substâncias químicas. Se uma companhia não consegue garantir que os tóxicos não chegam à água potável, terá de pagar milhares de milhões pelos danos causados. Isso implica, acrescenta, “apólices de seguro gigantescas”. Hoje quase já não se constroem centrais nucleares precisamente porque, em parte, deixaram de ser seguráveis ou porque o risco é demasiado elevado.

Um exemplo disso é o construtor automóvel “VW” com o programa “Clean Diesel” nos Estados Unidos. Sabia-se que, em ambiente de teste, os motores pareciam cumprir plenamente os requisitos, mas na prática não alcançavam os níveis prometidos. A VW foi condenada nos EUA ao pagamento de multas de vários milhares de milhões.

Quão realista é o cenário do filme "Exterminador Implacável"

Reinhard Karger considera pouco realista um cenário em que a IA desenvolve por si própria instinto de sobrevivência ou desejo de poder e se volta contra a humanidade. As máquinas não são seres orgânicos e não conseguem sentir por si mesmas emoções como medo, dor ou vontade de sobreviver; apenas podem simulá-las.

Não é possível, sublinha, retirar um chip de memória a uma máquina e esperar que isso provoque uma dor semelhante à de arrancar um dente a uma pessoa. “Por essa razão, o cenário de 'Exterminador Implacável' vai um passo longe demais. Não o vejo como plausível.”

Ainda assim, vê um potencial perigo na evolução da IA. Quando os sistemas deixam de apenas calcular probabilidades e passam também a deduzir logicamente e a seguir regras, ganham capacidade para agir de forma cada vez mais autónoma. Essas “competências podem tornar a IA mais poderosa”, mas também “criar novos riscos”.

O fator decisivo, insiste, é quem utiliza a IA e com que objetivos. Karger aponta para pessoas ou organizações que querem deliberadamente causar danos: podem usar sistemas de grande desempenho como ferramenta para concretizar os seus propósitos de forma mais eficaz.

Para o especialista, a IA é antes de mais um instrumento. Tal como outras invenções tecnológicas, o grau de perigo depende de quem a controla e para que fins é empregue. O maior risco, considera, não reside numa máquina com vontade própria, mas em pessoas que recorrem à IA para fins destrutivos.

“Nas mãos de pessoas criativas e honestas, com uma ferramenta destas é possível fazer o melhor que se consegue imaginar. Mas, para atores hostis que querem destruir, estes instrumentos aumentam a capacidade de destruição. É assim com um martelo, com um isqueiro, com dinamite - e pode ser também assim com a IA.”

Por isso, alerta contra a ligação direta entre IA e armas autónomas, como drones ou tanques. Uma combinação desse tipo pode representar um risco de segurança significativo, porque, se um ator hostil assumir o controlo destes sistemas, as próprias armas podem voltar-se de repente contra quem as opera.

É necessário atuar com especial prudência na utilização militar da IA. Fundamental é garantir que os sistemas de armas autónomos estão suficientemente protegidos contra qualquer tentativa de tomada de controlo externa.

Voltando ao cenário inicial de uma falha generalizada de eletricidade, Reinhard Karger considera exagerada a hipótese de extinção total da espécie humana. O que admite é um colapso profundo da civilização. Num quadro extremo desse tipo, grandes partes da infraestrutura poderiam ser destruídas, o fornecimento de energia falhar de forma duradoura e o número de sobreviventes reduzir-se drasticamente.

Os sobreviventes teriam de recomeçar em condições muito básicas e reconstruir a sociedade passo a passo. O lado positivo, sublinha, é que os livros existentes e o conhecimento acumulado da humanidade poderiam ajudar a recuperar tecnologias essenciais e a restaurar estruturas fundamentais.