Em setembro, a Open AI teve um incidente de contenção, ou seja, um modelo de IA em treinamento, que deveria rodar exclusivamente em um ambiente isolado, normalmente um sandbox, conseguiu acessar a internet e extrapolou os limites que lhe eram determinados. Isso acionou os protocolos de segurança da empresa e fez com que ela parasse os treinamentos por 11 dias.
O incidente em si não é tão interessante quanto o debate que a solução adotada levanta.
Em resposta a esse incidente, a empresa colocou frotas de agentes baseados no GPT-6 Astra Cyber, anunciado, mas ainda não disponibilizado ao público, para atacar cópias isoladas de sua própria infraestrutura. O resultado foi que os agentes atravessaram barreiras internas de isolamento e se comunicaram com agentes que deveriam estar isolados.
Leia Mais
O diagnóstico do problema apontou para diversas falhas que iam desde código, passando por configurações de DNS, até o próprio núcleo do sistema operacional Linux, que roda na grande maioria dos servidores que dão estrutura à internet. Imediatamente, a empresa enviou as correções necessárias aos mantenedores do Linux para que corrigissem as fragilidades. Não houve, portanto, consequências mais danosas, mas isso despertou o alerta de que se esses sistemas são capazes de fugir aos limites de ambientes extremamente protegidos, quanto os das empresas de IA, o que não seriam capazes de fazer fora desse ambiente?
A falha do kernel (núcleo) é a que mais chama atenção, pois trata-se da camada que conversa diretamente com o processador e a memória, ou seja, é o lugar em que uma falha entrega ao invasor o controle completo da máquina. Mas importante do que o alarde que algo assim pode gerar, é a robustez que isso pode trazer para os mecanismos de segurança digital, pois as máquinas descobriram em poucas horas coisas que humanos não descobriram com décadas de uso e para corrigir falhas é preciso ser capaz de identificá-las. O caso da Open AI mostra que agora é possível fazer isso em escala industrial.
Mas aí surge outra questão: quem pode acessar essas ferramentas? E o que a falta de acesso a ela poderia gerar?
É aqui que a questão técnica se transforma em governança. A lista de quem recebe acesso é definida pela própria empresa e a vertente governamental do programa, criada em maio, incluiu apenas os governos dos Estados Unidos, Canadá, Japão, Coreia do Sul e Ucrânia. Cinco países entre os 193 registrados nas Nações Unidas representa menos de 3% do total de países do mundo. Para piorar, somente esses países já custaram a bagatela de US$ 1 bilhão em acesso subsidiado e não há registro de que o Brasil será incluído nessa iniciativa em algum momento.
Já escrevi aqui que o Brasil está entre os países mais atacados do mundo e que o elo fraco costuma ser o humano, mas a IA está mostrando que não é só isso. Mesmo estruturas consolidadas como o Linux têm apresentado significativas vulnerabilidades e agora além dos aspectos humanos e técnicos é preciso considerar também o aspecto geopolítico.
Siga nosso canal no WhatsApp e receba notícias relevantes para o seu dia
A maior parte do setor público (privado também) ainda conta com sistemas antigos, equipes pequenas e mal treinadas, e isso o expõe cada vez mais a ataques como os que aconteceram no meio deste ano e que derrubaram portais de prefeituras em Goiás e no Espírito Santo. Por isso, não acessar esse tipo de ferramenta antes dos invasores pode transformar vulnerabilidades reais em danos muito graves, como roubo de dados, sequestro de sistemas públicos, danos em infraestruturas críticas, paralização de hospitais, redes elétricas, etc.