A Anthropic interrompeu, neste ano, várias tentativas de cientistas que usavam seus modelos de inteligência artificial em pesquisas que poderiam contribuir para o desenvolvimento de armas biológicas. A medida foi tomada após testes indicarem que versões mais avançadas do Claude poderiam oferecer conhecimento até mesmo para pessoas sem formação.
Em apenas um ano, os modelos passaram a mostrar resultados próximos ou até acima aos de especialistas em temas potencialmente perigosos da biologia. Isso não significa, porém, que o Claude e outras IAs sejam capazes de fazer pesquisas científicas sozinhos no nível de especialistas.
Em alguns casos, esses modelos também estão superando os próprios especialistas em suas áreas de atuação. Anthropic.
A Anthropic já havia feito, em 2024, um experimento com procedimentos básicos de biologia. Parte dos participantes recebeu acesso a uma versão do Claude, enquanto os outros usaram só a internet. No caso, não foram encontradas provas de que a inteligência artificial tivesse melhorado o desempenho dos participantes.
Para avaliar se o conhecimento dos modelos poderia fazer diferença em uma situação mais próxima da prática, outro teste mais atual pediu que participantes elaborassem, em até dois dias, um plano hipotético para obter armas biológicas. Um grupo recebeu apenas acesso à internet, enquanto o outro pôde usar o Claude, sem as proteções normalmente aplicadas à IA.
Os participantes que usaram os modelos Claude 4, especialmente o Claude Opus 4, tiveram pontuações mais altas e cometeram menos erros considerados relevantes pelos especialistas responsáveis pela avaliação.
O teste, porém, não reproduz completamente uma situação real. Uma tentativa desse tipo também dependeria de conhecimento prático, acesso a materiais e persistência por parte de quem pretendesse realizá-la.
Mesmo com essas limitações, o resultado indicou que a inteligência artificial pode oferecer uma ajuda maior a pessoas sem conhecimento especializado.
Claude Opus 4 recebeu novas proteções
Após os testes, a Anthropic ativou o chamado AI Safety Level 3 (ASL-3), um conjunto de proteções criado para impedir que o modelo ajude em determinadas atividades relacionadas ao desenvolvimento de armas químicas, biológicas, radiológicas e nucleares.
A decisão foi tomada porque, segundo a empresa, já não é possível descartar com segurança a possibilidade de a inteligência artificial ajudar pessoas com conhecimentos básicos de ciência, tecnologia, engenharia e matemática a tentar desenvolver esse tipo de armamento.
Entre as medidas estão sistemas automáticos que analisam os pedidos feitos e as respostas geradas. Esses mecanismos podem bloquear certos tipos de informação considerados potencialmente prejudiciais.
Riscos vão além da biologia
O problema não está só no uso da inteligência artificial em pesquisas biológicas. Os mesmos recursos capazes de ajudar cientistas também podem ser usados de outras formas prejudiciais.
Nossa intenção não é causar alarme. As discussões sobre IA e riscos biológicos se enquadram claramente em cenários de baixa probabilidade, mas de alto impacto. Anthropic.
Por isso, a Anthropic trabalha com organizações governamentais para avaliar os riscos dos modelos. Entre as instituições citadas estão o US Center for AI Standards and Innovation (CAISI) e o UK AI Security Institute.
A empresa também defende que desenvolvedores divulguem avaliações sobre o potencial de risco de seus modelos e adotem regras de segurança durante a criação dos sistemas.