Proposta da Anthropic sobre IA: limites para bloquear modelos

O ponto mais controverso da proposta da Anthropic não é apenas o valor de mil milhões de dólares: é a ideia de que o governo só deveria conseguir travar um modelo de IA de fronteira diante de um risco previsível e iminente que ultrapasse um limiar muito alto. Para quem desenvolve sistemas com modelos avançados, isso importa porque define quem pode interromper uma implantação, com que evidências e em que momento.

Segundo o Sapo.pt, a Anthropic apresentou a legisladores um rascunho de lei para regular a segurança desses modelos. A empresa confirmou que o texto reflete propostas do seu Advanced AI Framework, mas, após críticas, admitiu rever parte do conteúdo. Portanto, estamos falando de uma proposta em discussão, não de uma lei em vigor nem de uma regra que determine, por si só, quando um modelo pode ser lançado.

O que a proposta da Anthropic mudaria na regulação da IA

De acordo com o resumo publicado pelo Sapo.pt, o rascunho restringiria a possibilidade de o governo bloquear o lançamento ou o uso de um modelo. A intervenção dependeria de um risco previsível e iminente de danos superiores a mil milhões de dólares, ou de morte ou ferimentos graves envolvendo mais de 50 pessoas.

A proposta também prevê uma etapa judicial: depois de concluir que o modelo representa esse risco, o Departamento do Comércio teria de pedir a um juiz do Tribunal Distrital do Distrito de Colúmbia uma ordem para travar o lançamento. Isso coloca o Judiciário entre a avaliação de risco feita pelo Executivo e a decisão de interromper a implantação.

Há uma ressalva importante: a referência do Sapo.pt diz que o risco teria de resultar de uma de três situações, mas o trecho disponível não especifica quais. Não vou preencher essa lacuna com suposições. A lista completa e a redação exata do rascunho são essenciais para interpretar o alcance jurídico da proposta.

Por que o limiar de mil milhões de dólares é controverso

Um valor monetário parece objetivo. Na prática, porém, prever danos de um modelo de IA envolve incerteza sobre a probabilidade de abuso, a escala de uso, as salvaguardas e a velocidade de propagação. Uma vulnerabilidade num produto usado por milhares de pessoas tem um perfil de risco diferente da mesma vulnerabilidade numa API integrada por milhões de usuários.

Além disso, perdas econômicas não são fáceis de estimar antes de um incidente. Como quantificar o impacto de uma fraude automatizada, de uma interrupção de serviço ou de uma falha que afete infraestrutura crítica? Os custos diretos podem ser calculados; danos indiretos, perda de confiança e efeitos em cadeia são bem mais difíceis de medir.

O critério de morte ou ferimentos graves também exige definições operacionais: qual cenário conta como previsível, qual evidência é suficiente e como atribuir causalidade ao modelo? Essas perguntas não são detalhes burocráticos. Elas determinam se a regra permite uma resposta preventiva ou se só se torna aplicável quando o risco já está muito próximo de se concretizar.

O que muda para equipes que desenvolvem produtos com IA

Para uma equipe de engenharia, a discussão não deve virar uma pergunta simplista: “meu produto ultrapassa o limite legal?”. O risco de um sistema depende do modelo, mas também do produto que o envolve. Permissões, integração com ferramentas, acesso a dados, limites de chamadas e supervisão humana podem mudar substancialmente o impacto de uma falha.

Um modelo que apenas sugere código num ambiente isolado tem uma superfície de risco diferente de um agente com permissão para executar comandos, acessar credenciais e publicar alterações em produção. Na minha experiência, é justamente nessa camada de integração que times subestimam o risco: avaliam a resposta do modelo, mas não avaliam o que o sistema consegue fazer com ela.

Por isso, mantenho separados três conceitos: capacidade do modelo, permissões do produto e impacto do cenário de falha. A avaliação precisa considerar o conjunto. Uma resposta incorreta pode ser inconveniente num chatbot e crítica quando um agente a transforma automaticamente numa ação irreversível.

Como comparar a proposta com outras abordagens

O rascunho descrito pelo Sapo.pt trata principalmente do limite à intervenção governamental e do processo para bloquear um modelo. Essa é uma escolha diferente de frameworks voltados a orientar a gestão contínua de riscos dentro das organizações.

O NIST AI Risk Management Framework, por exemplo, organiza práticas para governar, mapear, medir e gerir riscos. Ele não substitui uma lei nem cria, por si só, um mecanismo judicial para impedir um lançamento. Para equipes técnicas, pode ajudar a estruturar avaliações e documentação, mas não resolve sozinho a questão de quais riscos justificam uma intervenção estatal.

Na União Europeia, o AI Act usa uma abordagem regulatória baseada em categorias e obrigações, incluindo requisitos específicos para modelos de uso geral com risco sistêmico. Isso não é equivalente ao critério de dano e ao mecanismo judicial descritos no rascunho da Anthropic. São modelos diferentes: um define obrigações regulatórias; o outro, conforme o resumo disponível, limita quando o governo poderia bloquear um lançamento.

Também há uma diferença entre regras federais e estaduais nos Estados Unidos. O texto da Anthropic procuraria sobrepor-se a algumas leis estaduais, o que pode reduzir conflitos para empresas que operam em vários estados, mas também pode limitar respostas locais. O efeito concreto dependeria da redação final e de quais leis seriam abrangidas.

Na Prática: como montar uma triagem técnica de risco

Independentemente do resultado legislativo, uma equipe pode melhorar suas decisões de lançamento com uma triagem documentada. Eu começaria por cenários de abuso e falha, não por uma nota genérica atribuída ao modelo. Para cada cenário, registre o ativo afetado, o caminho de exploração, a probabilidade estimada, o impacto e as medidas de mitigação.

Descreva o cenário: por exemplo, um agente interpreta uma instrução maliciosa e tenta exfiltrar dados acessíveis à sua conta de serviço.
Defina exposição e permissões: identifique quais dados e ferramentas o agente consegue acessar e se as ações exigem confirmação humana.
Estime probabilidade e impacto: use intervalos e evidências de testes, em vez de apresentar uma estimativa incerta como um número exato.
Teste as salvaguardas: valide limites de acesso, isolamento, monitoramento, controles de saída e capacidade de desligar a funcionalidade.
Registre a decisão: documente o risco residual, quem aprovou o lançamento e quais sinais levam a suspender ou reverter a implantação.

O exemplo abaixo calcula uma perda esperada simples para ajudar a priorizar cenários. Ele não determina se um lançamento é legal, não representa a fórmula da proposta da Anthropic e não deve ser usado como substituto de uma análise jurídica ou de segurança.

from dataclasses import dataclass

@dataclass
class Scenario:
    name: str
    probability: float
    impact_usd: float
    severe_injuries: int = 0

def expected_loss(scenario: Scenario) -> float:
    if not 0 <= scenario.probability <= 1:
        raise ValueError("probability deve estar entre 0 e 1")
    if scenario.impact_usd < 0 or scenario.severe_injuries < 0:
        raise ValueError("impacto e ferimentos não podem ser negativos")
    return scenario.probability * scenario.impact_usd

scenarios = [
    Scenario("Exposição de dados por agente", 0.02, 250_000),
    Scenario("Interrupção de serviço crítico", 0.001, 2_000_000_000, 60),
]

for scenario in scenarios:
    print(
        f"{scenario.name}: perda esperada = "
        f"${expected_loss(scenario):,.0f}; "
        f"ferimentos graves no cenário = {scenario.severe_injuries}"
    )

O código separa perda esperada de gravidade do cenário porque multiplicar probabilidade por impacto pode esconder eventos raros e catastróficos. Um cenário com baixa chance, mas consequências extremas, não deve desaparecer numa média. Para decisões reais, complemente a triagem com análise de cenários, testes adversariais e revisão humana.

Erros comuns ao avaliar risco em sistemas de IA

Confundir perda esperada com risco aceitável. Uma média baixa não elimina a possibilidade de um evento raro com impacto grave.
Avaliar só o modelo-base. Ferramentas, permissões, dados conectados e automações alteram o risco do produto final.
Tratar um limiar legal como meta de segurança. Ficar abaixo de um valor não prova que o sistema é seguro nem que cumpre todas as obrigações aplicáveis.
Ignorar mudanças depois do lançamento. Novas integrações, aumento de usuários e alterações de configuração podem invalidar avaliações anteriores.
Confundir proposta com lei vigente. O rascunho mencionado pelo Sapo.pt está em debate e pode ser revisto. Não tome decisões de conformidade com base apenas numa descrição jornalística.

O que acompanhar antes de tomar decisões de produto

Eu acompanharia a versão integral do rascunho, as revisões anunciadas pela Anthropic e qualquer texto legislativo efetivamente apresentado ou aprovado. Também verificaria se a versão final esclarece o significado de “previsível” e “iminente”, quais são as três situações mencionadas e como o processo judicial funcionaria na prática.

Para uma equipe de produto, a resposta sensata não é esperar que a lei resolva a gestão de risco. É manter avaliações reproduzíveis, controles proporcionais às permissões do sistema e um plano de resposta a incidentes. Isso ajuda tanto na segurança técnica quanto na capacidade de explicar decisões a clientes, auditores e reguladores.

Perguntas frequentes sobre a proposta da Anthropic

A proposta já é uma lei nos Estados Unidos?

Não. O material descrito pelo Sapo.pt é um rascunho apresentado a legisladores. A Anthropic confirmou que ele representa propostas do seu Advanced AI Framework, mas isso não significa que tenha sido aprovado como lei.

Quando o governo poderia bloquear um modelo, segundo o rascunho?

Segundo o resumo disponível, seria necessário um risco previsível e iminente de danos superiores a mil milhões de dólares, ou de morte ou ferimentos graves a mais de 50 pessoas. O Departamento do Comércio também teria de pedir uma ordem a um juiz do Tribunal Distrital do Distrito de Colúmbia.

O limite de mil milhões é uma regra para decidir se posso lançar uma aplicação?

Não. É um critério descrito numa proposta sobre quando o governo poderia intervir. Não deve ser tratado como um limite geral de segurança, como autorização automática para lançar ou como substituto de outras obrigações legais.

Como uma equipe de desenvolvimento pode se preparar?

Documente cenários de risco, avalie o modelo junto das ferramentas e permissões do produto, teste salvaguardas e defina critérios claros para pausar ou reverter uma implantação. Registre também incertezas e evidências: uma estimativa numérica sem contexto pode dar uma falsa sensação de precisão.

Gostou? Me segue no GitHub e deixa um comentário se tiver dúvida ou quiser aprofundar algum ponto.