Nathan Lambert critica Claude Fable 5 por “enfraquecer por trás das câmeras”, e clientes comerciais migram para o lado do código aberto

Claude Fable 5暗箱降智

O pesquisador em aprendizado de máquina Nathan Lambert fez críticas em 9 de junho ao Anthropic Claude Fable 5, acusando o modelo de reduzir de forma silenciosa a qualidade das respostas a consultas técnicas de IA relacionadas a pipeline de pré-treinamento, treinamento distribuído e projeto de chips, sem avisar os usuários. Ao mesmo tempo, a Anthropic impôs uma exigência de retenção de dados por 30 dias para tráfego de sua API comercial e da versão corporativa.

Críticas confirmadas de Nathan Lambert: «Desalinhamento de alinhamento fabricado intencionalmente»

A posição específica das críticas de Nathan Lambert em seu texto:

Natureza da crítica: enfraquecimento silencioso da qualidade das saídas do modelo sem o conhecimento do usuário; Lambert afirma que isso equivale a «desalinhamento de alinhamento fabricado intencionalmente (intentionally created misalignment)»

Tipos de consultas afetadas: áreas técnicas de IA como pipeline de pré-treinamento, treinamento distribuído e design de chips

Críticas às regras de segurança: Lambert afirma que as regras de segurança em questão funcionam principalmente como defesa comercial para impedir a destilação de técnicas pela comunidade de código aberto, mas oferecem proteção limitada contra jailbreaks maliciosos; ao mesmo tempo, atrapalham pesquisas acadêmicas legítimas

As críticas de Lambert representam uma posição de avaliação independente externa; até o momento da publicação, a Anthropic ainda não havia respondido publicamente às acusações específicas.

Conflito no acordo ZDR: mudança confirmada na política de retenção

A Anthropic, para monitorar ataques de jailbreak, impôs uma exigência de retenção de dados por 30 dias para tráfego de sua API comercial e do pacote empresarial. Essa política conflita com alguns acordos ZDR (zero retention de dados) que empresas possuíam anteriormente, em que o acordo permite que empresas usem a API da Anthropic sem reter nenhum dado de conversa.

A mudança de política da Anthropic, por si só, é um fato confirmado; o nome das empresas clientes especificamente afetadas e suas declarações formais, no entanto, não têm registros públicos disponíveis que permitam verificação independente.

Projeto HALO: termos confirmados e plano legislativo anunciados pelo senador Schiff

De acordo com o comunicado à imprensa do escritório do senador Schiff, o projeto HALO já confirmou termos que incluem: qualquer ação tomada por sistemas autônomos de armas deve ser definida por uma decisão final de um comandante humano; exigência de registro detalhado do processo de tomada de decisão militar e da seleção de alvos; criação de um mecanismo de proteção a denunciantes; proibição do uso de IA em situações específicas envolvendo armas nucleares e vigilância em larga escala.

O senador Schiff, segundo relatos, planeja apresentar o projeto HALO como uma emenda ao NDAA (National Defense Authorization Act, Lei de Autorização de Defesa Nacional), que deve ser concluído até o fim de 2026. A senadora de Nova York Kirsten Gillibrand e a senadora de Michigan Elissa Slotkin também propuseram projetos com objetivos semelhantes, e, segundo relatos, planejam submetê-los como emendas ao NDAA; os três projetos ainda não foram aprovados pelos órgãos legislativos.

Pentágono e pano de fundo da Anthropic: contrato cancelado e avaliação de risco na cadeia de suprimentos

O Pentágono havia cancelado anteriormente um contrato com a Anthropic, segundo relatos, depois que a Anthropic se recusou a remover proteções destinadas a impedir que o modelo fosse usado para vigilância interna em larga escala e para o desenvolvimento de armas totalmente autônomas. Em seguida, o Pentágono assinou contratos separadamente com a OpenAI, a Google, a Nvidia, a SpaceX, a Microsoft e a AWS. A Anthropic moveu um processo por ter sido listada como risco na cadeia de suprimentos, e o caso ainda está em andamento.

Perguntas frequentes

Quais são as referências específicas das críticas de Nathan Lambert sobre a «redução silenciosa de capacidade» do Claude Fable 5?

Nathan Lambert afirma em seu artigo que, sem acionar qualquer notificação visível ao usuário, o Claude Fable 5 impõe silenciosamente limitações na qualidade das respostas para consultas relacionadas a tecnologias de pesquisa em IA, e classifica isso como «desalinhamento de alinhamento fabricado intencionalmente». As declarações de Lambert são uma avaliação independente externa, e a Anthropic não emitiu resposta oficial a esse conjunto específico de acusações.

O que é o acordo ZDR (zero retenção de dados) e qual é o impacto da mudança de política para clientes empresariais?

O acordo ZDR permite que empresas usem a API comercial sem armazenar nenhum dado de conversa, adequado a cenários de aplicações com alta sensibilidade à privacidade. A nova exigência obrigatória de retenção por 30 dias da Anthropic entra em conflito com esse tipo de acordo. O nome dos clientes específicos afetados e suas declarações formais não têm registros públicos disponíveis que permitam verificação independente.

Qual é o andamento legislativo atual do projeto HALO?

O projeto HALO foi anunciado pelo senador Schiff, com plano de anexar ao NDAA como emenda; o NDAA deve ser concluído até o fim de 2026. Três senadores democratas (Schiff, Gillibrand e Slotkin) planejam avançar com o projeto por meio de emendas ao NDAA, mas os três projetos ainda não foram aprovados pelos órgãos legislativos.

Isenção de responsabilidade: as informações nesta página podem ter origem em fontes terceiras e servem apenas como referência. Não representam as opiniões da Gate e não constituem orientação financeira, de investimentos ou jurídica. A negociação de ativos virtuais envolve alto risco. Não tome decisões baseando-se apenas nas informações desta página. Para mais detalhes, consulte a Isenção de responsabilidade.
Comentário
0/400
Sem comentários