Desempenho do Claude Code cai após mudanças de março, aponta diretora de IA da AMD

A análise de Stella Lorenz, Diretora Sênior de Inteligência Artificial da AMD, revelou uma queda significativa no desempenho do Claude Code, um modelo de IA da Anthropic, após as mudanças introduzidas em março. De acordo com os dados avaliados por Lorenz, que incluem 6.852 sessões, 234.760 chamadas a ferramentas e 17.871 blocos de raciocínio, o desempenho do modelo deteriorou-se consideravelmente ao longo do mês.

Entre os pontos críticos identificados, a média do comprimento do raciocínio reduziu drasticamente de cerca de 2.200 caracteres, em janeiro e fevereiro, para aproximadamente 600 caracteres em março, uma queda de 73%. Além disso, a proporção entre a leitura e a edição de código passou de 6,6:1 para 2:1, indicando que o modelo passou a dedicar menos tempo à avaliação do código antes de efetuar alterações.

Outro dado alarmante é o aumento de tentativas de evitar a continuidade de tarefas, que saltou de 0 para 173 em um período de 17 dias após 8 de março. As contradições internas nas respostas do modelo triplicaram no mesmo intervalo. Como consequência dessas falhas, o custo de uso diário da IA disparou em 122 vezes.

O momento da divulgação dos dados estabelece uma conexão crucial com o lançamento de uma nova funcionalidade, o “thinking redaction”, em 8 de março. Essa alteração, segundo a Anthropic, visava apenas melhorar a interface do usuário, mas a análise de Lorenz sugere que as mudanças tiveram um impacto profundo na eficácia do modelo.

Boris Cherny, criador do Claude Code, se defendeu em um fórum no GitHub, explicando que as configurações padrão do agente foram modificadas, incluindo ajustes no raciocínio adaptativo e no nível de esforço médio, o que, segundo ele, pode distorcer os resultados apresentados na análise.

Esses desdobramentos no funcionamento do Claude Code trazem à tona um debate importante sobre os limites da inteligência artificial e as implicações de alterações em seu funcionamento. Com um mercado cada vez mais saturado de soluções de IA, a busca por inovação deve ser acompanhada de cautela, considerando os efeitos que essas modificações podem ter na eficiência e na qualidade dos serviços oferecidos.