IA no código da empresa: o melhor acerta 38,8% das tarefas

TL;DR

• O Real-SWE, da Specific Labs, avaliou agentes de IA em tarefas reais de código privado de empresas. O líder ficou em 38,8%.
• Os mesmos modelos passam com folga nos benchmarks públicos. A diferença é contexto: padrão interno, regra de negócio e código que não está na internet.
• Você não precisa esperar um prêmio dos laboratórios. Rode o Teste das 5 Tarefas no seu repositório e descubra o número real antes de gastar.

O problema: o benchmark que nunca roda no seu código

Semana passada um CEO me mandou um print do agente de código dele "resolvendo 80% dos tickets". Sou cético por natureza. Perguntei: dos tickets do seu produto, ou dos tickets do benchmark?

Há uma diferença enorme entre os dois. E o mercado inteiro se apoia nessa ambiguidade.

Os laboratórios vendem números de benchmark público. Os modelos foram treinados nesses dados. É trapaça de casa.

O teste que importa é o seu código. E quase ninguém roda ele.

O que o Real-SWE testou

A Specific Labs divulgou o Real-SWE em setembro de 2026. É um benchmark diferente de tudo que a gente viu até aqui.

Três escolhas fazem diferença.

Primeira: código privado. As tarefas vieram de empresas reais, com código licenciado, que não está em lugar nenhum da internet. Os autores estimam que 99% dos tokens do mundo corporativo estão escondidos dos modelos.

Segunda: tarefas verbatim. Não são exercícios sintetizados por especialistas. São tickets reais que engenheiros de verdade fizeram, com o texto original. A instrução média tem 1.742 caracteres e exige mexer em 11 arquivos, contra 6 nos benchmarks anteriores.

Terceira: verificação nativa. Cada tarefa foi avaliada com os testes e o harness que a própria empresa usa. Nada de teste inventado pra agradar modelo.

O resultado desmonta o marketing.

O modelo mais forte, Fable 5.1 com Claude Code, resolveu 38,8% das tarefas. O segundo, GPT-6 Astra com Codex CLI, 33,8%. Vêm depois Gemini 3.8 Flash (31,2%) e GLM 5.3 (28,8%). Na sequência, uma fila em que quase todos ficam abaixo de um quarto das tarefas.

E o detalhe que doeu: 6 das 10 tarefas tiveram taxa de acerto abaixo de 15%. Uma tarefa, um sistema de métricas, ficou com zero acertos entre os oito modelos.

Compara com o número do marketing. A distância entre o que dizem e o que é real é o trabalho que você vai pagar depois.

O que os números dizem

Vou separar o que importa pra decisão.

Primeiro, onde a IA é boa. As tarefas de infraestrutura passaram melhor. Configuração multi-região, chaves de API, ambiente: de 65% a 67%. Código com padrão claro e pouca regra de negócio, ela resolve bem.

Segundo, onde ela trava. Tudo que envolve regra escondida falha feio. Cálculo de imposto: 3,1%. Migração de agendamento de cobrança: 14,1%. Medição de armazenamento: 10,9%. Isso é o crivo do nosso dia a dia.

Terceiro, como ela falha. A causa número um é requisito perdido. O agente entrega código que compila, que passa no teste, e não faz o que foi pedido. Depois vem premissa não verificada: o modelo assume coisa que ele não checou.

Há um dado que resume tudo. Em execuções de menos de 10 minutos, 71,4% falharam. Em execuções mais longas, 73,4%. Ou seja: dar mais tempo não conserta o problema de contexto.

E o custo real por tentativa vai de US$ 2,50 a US$ 6,96. É o preço do ingresso pra confiar nisso em produção. E ainda assim é barato demais pra não testar.

O Método das 5 Tarefas

Benchmark de laboratório é propaganda. Benchmark no seu código é dado.

Criei um jeito simples de rodar o seu. Chamo de Teste das 5 Tarefas. São cinco passos, uma tarde de trabalho, e no fim você sai com um número honesto.

Passo 1. Pegue 5 tickets reais. Escolha tarefas que dão dinheiro ou segurança: cobrança, cadastro, relatório, permissão. Copie o texto original, sem resumir. O agente não pode ler a versão "otimizada" do problema.

Passo 2. Monte o ambiente do time. Use o CLI do agente dentro do seu repositório, com seus testes e seu CI. Não é demo. É o ambiente real.

Passo 3. Rode cada tarefa 3 vezes. Agentes são estocásticos. Três execuções por tarefa dão uma noção de consistência sem estourar o orçamento.

Passo 4. Classifique a falha. Se o teste não passou, não é "não deu". É uma de cinco categorias: requisito perdido, premissa não verificada, erro de integração, regressão ou arquivo errado. Anote.

Passo 5. Leia o número como teto. Se aprovou 2 de 5, o teto do que essa IA resolve no seu código hoje é uns 40% dos seus tickets. O resto é trabalho humano.

Como aplicar hoje

Você não precisa de permissão de ninguém.

Reserve uma tarde. Abra o backlog, escolha os 5 tickets, cole o texto verbatim num documento. Pegue o agente que você já tem ou o teste da ferramenta que quer assinar.

Rode as 15 execuções (5 tarefas x 3 vezes). Cada uma custa entre US$ 2,50 e US$ 6,96. Total do teste: algo entre US$ 40 e US$ 100. Uma licença enterprise custa muitas vezes isso.

Classifique cada falha na planilha. No fim, responda duas perguntas: em que tipo de tarefa ele resolve? em que tipo ele sempre erra?

Aí você escolhe. IA pro subset de tickets que funcionam, e revisão humana no resto. Não o contrário.

Quem já roda teste parecido no próprio código costuma confirmar o dado do Real-SWE. A discussão no Hacker News sobre o benchmark está cheia de relatos assim. E há uma lição ali: quanto mais o seu projeto parece CRUD, maior a chance de sucesso. App novo com 80% de boilerplate é onde nasce o "10x". A manutenção de código legado com regra de negócio é onde o número despenca.

Resultados esperados

Vou ser honesto sobre o que vai acontecer.

Na maioria das empresas, o número fica abaixo do benchmark. Sistema legado carrega década de regra implícita escrita em lugar nenhum. Agente nenhum adivinha isso.

Onde você ganha logo: código novo, padrão bem estabelecido, refactor, boa cobertura de teste. Nessas áreas, o agente é o dev júnior perfeito.

Onde você vai perder o sono: regra de negócio crítica, mudança que cruza vários serviços, migração de dados. Lembra dos 11 arquivos da referência? É essa a complexidade real.

E ajuste o sonho de produtividade. Quem conta o "10x" esquece de contar a parte chata da manutenção. A curva cai quando você precisa manter o que o agente escreveu.

Isso não é pessimismo. É prevenir compra por propaganda. Aliás, se quiser decidir com números, dois textos meus ajudam: como medir o ROI de IA no desenvolvimento e as 4 travas antes de deixar um agente tocar código.

Perguntas rápidas

Isso quer dizer que IA não serve pra programar?

Serve pra uma fatia disso. Código novo, boilerplate, padrão claro: ela entrega. Negócio crítico com regra escondida: não sozinha. O Real-SWE mostra que o teto real dos mais fortes é 38,8% em tarefas difíceis. O resto é especificação e revisão humana.

O que é pass@1?

É a chance de o agente acertar de primeira, sem você pedir correção. O benchmark roda cada tarefa 8 vezes por modelo e reporta a média. Na empresa você não tem 8 chances: cada rodada custa e o tempo passa. Por isso o pass@1 importa.

Quanto custa testar na minha empresa?

Entre US$ 40 e US$ 100 de execução (15 rodadas a US$ 2,50 a 6,96) mais algumas horas de setup. Barato comparado a um piloto mal desenhado ou a uma assinatura enterprise que não entrega.

Qual agente devo assinar?

Nenhum com base em benchmark público. Rode o Teste das 5 Tarefas. O ranking muda conforme o seu código: o que rende 29% numa empresa não garante nada no seu monolito de 15 anos.

Meu time de devs vai sumir?

Não. A falha número um é requisito perdido: o agente entrega confiante e errado. Alguém precisa especificar bem, revisar e integrar. O dev vira revisor e arquiteto. A Accenture precisou de 1.000 engenheiros embarcados pra agente funcionar, e o gargalo não era o modelo.

No fim do dia

O Real-SWE virou meu benchmark favorito porque ele mexe no que importa: o seu código, não o deles.

O primeiro colocado acertou 38,8%. Não é vergonha. É uma régua. Agora você sabe quanto custa cada tentativa e onde a IA falha quando o código é de verdade.

O próximo passo é simples: rode o Teste das 5 Tarefas antes de assinar qualquer coisa. E se quiser estrutura pra separar hype de resultado na sua empresa, falo sobre isso em palestras e em consultoria.