A IA sabe escolher uma boa ideia? O alerta do TASTE

Eu usaria a IA para comparar propostas, mas só delegaria a escolha depois de testar seu julgamento naquele tipo de decisão. O TASTE, uma pesquisa sobre avaliação de ideias em segurança de IA, mostra por que escrever uma análise convincente e reconhecer a melhor proposta precisam de verificações separadas.

Imagine uma reunião de inovação. Há duas propostas na mesa, pouco tempo para decidir e um assistente capaz de produzir uma justificativa elegante para qualquer uma delas. Minha pergunta seria simples: ele percebeu a diferença importante ou apenas gostou da apresentação?

Três pontos para levar à próxima conversa com o time:

• O critério de escolha precisa existir antes da nota dada pela IA.
• Concordar com especialistas é uma medida útil, mas não garante resultado futuro.
• Uma divergência pode revelar um erro da ferramenta ou uma dúvida legítima da própria equipe.

Em uma frase

O TASTE investiga julgamento de pesquisa; minha aplicação para líderes é testar quem escolhe as ideias com o mesmo cuidado dedicado a quem as produz.

Qual pergunta o TASTE tenta responder?

No artigo de 28 de agosto de 2026, Hasan Baig, Hailey Joren e Joe Benton perguntam se modelos conseguem identificar as propostas de segurança de IA preferidas por pesquisadores experientes. Baig participou do Anthropic Fellows Program; Joren e Benton são da Anthropic.

O conjunto final contém 92 comparações entre pares de propostas. O melhor resultado reportado, do Fable 5, foi 60%, diante de uma concordância humana estimada de 77%. São medidas nesse teste, não taxas universais de acerto de empresas ou pessoas.

Os autores partiram de avaliações individuais, promoveram discussões entre pesquisadores e filtraram julgamentos com confiança alta e diferenças claras de nota. A comparação humana é aproximada: em parte dos pares, combina notas de pessoas diferentes. Os intervalos dos modelos são amplos, perto de dez pontos percentuais para mais ou para menos. Por isso, pequenas diferenças não sustentam um ranking firme.

Minha leitura é que a pergunta vale mais que a corrida pelo primeiro lugar. Quando o trabalho depende de discernimento, a referência precisa ser construída com cuidado.

Como foi construído o teste e onde ele termina?

O relatório técnico que acompanha o artigo detalha a coleta: dez pesquisadores avaliaram propostas geradas com Opus 4.6. A geração produziu 135 propostas; o benchmark final usa 50 delas. O protocolo separou avaliação inicial, conversa em pares e revisão das notas.

Os participantes tinham experiência de seis meses a quatro anos em segurança de IA. O teste mede preferência sobre planos de pesquisa, sem acompanhar sua execução até um resultado científico. A distribuição de propostas e os filtros também limitam a generalização. Não confirmei revisão por pares nem replicação independente nesta consulta.

Li integralmente o artigo de divulgação e consultei as seções metodológicas do relatório. Não reproduzi o experimento. A Anthropic pesquisa e vende modelos, um interesse institucional relevante para interpretar a publicação.

Isso me impede de transformar o resultado numa frase como “a IA não sabe avaliar projetos”. O estudo examinou uma tarefa especializada. Comprar software, escolher uma campanha e financiar uma pesquisa são decisões diferentes.

Isso contradiz a ideia de usar IA como avaliadora?

Não necessariamente. O trabalho Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, apresentado no NeurIPS 2023, encontrou concordância elevada entre avaliadores automáticos e preferências humanas em seus testes de conversação. Também discutiu vieses ligados à posição das respostas, ao tamanho do texto e à preferência por saídas do próprio modelo.

Esse é um contraponto útil: uma ferramenta pode avaliar bem respostas de conversa e ter dificuldade para escolher um plano de pesquisa. Competência precisa ser demonstrada no domínio em que será usada.

Na orientação técnica Demystifying evals for AI agents, de janeiro de 2026, a Anthropic recomenda combinar verificações por código, modelos e pessoas conforme a tarefa. Avaliadores baseados em modelos precisam de calibração humana. A orientação também separa o relato do agente do estado realmente produzido no ambiente.

Eu levaria essa distinção para uma reunião: a justificativa pode estar bem escrita, mas alguém ainda precisa conferir os fatos, a escolha e a consequência. É uma extensão prática da discussão sobre avaliação de agentes de IA.

Minha análise: antes de dar uma nota, descubra o que decide

Eu começaria por duas fichas de projeto, com o mesmo espaço para problema, público, evidência, custo e próximo teste. O objetivo seria reduzir a influência da embalagem e tornar visível o motivo da escolha.

Pense num exemplo hipotético. Uma proposta promete um assistente para todas as áreas, mas não identifica quem usaria primeiro. Outra propõe ajudar uma equipe a localizar cláusulas em documentos autorizados, com responsável pelo piloto e um conjunto de perguntas que já causa retrabalho. A primeira pode soar maior. A segunda pode ser mais fácil de avaliar.

Eu não mandaria a IA premiar automaticamente o projeto menor. Uma ideia ambiciosa pode ser excelente. Pediria que ela mostrasse qual premissa sustenta cada proposta e qual evidência falta para decidir. Essa resposta informa mais que um oito ou nove sem explicação.

Há três julgamentos diferentes nessa conversa:

• Coerência: o plano responde ao problema que declara resolver?
• Sustentação: há evidência para suas premissas ou apenas frases persuasivas?
• Prioridade: mesmo funcionando, esse projeto merece atenção agora?

Uma proposta pode passar nas duas primeiras perguntas e perder na terceira. Talvez resolva algo pouco relevante para a estratégia. Se a liderança não explicitou essa prioridade, a IA terá de inventar um peso ou adivinhar a preferência de quem perguntou.

O trabalho mais valioso pode acontecer antes da automação: descobrir que os líderes estavam usando a palavra “melhor” com sentidos diferentes. Um pensava em prazo. Outro, em diferenciação. Outro, em reduzir risco. A nota escondia o desacordo.

Como eu faria um teste na próxima semana?

Eu escolheria uma decisão frequente e de consequência limitada, como selecionar propostas para uma conversa exploratória. Separaria um pequeno conjunto de casos anteriores autorizados para uso, retirando dados sensíveis e informações que revelassem quem ganhou.

Duas pessoas avaliariam as fichas separadamente, com critérios escritos. A IA receberia o mesmo material. Só depois eu compararia escolhas e justificativas. Isso evita que a resposta automática conduza a avaliação humana desde o começo.

Registraria o tempo gasto, os fatos lidos incorretamente e as divergências que mudariam a seleção. A quantidade inicial de casos seria uma escolha de piloto, sem pretensão de significância estatística. Seu papel seria encontrar falhas concretas antes de aumentar o uso.

Eu também trocaria a ordem das fichas. Se a preferência mudasse só porque uma proposta apareceu primeiro, investigaria o motivo. Em outra rodada, padronizaria o tamanho dos textos, mantendo os fatos. Esse procedimento é minha sugestão de aplicação, não uma replicação do TASTE.

A comparação teria três saídas possíveis: concordância com justificativa sustentada, discordância útil e erro material. Na discordância útil, a IA aponta um risco ou premissa que a equipe reconhece como relevante. No erro material, inventa uma evidência, ignora uma restrição explícita ou atribui à proposta algo que ela não diz.

Eu manteria a ferramenta como apoio se ela ajudasse a preparar a conversa sem elevar o esforço de conferência. Reduziria seu papel se erros materiais tornassem a revisão mais cara. A escolha final continuaria com uma pessoa responsável enquanto o julgamento não tivesse sido demonstrado no uso pretendido.

Que sinal me faria mudar de opinião?

Eu aumentaria a confiança se a ferramenta preservasse os critérios em casos novos, reconhecesse informação insuficiente e produzisse divergências que sobrevivessem à checagem dos fatos. Também gostaria de ver estabilidade quando nomes e ordem fossem alterados.

Mas não usaria a concordância como único objetivo. Um avaliador que apenas imita decisões antigas pode conservar os mesmos pontos cegos. Por isso, acompanharia o que acontece depois: quais propostas selecionadas avançam para um teste útil e quais são abandonadas por uma premissa que já poderia ter sido questionada.

Esse acompanhamento exige tempo. Ele conecta a seleção ao uso de IA que chega a um resultado, sem atribuir sucesso a uma nota bonita. Eu prefiro uma ferramenta que me ajude a enxergar uma dúvida relevante a uma que transforme qualquer plano numa recomendação confiante.

Perguntas rápidas

Posso usar IA para comparar propostas na empresa?

Eu usaria como apoio, com critérios explícitos, fontes autorizadas e checagem de fatos. Antes de delegar a escolha, testaria a ferramenta em casos do mesmo tipo e registraria erros que mudariam a decisão.

Qual é a diferença entre discordância útil e erro?

Discordância útil traz uma razão verificável que merece discussão. Erro envolve informação inventada, leitura incorreta ou desrespeito a uma restrição. A equipe precisa examinar o motivo, não apenas contar votos iguais.

Preciso criar um benchmark grande para começar?

Um piloto pequeno pode revelar problemas óbvios e ajudar a escrever critérios. Ele não prova confiabilidade geral. A ampliação deve depender de novos casos, consequências e capacidade de revisão.

Vale ler a obra original?

Sim, especialmente para quem desenha avaliações de pesquisa ou usa modelos como juízes. O artigo explica a pergunta e os limites; o relatório aprofunda a construção do conjunto de dados. A aplicação empresarial exige validação própria.

Fontes e data de corte

Consulta realizada em 11 de setembro de 2026. A obra principal é o artigo TASTE, de 28 de agosto, lido integralmente. O relatório técnico foi consultado para método e amostra; MT-Bench e a orientação de avaliações fornecem contexto, sem constituir replicações do estudo. Os exemplos empresariais e o teste com fichas são propostas minhas, não resultados medidos.

A liderança continua responsável por definir o que merece atenção. Se essa discussão já apareceu no seu time, conheça minhas palestras sobre inteligência artificial. Eu levo esse tipo de pergunta para conversas sobre decisões, trabalho e aplicação da tecnologia. Para acompanhar outras análises, assine minha newsletter no Substack.