IA local em 5 testes antes de gastar com nuvem

TL; DR

• Eu mostro quando IA local deixa de ser brinquedo de nerd e vira decisão de negócio.
• Eu uso GLM 5.2, Ollama e Mac Studio como sinal prático, não como religião tecnológica.
• Eu deixo 5 testes simples para você decidir entre rodar modelo local, usar API na nuvem ou misturar os dois.

O Problema

Eu vi a mesma cena três vezes nesta semana: founder abrindo X, lendo sobre GLM 5.2 e perguntando se agora precisa montar uma "mini OpenAI" dentro da empresa.

Eu entendo a tentação. Jeremy Howard chamou atenção para o GLM 5.2 como algo no nível de modelos fechados caros, usuários relataram versões quantizadas rodando em Mac Studio e a Ollama precisou dobrar capacidade para aguentar demanda.

Eu olho para isso e penso: ótimo sinal, péssima conclusão.

Eu não compro servidor porque o benchmark ficou bonito. Eu compro infraestrutura quando ela resolve custo, privacidade, latência ou dependência de fornecedor.

IA local parece barata porque ninguém manda boleto por token. Mas eu já vi "barato" virar uma máquina de R$ 60 mil parada, um dev cuidando de driver, além de um time usando ChatGPT escondido porque o modelo local era lento.

O ponto para founder não é baixar GLM 5.2 por curiosidade. O ponto é ter uma regra simples para saber quando IA local faz sentido no negócio.

Se você ainda está escolhendo ferramenta de IA sem critério, eu recomendo antes ler meu checklist de IA antes de comprar software. Ele evita muita compra emocionada.

O Framework / Método

1. Eu testo se o dado tem permissão para sair de casa

Eu começo pela pergunta chata: esse dado tem permissão para ir para uma API externa?

Se a resposta for "não sei", eu trato como "ainda não". Dado de contrato, prontuário, jurídico, código proprietário, proposta estratégica e base de cliente sensível não entram no mesmo balde de um texto de LinkedIn.

IA local faz sentido quando o risco de mandar contexto para fora é maior que o custo de manter o modelo perto.

Exemplo simples: eu não preciso rodar modelo local para reescrever uma bio. Mas eu escolheria modelo local para analisar milhares de contratos com cláusulas confidenciais.

Minha regra: se o dado daria reunião com jurídico caso vazasse, eu testo IA local antes de mandar para nuvem.

2. Eu comparo custo por tarefa, não custo por token

Eu não comparo "API custa X" contra "Ollama é grátis". Isso é conta de planilha que mente sorrindo.

Eu comparo tarefa pronta.

Quanto custa resumir 10 mil tickets por mês na nuvem? Quanto custa comprar máquina, manter modelo, atualizar pesos, monitorar erro e pagar gente para operar?

Se a API custa R$ 2 mil por mês e o setup local exige R$ 50 mil mais tempo técnico, eu preciso de motivo forte para fazer isso.

Mas se eu tenho volume alto, tarefa repetida e dado previsível, a conta muda. Aí IA local vira energia solar: cara no começo, barata depois que roda todo dia.

Minha regra: eu só considero IA local quando a tarefa roda toda semana, em volume suficiente para pagar a complexidade.

3. Eu testo latência no fluxo real

Eu não pergunto se o modelo é inteligente. Eu pergunto se ele responde no tempo que o trabalho aceita.

Um modelo local consegue ser ótimo e ainda ser inútil se demora 90 segundos para uma resposta que o vendedor precisa em 5.

Também existe o oposto. Para rodar análise noturna, classificar documentos ou preparar relatório de madrugada, eu aceito lentidão se o custo cair e o dado ficar protegido.

Mac Studio rodando modelo quantizado é um sinal interessante. Mas sinal não é SLA.

Minha regra: se a tarefa acontece em tempo real com cliente esperando, eu testo latência antes de me apaixonar pelo modelo.

4. Eu verifico qualidade com exemplos da empresa

Eu não confio em ranking quando minha tarefa é específica.

GLM 5.2 consegue ir muito bem em coding benchmark e ainda errar o tom de uma proposta comercial no Brasil. GPT 5.5 pode parecer mágico e ainda inventar dado se o prompt for ruim.

Eu pego 30 exemplos reais: tickets antigos, propostas, contratos, trechos de código, relatórios, dúvidas de cliente. Depois eu rodo o mesmo teste em modelo local e em nuvem.

Eu registro três coisas: acerto, tempo e retrabalho humano.

Se o modelo local acerta 85% com revisão leve e custa muito menos, eu tenho conversa. Se acerta 60% e exige babá, eu tenho hobby.

Minha regra: sem teste com dado real, eu não tenho decisão. Eu tenho torcida.

5. Eu separo autonomia de vaidade técnica

Eu gosto de tecnologia. Justamente por isso eu desconfio dela.

Rodar IA local dá sensação de controle. Você vê o modelo na sua máquina, o terminal responde, a equipe técnica fica animada. Parece poder.

Mas autonomia de verdade é outra coisa: conseguir trocar fornecedor, proteger dado, manter custo previsível e continuar operando se uma API cair ou ficar cara.

Se IA local não aumenta nenhuma dessas quatro coisas, talvez você só tenha comprado um brinquedo com ventoinha.

Minha regra: IA local precisa reduzir dependência real. Se só aumenta complexidade, eu passo.

Como aplicar hoje

Eu faria um teste simples com Ollama, porque ele virou o caminho mais curto para experimentar modelos open weights sem montar laboratório.

Primeiro, eu instalaria o Ollama no Mac ou em uma máquina dedicada. Depois, eu rodaria um modelo menor para validar o fluxo, antes de tentar um modelo gigante como GLM 5.2.

ollama run llama3.1:8b

Eu usaria uma tarefa real, pequena e repetida. Por exemplo: resumir chamados de suporte, classificar leads, revisar políticas internas ou transformar reunião em lista de riscos.

Eu criaria uma planilha com 30 entradas reais e quatro colunas: resposta da nuvem, resposta local, nota humana e tempo de resposta.

Depois eu rodaria o mesmo prompt nos dois ambientes.

ollama run glm-5.2

Eu só tentaria GLM 5.2 completo se a máquina aguentasse. Se não aguentasse, eu testaria uma versão quantizada ou um modelo menor, porque o objetivo não é provar masculinidade computacional.

Eu mediria cinco números: custo por 1.000 tarefas, tempo médio de resposta, taxa de revisão humana, taxa de erro grave e esforço técnico semanal.

Se você está montando agentes de IA, eu conectaria esse teste ao desenho operacional que expliquei em agentes de IA nas empresas. Modelo sozinho não faz processo.

Se o CFO precisa aprovar, eu transformaria o teste em piloto de 30 dias com critério de corte. Eu detalhei esse raciocínio em piloto de IA que o CFO aprova.

Resultados esperados

Eu esperaria três cenários.

No cenário ruim, IA local fica 30% a 60% mais lenta, exige ajuste técnico toda semana e não reduz custo total. Eu mataria o projeto sem dó.

No cenário médio, IA local funciona para tarefas internas em lote, como resumo, classificação e busca em documentos. Eu deixaria local para backoffice e manteria nuvem para uso crítico.

No cenário bom, IA local reduz 40% a 70% do custo variável em uma tarefa repetida, mantém qualidade aceitável e diminui risco de dado sensível sair da empresa.

Eu não venderia milagre. Eu venderia disciplina.

Para uma empresa pequena, um piloto decente pode custar de R$ 5 mil a R$ 20 mil em tempo técnico e máquina emprestada ou já existente.

Para uma empresa maior, um setup sério passa fácil de R$ 50 mil a R$ 150 mil quando entra hardware, segurança, monitoramento e gente.

Por isso eu gosto do teste. Ele impede a empresa de gastar seis dígitos para descobrir que uma API de R$ 800 por mês resolvia.

FAQ

IA local é sempre mais barata que IA na nuvem?

Eu diria que não. IA local só fica barata quando existe volume, repetição e pouco retrabalho humano.

Se o time técnico vira suporte de modelo, o custo escondido come a economia.

GLM 5.2 substitui GPT 5.5 ou Claude Opus 4.8?

Eu não trataria assim. GLM 5.2 é um sinal forte de que modelos open weights estão chegando perto em tarefas importantes, especialmente coding.

Mas eu decidiria por tarefa real, não por manchete. Benchmark não assina contrato, não atende cliente e não toma bronca do board.

Qual empresa deveria começar por IA local?

Eu começaria por empresa com dado sensível, volume alto, tarefa repetida e time técnico mínimo para operar.

Se falta tudo isso, eu começaria com API na nuvem e governança simples.

Posso rodar IA local em um Mac Studio?

Eu testaria, sim, especialmente com modelos quantizados. Mas eu não prometeria desempenho sem medir memória, tamanho do modelo, velocidade e qualidade.

Rodar é uma coisa. Rodar bem, com custo menor e resultado confiável, é outra.

O que eu faria primeiro amanhã?

Eu escolheria uma tarefa recorrente, pegaria 30 exemplos reais e compararia nuvem contra local por 7 dias.

Se o modelo local não ganhar em custo, privacidade ou independência, eu não escalaria.

Conclusão

Eu gosto da nova onda de modelos open weights porque ela devolve poder de escolha para quem constrói empresa.

Mas eu não confundiria escolha com obrigação.

IA local não é troféu. É ferramenta. E ferramenta boa é a que resolve o trabalho com menos custo, menos risco e menos dependência.

Antes de gastar com nuvem ou comprar máquina, use os 5 testes: dado, custo, latência, qualidade e autonomia.

Se passar, eu colocaria em piloto. Se falhar, eu seguiria com nuvem sem culpa.

Meu CTA é simples: escolha uma tarefa repetida da sua empresa hoje e rode esse teste por 7 dias. Se você não consegue medir, você ainda não está decidindo sobre IA. Está fazendo turismo tecnológico.