Mixture of Experts: a central que chama poucos especialistas

O ponto prático é este: um número enorme de parâmetros totais não diz sozinho quanto trabalho uma resposta exige. Para comparar um modelo MoE com um modelo denso, eu olharia parâmetros ativos, memória, latência, qualidade e custo na tarefa real.

Em uma frase

Mixture of Experts é uma arquitetura esparsa em que uma rede de roteamento encaminha cada token a poucos submodelos aprendidos, combina suas saídas e deixa os demais inativos naquele passo.

Pense no MoE como uma central de atendimento

Imagine uma central com 32 mesas. Cada cartão que chega passa primeiro por uma pessoa na triagem. Ela não envia o cartão para todas as 32 mesas. Escolhe duas ou quatro, reúne as respostas e libera o trabalho.

A central ganha capacidade porque mantém equipes diferentes disponíveis sem mobilizar o prédio inteiro para cada pedido. Um cartão sobre cobrança pode seguir por um caminho; outro, com uma estrutura diferente, pode seguir por outro.

A metáfora ajuda a entender seleção e economia de cálculo. Ela deixa de funcionar se você imaginar especialistas humanos com cargos claros. Num modelo MoE, um “expert” normalmente é uma pequena rede neural aprendida. Não há garantia de que exista uma mesa chamada matemática, outra chamada português e uma terceira chamada contratos.

Como o Mixture of Experts funciona passo a passo?

Um Transformer comum tem blocos que processam todos os tokens com os mesmos parâmetros. Num MoE esparso, algumas camadas densas de alimentação direta são substituídas por vários experts.

O fluxo simplificado acontece assim:

1. O modelo transforma um token em uma representação numérica.
2. Um roteador calcula quais experts parecem mais adequados para essa representação.
3. Apenas os k experts escolhidos, por exemplo dois entre oito, processam o token.
4. O sistema combina as saídas usando os pesos definidos pelo roteador.
5. As demais partes do Transformer continuam o processamento até a previsão do próximo token.

A documentação atual do Hugging Face Transformers sobre backends de experts resume a operação da mesma forma: o roteador seleciona k experts por token, cada expert projeta o estado recebido e as saídas são agregadas com pesos de roteamento.

Essa ativação seletiva é chamada de esparsidade. O modelo guarda uma capacidade total maior, mas não usa todos os parâmetros em cada passagem.

Um exemplo simples do dia a dia

Considere a frase “O cliente pediu a segunda via da fatura”. O modelo divide o texto em tokens. Cada token pode seguir para experts diferentes, porque o roteamento usa sua representação naquele ponto da sequência, não apenas uma etiqueta fixa para a frase inteira.

Isso também explica um erro comum: dizer que um expert “sabe finanças”. Pesquisadores conseguem observar padrões de roteamento, mas os experts podem dividir habilidades de modo menos intuitivo. Um mesmo expert pode receber tokens de idiomas, formatos ou contextos diferentes. O nome “especialista” descreve a divisão do cálculo, não um organograma pronto para leitura humana.

Como isso aparece dentro de uma empresa?

Imagine uma empresa escolhendo um modelo para resumir chamados, classificar risco e redigir respostas. Um modelo MoE aparece com 100 bilhões de parâmetros totais e 12 bilhões ativos por token. Outro modelo denso tem 20 bilhões e usa todos em cada token.

O número total pode sugerir que o primeiro sempre será mais caro. O número ativo pode sugerir que ele sempre será mais rápido. As duas conclusões são apressadas.

Eu rodaria as mesmas 200 tarefas representativas nos dois modelos. Mediria qualidade aceita por revisores, tempo até o primeiro token, tempo total, memória necessária, requisições simultâneas e custo por resposta aprovada. Também repetiria o teste com o tamanho real dos prompts, porque contexto, KV cache e concorrência mudam a operação.

Esse piloto separa capacidade arquitetural de resultado empresarial. Um MoE pode oferecer uma boa relação entre qualidade e cálculo ativo, mas exigir hardware caro apenas para manter todos os pesos disponíveis. Também pode pagar um pedágio de comunicação quando experts ficam distribuídos em várias GPUs.

MoE não é a mesma coisa que modelo denso, roteador de modelos ou agente

Modelo denso: usa o mesmo conjunto principal de parâmetros para cada token. É mais simples de servir e entender, embora possa gastar mais cálculo por token quando comparado a um MoE de capacidade total semelhante.

Mixture of Experts: escolhe alguns experts internos por token. O roteamento faz parte da arquitetura e foi aprendido junto com o modelo.

Roteador entre modelos: escolhe um modelo completo para uma solicitação, como enviar uma pergunta simples a um modelo barato e uma análise difícil a outro. A decisão costuma acontecer por pedido, não dentro de cada camada para cada token.

Agente com ferramentas: decide se consulta um banco, abre um arquivo ou chama uma API. Isso é uma ação de produto ou workflow. Não é o mesmo que escolher experts internos durante a inferência, etapa que explico melhor no artigo sobre o que é inferência em IA.

Quando vale usar e quando não vale?

MoE faz sentido quando o objetivo é aumentar a capacidade do modelo sem ativar todos os parâmetros para cada token. A arquitetura foi usada para escalar treinamento e inferência com cálculo esparso. O paper Switch Transformers mostrou modelos grandes selecionando parâmetros diferentes por entrada e discutiu os ganhos, a instabilidade de treinamento e o custo de comunicação.

Eu não escolheria MoE apenas pelo tamanho anunciado. No uso local, todos os experts podem precisar ficar na memória mesmo quando poucos são ativados. O guia do Hugging Face sobre Mixture of Experts destaca justamente esse contraste: inferência pode usar menos cálculo do que um modelo denso com o mesmo total de parâmetros, mas a memória de vídeo continua pressionada porque os pesos precisam estar disponíveis.

Também não trataria a arquitetura como garantia de velocidade. O ganho depende dos kernels, do lote, do hardware, da distribuição dos experts e da comunicação entre dispositivos. A documentação de 2026 do Transformers sobre MoEs mostra que backends diferentes vencem em cargas pequenas ou grandes. A implementação importa tanto quanto o diagrama.

Onde a metáfora deixa de funcionar?

Uma central humana costuma encaminhar um caso inteiro para uma área. Num MoE de linguagem, o roteamento pode acontecer token por token e em várias camadas. Partes vizinhas da mesma frase podem ativar combinações diferentes.

Outra diferença é o equilíbrio. Se o roteador mandar tokens demais aos mesmos experts, alguns ficam sobrecarregados e outros aprendem pouco. Técnicas de balanceamento tentam evitar esse colapso, mas adicionam decisões de treinamento. O paper Expert Choice Routing descreve como roteamento desequilibrado pode causar ineficiência e especialização inadequada.

Por fim, expert inativo não significa peso inexistente. O modelo economiza multiplicações naquele token, mas armazenamento, carregamento e movimentação de dados continuam relevantes. É por isso que quantização de IA pode ser combinada com MoE para reduzir memória, sem resolver automaticamente o custo de roteamento.

Minha análise: as quatro contas antes de escolher um MoE

Minha leitura é que “parâmetros ativos” é um dado útil, mas ainda não é uma decisão. Eu faria quatro contas.

Qualidade: a resposta passa no critério humano da tarefa? Capacidade total só importa quando vira resultado melhor.

Ativos: quantos parâmetros e experts trabalham por token? Isso aproxima o cálculo necessário, mas não captura toda a arquitetura.

Memória: quanto hardware é preciso para manter o modelo, o contexto e as conversas simultâneas? O peso que dorme ainda ocupa espaço.

Operação: qual é a latência e o custo por resposta aceita sob a concorrência real? Comunicação entre GPUs, filas e implementação podem mudar o vencedor.

Eu só aprovaria um MoE quando as quatro contas fechassem juntas. Se a qualidade sobe, mas a memória torna o deploy inviável, o modelo não cabe na empresa. Se o cálculo ativo cai, mas a latência piora por comunicação, a vantagem ficou no papel. Arquitetura boa é a que melhora a entrega dentro do limite de custo e risco.

Perguntas rápidas

O que significa MoE em inteligência artificial?

MoE significa Mixture of Experts, ou mistura de especialistas. É uma arquitetura em que um roteador escolhe uma pequena parte dos submodelos disponíveis para processar cada token. As saídas escolhidas são combinadas, enquanto os demais experts ficam inativos naquele passo.

Um expert é especializado em matemática ou programação?

Não necessariamente. Experts são redes aprendidas, e sua especialização pode não corresponder a categorias humanas claras. Alguns padrões surgem durante o treinamento, mas chamar um bloco de “especialista em código” sem análise específica é uma simplificação que pode enganar.

Um modelo MoE sempre é mais rápido que um modelo denso?

Não. Ele pode ativar menos parâmetros por token, mas velocidade também depende de hardware, memória, lote, kernels e comunicação entre dispositivos. Compare latência e vazão na carga real. O total de parâmetros e o número de parâmetros ativos, isoladamente, não garantem o resultado.

Por que um MoE ainda precisa de muita memória?

Porque os experts que podem ser selecionados precisam estar armazenados e disponíveis. Mesmo quando apenas alguns calculam um token, os outros pesos continuam ocupando memória ou precisam ser buscados em outro dispositivo, o que pode adicionar latência.

MoE reduz a qualidade da resposta?

Não existe uma resposta única. A arquitetura é treinada para aprender o roteamento e pode alcançar boa qualidade com cálculo esparso. Problemas de balanceamento, treinamento ou implementação podem prejudicar o resultado. A comparação correta usa tarefas representativas e avaliação humana, não apenas benchmarks gerais.

Fontes e data de corte

Dados e documentação consultados até 26 de agosto de 2026:

• Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
• Hugging Face Transformers: Experts backends
• Hugging Face: Mixture of Experts Explained
• Hugging Face: Mixture of Experts in Transformers, atualização de 2026
• Mixture-of-Experts with Expert Choice Routing

Eu acompanho arquiteturas como Mixture of Experts porque números grandes só ajudam quando alguém traduz capacidade em custo, experiência e decisão. Se você quer levar essa conversa para líderes e equipes, conheça minhas palestras sobre inteligência artificial. Se prefere receber uma análise como esta toda semana, assine minha newsletter no Substack.