Ministério Público Federal

O Mecanismo de Atenção

Orçamento fixo, soma zero, diluição inevitável

Como funciona
Cada token faz três perguntas simultâneas: "O que eu procuro?" (query), "O que eu ofereço?" (key) e "Qual informação carrego?" (value). O modelo compara queries com keys — quanto maior a compatibilidade, mais atenção. Depois, faz uma média ponderada dos values.
🏛️ Sala de reunião: cada participante tem uma pergunta (query), uma expertise (key) e uma informação (value). Quem pergunta olha ao redor e presta mais atenção em quem tem expertise relevante.

Clique num token para ver seu padrão de atenção ↓

Token selecionado (query) Recebe atenção (key+value) Espessura da seta = peso da atenção
A restrição fundamental
A atenção total que cada token distribui sempre soma exatamente 100%. Isso é imposto pela função softmax. Não importa se o contexto tem 10 ou 10.000 tokens — o orçamento total é o mesmo. Atenção é soma zero: cada token que recebe mais atenção tira de outro.
💰 Orçamento financeiro fixo: você tem R$ 100 para distribuir. Com 5 fornecedores, cada um recebe R$ 20. Com 100 fornecedores, cada um recebe R$ 1. O total não muda.
8
A consequência
À medida que o contexto cresce, a atenção para cada informação relevante diminui. O modelo não fica "mais burro" — fica mais distraído. Adicionar contexto "por via das dúvidas" tem custo real: dilui a atenção sobre o que importa.
🏛️ Reunião com 5 pessoas: todos são ouvidos. Assembleia com 200: a maioria é ruído. O tempo da sessão (orçamento) não mudou — o número de vozes competindo é que explodiu.
20 tokens
Insight Operacional −

Janela de contexto grande não é sinônimo de compreensão profunda. Cada token adicionado ao contexto não soma informação — redistribui um orçamento fixo de atenção. O melhor contexto não é o maior; é o mais denso em relevância.