Como funciona
Cada token faz três perguntas simultâneas:
"O que eu procuro?" (query),
"O que eu ofereço?" (key) e
"Qual informação carrego?" (value).
O modelo compara queries com keys — quanto maior a compatibilidade, mais atenção. Depois, faz uma média ponderada dos values.
🏛️ Sala de reunião: cada participante tem uma pergunta (query), uma expertise (key) e uma informação (value). Quem pergunta olha ao redor e presta mais atenção em quem tem expertise relevante.
Clique num token para ver seu padrão de atenção ↓
Token selecionado (query)
Recebe atenção (key+value)
Espessura da seta = peso da atenção
A restrição fundamental
A atenção total que cada token distribui sempre soma exatamente 100%.
Isso é imposto pela função softmax. Não importa se o contexto tem 10 ou 10.000 tokens — o orçamento total é o mesmo.
Atenção é soma zero: cada token que recebe mais atenção tira de outro.
💰 Orçamento financeiro fixo: você tem R$ 100 para distribuir. Com 5 fornecedores, cada um recebe R$ 20. Com 100 fornecedores, cada um recebe R$ 1. O total não muda.
A consequência
À medida que o contexto cresce, a atenção para cada informação relevante diminui.
O modelo não fica "mais burro" — fica mais distraído.
Adicionar contexto "por via das dúvidas" tem custo real: dilui a atenção sobre o que importa.
🏛️ Reunião com 5 pessoas: todos são ouvidos. Assembleia com 200: a maioria é ruído. O tempo da sessão (orçamento) não mudou — o número de vozes competindo é que explodiu.