Ministério Público Federal

Context Rot

A degradação que afeta todos os LLMs — e como reconhecê-la

A mesma informação, resultados diferentes
Context rot é a degradação progressiva da qualidade das respostas à medida que o contexto se torna mais longo ou complexo. Não é um bug — é uma propriedade estrutural de como todos os LLMs processam informação.

A mesma pergunta, com a mesma informação, produz resultados diferentes dependendo de onde a informação está no contexto e de quanto contexto existe ao redor.
⚖️ Uma prova pericial enterrada nos autos. Se está na primeira página ou na última, o magistrado a encontra. Se está no volume 7 de 15, pode ser ignorada. O perito não errou o laudo — a arquitetura do processo trabalha contra ele.
Doc 1
20
Nenhum escapa
Context rot não é exclusividade de um modelo. GPT-4, Claude, Gemini, Llama, Mistral — todos exibem o fenômeno. A diferença é de grau, não de natureza. Todos compartilham a mesma arquitetura: o Transformer e seu mecanismo de atenção baseado em softmax.

Modelos mais novos mitigam (janelas maiores, atenção esparsa), mas não eliminam.
👨‍⚖️ A diferença entre um juiz recém-empossado e um desembargador veterano lendo autos volumosos. O veterano lida melhor — tem técnicas, experiência. Mas nenhum escapa do problema fundamental: atenção humana finita diante de volume crescente.
20 docs
Todos os modelos exibem a curva em U — a diferença é a profundidade do vale
Reconhecendo o rot no dia a dia
Context rot se manifesta por quatro sintomas observáveis. Aprenda a reconhecê-los na prática — o diagnóstico vem antes da etiologia. Clique em cada card para ver exemplos e gatilhos.
Termômetro de Rot — 0 de 4 sintomas identificados
SaudávelAtençãoDegradaçãoRot avançado
Insight Operacional −

Context rot não é um defeito de um modelo específico — é a física de como todos os LLMs processam linguagem. Afeta o GPT-4, o Claude, o Gemini e qualquer modelo baseado em Transformer. A diferença entre um usuário que sofre com o rot e um que o gerencia é uma só: saber que ele existe.