Regressão quantílica

Os mínimos quadrados ordinários modelam a MÉDIA condicional de \(y\) dado \(x\): uma única reta, um único número, uma única inclinação. A regressão quantílica, em vez disso, modela um QUANTIL condicional, a mediana, o percentil 10, o percentil 90, ou qualquer percentil que você escolher. Essa distinção importa sempre que um preditor muda não apenas o resultado médio, mas a dispersão ou a forma de toda a distribuição, exatamente o tipo de padrão que uma única reta de média esconde completamente.

Modelar a média não conta toda a história

Um único ajuste de MQO responde a uma pergunta: como a média de \(y\) se desloca conforme \(x\) muda? Ele não diz nada sobre se a variabilidade de \(y\) também muda com \(x\). Quando os dados são heterocedásticos, a dispersão de \(y\) em torno de seu centro genuinamente se amplia ou se estreita ao longo do intervalo de \(x\), e quando o resultado é assimétrico, a própria média pode ser um resumo enganoso (veja why the average lies). A regressão quantílica ajusta uma reta separada para cada quantil de interesse, então ela pode mostrar que a relação entre \(x\) e \(y\) não é apenas um deslocamento de nível, pode ser uma mudança de forma.

A função de verificação (pinball loss)

A regressão quantílica para o quantil \(\tau \in (0,1)\) encontra os coeficientes que minimizam a função de verificação, também chamada de pinball loss, aplicada aos resíduos \(u = y - \hat y\):

Essa perda pondera os resíduos positivos e negativos de forma assimétrica sempre que \(\tau \neq 0{,}5\): para \(\tau = 0{,}9\), subestimar (um resíduo positivo) custa \(0{,}9\) por unidade, enquanto sobrestimar custa apenas \(0{,}1\) por unidade, então a reta ajustada é puxada para cima até que exatamente 90% dos pontos fiquem abaixo dela. Em \(\tau = 0{,}5\) a perda se torna simétrica e proporcional a \(|u|\), o que é a regressão ordinária por desvios absolutos mínimos (LAD), o caso da regressão da mediana. Os mínimos quadrados ordinários são uma perda totalmente diferente, o erro ao quadrado, \(u^2\), que tem como alvo a média condicional em vez de qualquer quantil específico. O MQO não é um caso especial da função de verificação; é uma função de perda separada que, por acaso, responde a uma pergunta relacionada, mas distinta.

Exemplo resolvido: dados de gastos alimentares de Engel

Um conjunto de dados real de orçamento doméstico do século XIX, ainda padrão para ensinar esse método, torna concreta essa ampliação da dispersão.

Gastos alimentares de famílias operárias belgas

O conjunto de dados clássico para esse método é o que Koenker e Bassett usaram em seu artigo original de 1978 sobre regressão quantílica: 235 orçamentos de famílias operárias belgas compilados pelo estatístico Ernst Engel em 1857, relacionando a renda familiar aos gastos com alimentação (ambos em francos belgas). Ele acompanha o pacote quantreg do R como engel. Note que se trata de Ernst Engel, o estatístico do século XIX, e não de Friedrich Engels, coautor do Manifesto Comunista, uma confusão fácil de fazer.

A renda na amostra varia de 377 a 4.958 francos. O ajuste de MQO dá:

\[\widehat{\text{gastosalim}} = 147{,}48 + 0{,}485 \cdot \text{renda}, \quad R^2 = 0{,}830\]

Ajustar três regressões quantílicas em \(\tau = 0{,}1, 0{,}5, 0{,}9\) dá três retas diferentes, não três deslocamentos paralelos da mesma reta:

Quantil	Intercepto	Inclinação
\(\tau = 0{,}1\)	110,14	0,402
\(\tau = 0{,}5\) (mediana)	81,48	0,560
\(\tau = 0{,}9\)	67,35	0,686

A própria inclinação sobe de 0,402 no percentil 10 para 0,686 no percentil 90, um padrão invisível para a única inclinação de MQO, 0,485.

O que muda entre os quantis

Substituindo a família mais pobre e a mais rica da amostra em cada reta ajustada:

Na renda mais baixa da amostra, a diferença entre a família do percentil 10 e a do percentil 90 é de apenas cerca de 65 francos: famílias pobres gastam com alimentação dentro de uma faixa bastante estreita e disciplinada. Na renda mais alta, essa diferença se expande para quase 1.368 francos, mais de 20 vezes mais larga: famílias ricas mostram muito mais discrição em quanto de sua renda vai para alimentação. A única reta de MQO, com sua única inclinação de 0,485, reporta apenas a tendência média e esconde completamente essa ampliação.

Esse conjunto de dados também é, por acaso, o que estabeleceu a lei de Engel: a parcela do orçamento destinada à alimentação cai conforme a renda sobe. O ajuste de MQO prevê gastos com alimentação equivalentes a cerca de 87,6% da renda na extremidade mais pobre da amostra e apenas cerca de 51,5% na extremidade mais rica, mesmo que o valor absoluto gasto com alimentação continue subindo ao longo de toda a faixa.

Não é o mesmo que observar a dispersão dos resíduos

A inclinação crescente na tabela acima é fácil de interpretar erroneamente como apenas uma dispersão maior dos resíduos em torno de uma única reta média, mas não é isso que está realmente acontecendo.

Quando recorrer à regressão quantílica

• Dados heterocedásticos, em que a dispersão de \(y\) muda visivelmente com \(x\), exatamente o padrão que os diagnósticos de regressão normalmente sinalizam como uma violação a corrigir ou ao menos tolerar em um modelo de MQO. Na regressão quantílica, essa mesma ampliação da dispersão não é um incômodo a corrigir, é o próprio objeto de interesse.
• Resultados assimétricos, em que a média é afastada do que parece ser uma observação “típica”, e em que a mediana ou outro quantil é um resumo mais informativo (veja why the average lies).
• Perguntas sobre as caudas, não apenas sobre o centro: uma pergunta de política pública como “qual limiar de renda moveria os 10% mais pobres de um grupo-alvo” precisa do próprio modelo do percentil 10, não de um ajuste na média.
• Robustez a outliers em \(y\): por ser construída sobre desvios absolutos em vez de desvios ao quadrado em relação ao quantil ajustado, um valor extremo de \(y\) tem influência limitada, diferentemente de sua influência ilimitada sobre uma média de MQO.

Quando uma distribuição paramétrica é uma suposição razoável, o GAMLSS modela o mesmo tipo de dispersão variável ajustando a distribuição completa diretamente, dando todos os quantis de uma vez, em vez de um modelo por quantil.

Executando em R

quantreg::rq() espelha de perto a sintaxe de lm(), com o quantil de interesse definido pelo argumento tau:

library(quantreg)
data(engel)

# Median regression (tau = 0.5)
rq(foodexp ~ income, data = engel, tau = 0.5)

# Several quantiles at once
rq(foodexp ~ income, data = engel, tau = c(0.1, 0.5, 0.9))

# Compare against the conditional mean
lm(foodexp ~ income, data = engel)