O valor-p
O valor-p é a probabilidade de observar dados pelo menos tão extremos quanto os obtidos, assumindo que a hipótese nula é verdadeira. É a quantidade mais reportada em estatística e a mais mal interpretada.
Definição
Dada uma estatística de teste calculada a partir dos dados, o valor-p é:
\[p = P(\text{estat\'{i}stica t\~{a}o extrema ou mais extrema que a observada} \mid H_0 \text{ verdadeira})\]
“Mais extrema” significa mais distante do que \(H_0\) prevê:
- Unilateral à direita (\(H_1: \theta > \theta_0\)): mais extremo = valores maiores. \(p = P(T \geq t_\text{obs})\).
- Unilateral à esquerda (\(H_1: \theta < \theta_0\)): mais extremo = valores menores. \(p = P(T \leq t_\text{obs})\).
- Bilateral (\(H_1: \theta \neq \theta_0\)): mais extremo em qualquer direção. \(p = 2 \times P(T \geq |t_\text{obs}|)\).
Valor-p em testes unilaterais vs. bilaterais
A mesma estatística de teste produz valores-p diferentes dependendo da direção de \(H_1\). Para uma normal padrão com \(z_\text{obs} = 1{,}88\):
- Unilateral à direita: \(p = P(Z \geq 1{,}88) \approx 0{,}030\).
- Bilateral: \(p = 2 \times P(Z \geq 1{,}88) \approx 0{,}060\).
O valor-p bilateral é exatamente o dobro do unilateral. É por isso que um resultado significativo a 5% unilateral pode não ser significativo a 5% bilateral.
Como interpretar o valor-p
A regra de decisão é simples: se \(p \leq \alpha\), rejeite \(H_0\). Se \(p > \alpha\), não rejeite \(H_0\).
Mas interpretar o que o valor-p significa exige mais cuidado:
- Valor-p pequeno: os dados observados seriam improváveis se \(H_0\) fosse verdadeira. Isso é evidência contra \(H_0\).
- Valor-p grande: os dados observados são compatíveis com \(H_0\). Isso não é evidência a favor de \(H_0\).
Um modelo mental útil: o valor-p é um índice de surpresa. Um valor-p muito pequeno significa “este resultado seria muito surpreendente se \(H_0\) fosse verdadeira.” Ele não mede o quão surpreendente é dada qualquer alternativa.
Erros de interpretação comuns
- “O valor-p é a probabilidade de \(H_0\) ser verdadeira”
Este é o erro de interpretação mais perigoso. O valor-p é calculado sob a suposição de que \(H_0\) é verdadeira. Ele não pode dizer nada sobre a probabilidade de \(H_0\) ser verdadeira, porque isso exigiria uma probabilidade a priori para \(H_0\) (um conceito bayesiano, não frequentista).
Um teste dá \(p = 0{,}03\). Isso não significa que há 3% de chance de \(H_0\) ser verdadeira. Significa: se \(H_0\) fosse verdadeira, haveria 3% de chance de observar dados tão extremos. Essas duas afirmações são completamente diferentes.
Para calcular a probabilidade de \(H_0\) ser verdadeira dados os dados, é preciso o teorema de Bayes e uma probabilidade a priori para \(H_0\), algo que o teste de hipóteses frequentista evita deliberadamente.
- “\(p < 0{,}05\) prova que \(H_1\) é verdadeira”
Um valor-p baixo significa que os dados são inconsistentes com \(H_0\), não que \(H_1\) está provada. Múltiplas hipóteses alternativas diferentes poderiam ser consistentes com os mesmos dados. Significância estatística não é o mesmo que prova.
- “\(p > 0{,}05\) significa que \(H_0\) é verdadeira”
Não rejeitar \(H_0\) significa que os dados são compatíveis com \(H_0\), não que \(H_0\) está confirmada. Os dados podem simplesmente ser insuficientes para detectar um efeito real. Ausência de evidência não é evidência de ausência.
- “Significância estatística significa importância prática”
Com amostras suficientemente grandes, mesmo efeitos trivialmente pequenos produzem valores-p minúsculos. Um medicamento que reduz a pressão arterial em 0,1 mmHg pode ser altamente significativo estatisticamente em um ensaio com 100.000 pacientes, mas completamente irrelevante clinicamente. Sempre acompanhe os valores-p com tamanhos de efeito e intervalos de confiança.
⚠️ O limiar de valor-p de 0,05 é arbitrário
O limiar de 0,05 foi proposto por R.A. Fisher em 1925 como uma regra prática conveniente, não como uma lei fundamental. Ele não tem nenhum significado científico especial. Um resultado com \(p = 0{,}049\) não é significativamente diferente de um com \(p = 0{,}051\): ambos fornecem evidência semelhante contra \(H_0\).
Muitas revistas científicas e a American Statistical Association agora recomendam reportar o valor-p exato e o tamanho de efeito, em vez de tomar decisões binárias de significativo/não significativo. Trate o valor-p como uma medida contínua de evidência, não como uma linha divisória absoluta.
Exemplo resolvido
Um varejista online realiza um teste A/B com duas cores de botão. Versão A (azul): 1.240 cliques em 8.000 impressões. Versão B (verde): 1.380 cliques em 8.000 impressões.
\[\hat{p}_A = 0{,}155, \quad \hat{p}_B = 0{,}1725, \quad \hat{p}_A - \hat{p}_B = -0{,}0175\]
\[\text{EP} = \sqrt{\frac{0{,}155 \times 0{,}845}{8000} + \frac{0{,}1725 \times 0{,}8275}{8000}} \approx 0{,}00573\]
\[z = \frac{-0{,}0175}{0{,}00573} \approx -3{,}05\]
\[p = 2 \times P(Z \leq -3{,}05) \approx 2 \times 0{,}00114 = 0{,}0023\]
O valor-p é 0,0023, muito abaixo de \(\alpha = 0{,}05\). Essa é uma evidência forte de que as duas taxas de conversão diferem. A versão B converte a uma taxa significativamente maior.
O tamanho de efeito: a versão B converte 1,75 pontos percentuais mais do que a versão A, uma melhoria relativa de cerca de 11%. Tanto o valor-p (significativo) quanto o tamanho de efeito (relevante para o negócio) apoiam a mudança para a versão B.
💡 Reportando valores-p corretamente
- Reporte o valor-p exato, não apenas “\(p < 0{,}05\)”: escreva “\(p = 0{,}023\)”, não “\(p < 0{,}05\)”.
- Sempre reporte o tamanho de efeito junto com o valor-p.
- Se o valor-p for muito pequeno, escreva “\(p < 0{,}001\)” em vez de “\(p = 0{,}0000023\)”.
- Nunca ajuste \(\alpha\) depois de calcular o valor-p para alcançar significância.
- Para resultados no limite (\(p\) próximo de \(\alpha\)), afirme que a evidência não é conclusiva e sugira amostras maiores.
