Um resultado pode ser estatisticamente significativo e gerencialmente irrelevante.

A estatística inferencial foi desenvolvida para lidar com incerteza. Em gestão, porém, é comum reduzir essa lógica a uma pergunta binária: “deu significativo?”. O problema começa quando significância estatística é tratada como sinônimo de efeito importante. Não é.

Um teste de hipótese informa quão incompatíveis os dados observados são com uma hipótese nula, considerando o modelo adotado. Ele não diz se a diferença é grande, se vale dinheiro, se muda a experiência do cliente, se altera o risco do processo ou se a intervenção é operacionalmente viável. Esses julgamentos pertencem a uma camada decisória adicional.

O que o valor-p realmente responde

Considere uma hipótese nula H₀ que represente ausência de efeito ou de associação. O valor-p é a probabilidade, sob H₀ e sob as demais premissas do teste, de observar um resultado pelo menos tão extremo quanto o obtido. Essa definição é mais restrita do que várias interpretações populares.

Quando se adota α=0,05, o pesquisador define previamente uma regra de decisão para controlar a taxa de erro tipo I em repetições conceituais do procedimento. O número 0,05 não possui uma fronteira natural entre “verdade” e “falsidade”. Um p=0,049 e um p=0,051 contêm praticamente a mesma informação contínua; classificá-los como universos opostos é uma simplificação administrativa, não uma propriedade da realidade.

Tamanho de efeito: a pergunta que vem antes da comemoração

Se uma melhoria reduz o tempo médio de atendimento de 10,00 para 9,98 minutos, uma base com milhões de registros pode tornar essa diferença estatisticamente convincente. Ainda assim, vinte centésimos de minuto talvez não justifiquem treinamento, sistemas ou risco de mudança. Em outro processo, uma redução pequena pode ser crítica — por exemplo, quando representa folga de segurança diante de um limite regulatório.

Por isso a análise deve perguntar: quanto mudou? A resposta pode ser expressa na unidade original, em percentual, em tamanho de efeito padronizado ou por medidas específicas do problema. A unidade original costuma ser particularmente valiosa para decisões executivas porque conecta o resultado ao processo.

Por que amostras grandes tornam “quase tudo” detectável

O poder estatístico aumenta com o tamanho amostral, mantendo os demais fatores. Isso é desejável quando queremos detectar efeitos reais; mas também significa que relações fracas podem produzir valores-p muito pequenos em grandes bases. O white paper do Assistente do Minitab usado na biblioteca Struckel ilustra esse fenômeno: com 40 observações, suas simulações apresentaram alto poder para detectar relações lineares mesmo quando a força populacional era apenas moderada.

A conclusão correta não é desconfiar de amostras grandes. É separar duas perguntas: há evidência de efeito? e o efeito é grande o suficiente para importar?

Intervalos de confiança: magnitude e incerteza na mesma frase

Um intervalo de confiança é mais informativo para gestão do que a etiqueta “significativo/não significativo”, porque apresenta uma faixa de valores compatíveis com os dados e o método. Imagine que uma redução de custo estimada seja R$ 12 por unidade, com intervalo de R$ 1 a R$ 23. A direção parece favorável, mas a incerteza operacional é enorme. Se o intervalo for R$ 11 a R$ 13, a decisão é diferente.

Quando houver um limite mínimo de relevância prática, ele deve ser definido antes da análise. Por exemplo: “só consideraremos a mudança economicamente interessante se reduzir ao menos R$ 8 por unidade”. O intervalo pode então ser comparado a esse limiar, em vez de apenas ao zero.

Poder estatístico e erro tipo II

Não encontrar significância também não prova inexistência de efeito. Uma amostra pequena, ruído alto ou faixa estreita de X pode impedir o teste de detectar um efeito relevante. Essa é a lógica do erro tipo II: deixar de rejeitar H₀ quando existe uma diferença real.

Antes de coletar dados, uma análise de poder conecta quatro elementos: tamanho de efeito considerado importante, variabilidade, tamanho da amostra e nível de significância. Em projetos DMAIC, essa disciplina evita estudos incapazes de responder à própria pergunta que motivou a coleta.

Múltiplos testes: quanto mais você procura, mais “descobre”

Quando dezenas ou centenas de hipóteses são testadas, cresce a probabilidade de encontrar ao menos um resultado pequeno de p apenas pela multiplicidade. A prática conhecida como p-hacking ocorre quando o analista tenta combinações, filtros, períodos e métricas até obter uma narrativa estatisticamente atraente.

Controles incluem pré-especificação das hipóteses, correções para múltiplas comparações quando apropriado, validação em nova amostra e transparência sobre todas as análises realizadas. Em gestão, o princípio é simples: não redesenhe a pergunta depois de ver a resposta e apresente isso como confirmação.

Significância não cria causalidade

Mesmo uma associação muito significativa pode ser produzida por variável de confusão, causalidade reversa, tendência temporal ou seleção da amostra. A causalidade exige desenho e raciocínio adicionais: sequência temporal, mecanismo plausível, controle de alternativas, experimentação quando possível e replicação.

Em um projeto de melhoria, regressão pode apontar que temperatura e defeitos caminham juntas. Isso transforma temperatura em uma hipótese causal prioritária; não autoriza automaticamente alterar o processo. O passo seguinte pode ser estratificar, controlar fatores concorrentes ou testar deliberadamente a mudança em escala piloto.

A matriz Struckel: evidência, magnitude, mecanismo e economia

Exemplo completo: redução de retrabalho

Uma linha reduz retrabalho de 4,0% para 3,7%. Com grande volume, o teste gera p<0,01. O primeiro impulso seria declarar sucesso. Uma análise madura adiciona: diferença absoluta de 0,3 ponto percentual; redução relativa de 7,5%; volume anual; custo médio por retrabalho; intervalo de confiança; impacto no lead time; possíveis efeitos adversos; e estabilidade após a implantação.

Se 0,3 ponto percentual representa milhares de itens e centenas de horas, a melhoria pode ser excelente. Se a variação natural mensal é maior do que isso e o processo não está estável, o mesmo número pode ser temporário. A decisão não mora no valor-p; mora no sistema de evidências.

Checklist antes de dizer “funcionou”

1. A hipótese e a métrica foram definidas antes de olhar o resultado?
2. O desenho amostral representa a população onde a decisão será aplicada?
3. Qual é o tamanho do efeito na unidade real do processo?
4. Qual é o intervalo de incerteza?
5. Existe um limiar mínimo de relevância prática?
6. A amostra tem poder suficiente para detectar esse limiar?
7. Foram testadas muitas hipóteses ou subconjuntos?
8. Existe mecanismo operacional plausível?
9. O efeito foi sustentado no tempo ou validado fora da amostra?
10. O ganho compensa custo, risco e complexidade?

Referências conceituais

Este Insight se apoia em princípios clássicos de inferência estatística, análise de poder e regressão. Para o exemplo de robustez e poder em regressão, considera também o white paper técnico do Assistente do Minitab estudado na biblioteca Struckel. A aplicação gerencial proposta aqui é uma síntese metodológica da Struckel: estatística como evidência para decisão, nunca como substituta do contexto.