terça-feira, 2 de fevereiro de 2016

Perguntas frequentes em bioestatística #12. Que cuidados se deve ter quando se efectuam muitos testes estatísticos num mesmo trabalho?



A seguinte mensagem é a décima segunda comunicação da série Perguntas Frequentes em Bioestatística, da autoria de membros do Laboratório de Bioestatística e Informática Médica da Faculdade de Medicina da Universidade de Coimbra. Pretende-se fomentar uma discussão sobre as melhores práticas estatísticas na área da saúde.



Miguel Patrício e Francisco Caramelo

Uma análise estatística deverá ser sempre o mais focada possível: o ponto de partida é uma questão de investigação, define-se a priori a medida principal e apenas se recolhem as medidas secundárias indispensáveis, ver Perguntasfrequentes em bioestatística #1. Na situação mais simples, bastaria medir-se uma única variável e realizar um teste estatístico para responder à questão de investigação. Porém, a realidade tende a ser mais complexa, levando a que quase sempre se tenha de recolher mais dados e a efectuar mais testes. Em particular, em trabalhos de índole exploratório é comum inúmeras medições serem efectuadas e apenas a posteriori tentar-se perceber que variáveis parecem ter interesse.

Antes de se iniciar uma análise estatística, deverá escolher-se o nível de significância, geralmente denotado por α. A maioria dos estudos trabalham com um nível de significância de 5% (α=0.05), que adoptaremos também para este texto. Num teste de hipóteses, rejeitar-se-á a hipótese nula se o valor p resultante do teste estatístico for inferior a α, não se a rejeitando caso contrário. A razão pela qual se procede assim é porque se pretende ter uma forma objectiva de decidir quais resultados são estatisticamente significativos. Diferentes valores de α têm impacto na probabilidade de ocorrência de falsos positivos (erro tipo I). Quanto menor o valor de α, menos provável é ter-se um falso positivo, ou seja, torna-se menos provável concluirmos existirem diferenças que na realidade não existem.

Ao realizar-se um teste estatístico, parte-se do princípio que a hipótese nula é verdadeira. A obtenção de um valor p de 0.01 pode ser interpretada como havendo 1% de chance de obter um resultado como o observado na condição da hipótese nula ser verdadeira. Partindo dessa premissa, se se observar um resultado com menos de 5% de chance (sendo α=0.05) na mesma condição, então por um raciocínio de reductio ad absurdum é provável que a hipótese nula não seja verdadeira. Rejeita-se por isso essa hipótese ou, numa linguagem mais estatística, indica-se estar perante um resultado estatisticamente significativo. Também se pode dizer que não existe evidência da hipótese nula ser verdadeira. Isto deriva naturalmente de se ter encontrado uma probabilidade muito pequena quando se parte do pressuposto da hipótese nula ser verdadeira.

Quando se realiza mais do que um teste estatístico o raciocínio anterior é desvirtuado e surge um problema. Note-se que:

  • Quando se usa α=0.05 e se realiza um teste de hipóteses, a probabilidade de obter um falso positivo se a hipótese nula for verdadeira é P=5%.
  • Quando se usa α=0.05 e se realizam 2 testes de hipóteses independentes, a probabilidade de obter um falso positivo se as hipóteses nulas forem verdadeira é P=(1-0.95*0.95)=9.75%
  • Quando se usa α=0.05 e se realizam 3 testes de hipóteses independentes, a probabilidade de obter um falso positivo se as hipóteses nulas forem verdadeira é P=(1-0.95*0.95*0.95)=14.26%
Desta forma, quantos mais testes de hipótese forem realizados, mais provável será encontrar-se falsos positivos. O valor de α é assim desvirtuado e diz-se que se comete um erro de comparações múltiplas. Para evitar este problema, poderá recorrer-se a métodos de correcção para comparações múltiplas como o método de Bonferroni. Visando controlar o erro numa família de testes (family wise error rate) e evitar a acumulação de falsos positivos que advém da realização de vários testes, a correcção de Bonferroni propõe que se compare o valor p resultante de cada teste com α/m, onde m é o número de testes; ou seja, procede-se a uma correcção do valor de alfa. A título de exemplo, consideremos os dados representados na Tabela 1. Nesta, incluem-se os dados em bruto relativos a um estudo onde se observaram quatro medidas cognitivas (C1 a C4) e cinco medidas demográficas (D1 a D5), em quinze sujeitos pertencentes a três grupos.

Tabela 1. Quatro medidas cognitivas e cinco medidas demográficas, observadas para os quinze sujeitos de três grupos.





Se se pretender saber para que variáveis há diferenças estatisticamente significativas entre os três grupos, poderá efectuar-se um teste de Kruskal-Wallis para cada variável (recorde Perguntasfrequentes em bioestatística #5). Os valores p correspondentes podem ler-se na Tabela 2.

Tabela 2. Resultados (valores p) dos testes de Kruskal-Wallis realizados para cada uma das variáveis.





Sem se recorrer a qualquer correcção para comparações múltiplas, concluir-se-á ter-se obtido resultados estatisticamente significativos para as variáveis C1, D4 e D5, para as quais os valores p obtidos são inferiores a 0.05. Porém, como vimos antes, esta conclusão peca por não se acautelar a ocorrência de falsos positivos. Adoptando uma correcção de Bonferroni e considerando ter-se uma família de 9 testes, cada valor p deverá ser comparado com 0.05/9≈0.0056, ou, de forma equivalente, cada valor p deverá ser multiplicado por 9 e comparado com 0.05. Desta forma, apenas relativamente à variável D5 se terá um resultado estatisticamente significativo (sendo o valor p a reportar, após correcção de Bonferroni, 0.002*9=0.018).

Um aspecto subjectivo numa correcção de Bonferroni é o de família de testes. A correcção pretende controlar a ocorrência de falsos positivos numa tal família. É discutível, no exemplo apresentado, se todos os testes pertencem à mesma família ou se temos uma família de testes para medidas cognitivas e outra para medidas demográficas. Os resultados obtidos são influenciados por esta escolha subjectiva. No exemplo anterior, poderá ser defensável realizar-se uma correcção de Bonferroni para as medidas cognitivas e outra para as medidas demográficas. Os valores de p correspondentes deverão então ser comparados com 0.05/4 e 0.05/5, respectivamente. Ou, de forma equivalente, os valores p advindos de medidas cognitivas poderão ser multiplicados por 4 e os relativos a medidas demográficas multiplicados por 5, devendo ser todos estes comparados com α=0.05, ver Tabela 3. Procedendo desta forma, conclui-se que há diferenças estatisticamente significativas entre os três grupos para as variáveis D4 e D5. Para estas variáveis, deverá fazer-se testes post hoc (do latim, depois disto) para averiguar entre que grupos é que há diferenças. Para cada variável, irão fazer-se três testes de Mann-Whitney U para averiguar entre que par de grupos existem diferenças estatisticamente significativas. Deverá novamente usar-se uma estratégia de correcção de comparações múltiplas para estas novas comparações. Poderá outra vez recorrer-se a uma correcção de Bonferroni, embora para comparação de uma única variável entre vários grupos haja muitas alternativas menos conservadoras que poderão ser preferíveis (por exemplo, testes Tukey).

Tabela 3. Resultados (valores p) dos testes de Kruskal-Wallis realizados para cada uma das variáveis, ajustados por correcções de Bonferroni.





A correcção de Bonferroni, apesar de ser simples de usar, é muito conservadora, correndo-se o risco de se desprezar muitos resultados que correspondem a diferenças realmente existentes na população. Uma alternativa a Bonferroni quando se querem fazer testes a muitas variáveis consiste em colocar-se o foco em controlar a proporção de falsos positivos nos resultados significativos encontrados, recorrendo a correcções como a de Benjamini-Hochberg, [1]. Em particular em estudos exploratórios, é comum estar-se disposto a aceitar uma proporção de Q=5%, Q=10% ou mesmo Q=20% de falsos positivos nos resultados encontrados ao realizar m testes. Existe, no entanto, um custo: se em estudos posteriores se voltarem a realizar os testes para os quais se observou haver, no estudo exploratório e após uma correcção de Benjamini-Hochberg, significância estatística, deverá esperar-se haver uma proporção Q de testes no novo estudo para os quais não se verificará haver significância estatística. Para efectuar uma correcção de Benjamini-Hochberg,



  • Ordenam-se os m valores p obtidos, por ordem crescente
  • Numeram-se os valores p atribuindo a cada um o seu rank i, isto é, o valor p mais pequeno terá rank i=1, o seguinte i=2 e por aí em diante
  • Calcula-se o valor de Benjamini-Hochberg para cada valor p usando a fórmula (i/m)Q
  • Compara-se cada valor p ao valor de Benjamini-Hochberg correspondente. O maior valor p (aqui denotado por pM) que seja menor que o seu valor de Benjamini-Hochberg é considerado estatisticamente significativo.
  • Todos os valores p menores que pM são também considerados estatisticamente significativos.


Na Tabela 4 ilustra-se a aplicação da correcção de Benjamini-Hochberg para os resultados obtidos para as variáveis da Tabela 1, adoptando-se Q=0.25, ou seja, estando-se disposto a aceitar uma proporção de 25% de falsos positivos nos resultados estatisticamente significativos encontrados. Considera-se ainda que todos os testes pertencem à mesma família, embora seja eventualmente aceitável considerar duas famílias de testes.

Tabela 4. Resultados (valores p) dos testes de Kruskal-Wallis realizados para cada uma das variáveis e processo de correcção com o método de Benjamini-Hochberg.





Cada valor p obtido deverá ser comparado com o valor de Benjamini-Hochberg (i/m)Q correspondente. O maior valor p que ainda é menor que o valor de Benjamini-Hochberg calculado é o que resulta da variável C1. Deste modo consideramos estatisticamente significativos os resultados encontrados para todas as variáveis para as quais o valor p determinado não exceda 0.031 (ou seja, C1, D4 e D5).

Finalmente, note-se que se poderia evitar ter de recorrer a técnicas de correcção de comparações múltiplas se se usasse testes de estatística multivariada. Tal não é sempre possível ou exige que se reduza previamente o número de variáveis envolvidas, eliminando as que apresentam pouca variabilidade e eventualmente recorrendo a ferramentas como análise de componentes principais ou análise factorial. Poderá ainda ser útil, tendo-se amostras de dimensão reduzida, recorrer a técnicas mais avançadas como boostrapping.


 [1] Benjamini, Yoav; Hochberg, Yosef (1995). "Controlling the false discovery rate: a practical and powerful approach to multiple testing" (PDF). Journal of the Royal Statistical Society, Series B 57 (1): 289–300

Na próxima edição do Perguntas Frequentes em Bioestatística: “O que é uma boa questão de investigação?”

Sem comentários:

Publicar um comentário