quinta-feira, 28 de maio de 2015

p-value, o grande enganador. Ou como comer chocolate é bom para perder peso

Publicar ciência pode ser diferentes coisas. Em matemática pura, o foco é colocado na enunciação e demonstração de teoremas. Noutras áreas do conhecimento, tudo se resume frequentemente ao valor-p: se p<0.05* pode-se rejeitar a hipótese nula (o que tipicamente significa uma maior probabilidade de se conseguir uma publicação).

Apesar de sinais de que o paradigma irá mudar, podendo passar a dar-se mais importância aos dados e menos ao valor-p, neste momento é o último que recebe quase toda a atenção. Tal exige que se tenha particular atenção à questão de investigação e se evite grande dispersão. Obter de um mesmo estudo muitos valores-p é receita certa para errar. Embora, inadvertidamente ou de forma propositada, o erro possa ser recompensado com a publicação de um artigo:


Noutras palavras, quando se ouve começar uma frase com "também seria interessante ver se..." soa o sinal de alerta para um estatístico. Um estudo começa com uma questão de investigação, passa pela recolha de dados que permitam responder à mesma e termina com a análise e discussão dos mesmos. Aproveitar esses dados para responder a outras questões que entretanto surjam e pareçam interessantes não faz sentido e é errado.

* o nível de significância adoptado pode ser outro

terça-feira, 5 de maio de 2015

Perguntas frequentes em bioestatística #6. Como comunicar resultados científicos?



A seguinte mensagem é a sexta comunicação da série Perguntas Frequentes em Bioestatística, da autoria de membros do Laboratório de Bioestatística e Informática Médica da Faculdade de Medicina da Universidade de Coimbra. Pretende-se fomentar uma discussão sobre as melhores práticas estatísticas na área da saúde.

Perguntas frequentes em bioestatística #6. Como comunicar resultados científicos?
Francisco Caramelo e Miguel Patrício

Resumo: Na presente comunicação é apresentada uma forma de comunicar por escrito resultados científicos. Esta reflexão, disponibilizada publicamente, foi escrita a pensar de forma particular nos alunos da Faculdade de Medicina da Universidade de Coimbra. Pretende-se partilhar algumas regras práticas que permitam escrever textos científicos de elevada qualidade. É descrita a pertinência de cada secção de um tal texto, bem como o conteúdo que as mesmas devem conter. Também é dado destaque à articulação entre as diferentes partes do texto para que este se apresente completo, com lógica e coerência interna. Esta comunicação resulta essencialmente da experiência dos seus autores e, por essa razão, apresenta uma visão necessariamente subjetiva. Formas alternativas de escrita podem ser igualmente válidas, sobretudo se conseguirem realizar o seu único propósito: transmitir objetivamente informação.

Introdução: Têm sido constatadas dificuldades da parte dos alunos na escrita de relatórios académicos e artigos científicos. Os aspetos a melhorar detetados vão desde a apresentação visual de baixa qualidade e pouco cuidada, à divisão pouco funcional por diferentes secções, à sintaxe, à apresentação de resultados e à sua discussão e conclusão. São frequentemente apresentados textos que não cumprem a sua função, a qual devia ser informar o leitor de forma objetiva e concisa. O presente trabalho pretende contribuir para colmatar esta lacuna.

Hoje em dia, aos profissionais das mais diversas áreas é-lhes exigido não só trabalho de qualidade mas também capacidade de comunicação dos seus resultados. Este último aspeto, nalguns contextos, tende a ser descurado em detrimento do primeiro, havendo um foco quase exclusivo no conteúdo e menor atenção à forma. Sendo os dois aspetos indissociáveis, a forma como se apresentam resultados determina a capacidade de transmitir eficientemente informação, podendo e devendo ser trabalhada. 
Em termos de estrutura formal, é usual dividir um texto científico em resumo, introdução, métodos, resultados, discussão e conclusão, como se discutirá em baixo. A secção de introdução de um relatório ou artigo científico serve fundamentalmente três objetivos: descrever o problema, a motivação subjacente e o contexto em que se insere. Para que a comunicação, na introdução, seja feita eficientemente deve ter-se sempre em consideração dois fatores essenciais, a saber: o quê e a quem.

O primeiro fator é desde logo a mensagem em si mesma, isto é, o que queremos transmitir. É crucial que saibamos exatamente o que se quer contar e, também de suprema importância, o que não se quer contar. Definir os aspetos a comunicar é um exercício muito difícil de realizar e ao qual geralmente dedicamos pouco tempo. Afastar os aspetos desinteressantes do nosso trabalho e focarmos-nos apenas nos aspetos realmente fulcrais é trabalhoso mas garante bons resultados. Não raras vezes nos textos que lemos transparece que para o autor tudo é importante e quando assim é, o resultado é exatamente o oposto: nada é fundamental, nada se destaca. É como se fosse um quadro homogéneo apenas a uma cor - desinteressante! No caso de um texto é ainda mais dramático porque não se percebe a história que o autor quer contar e tudo fica muito confuso. Para se conseguir contar essa história num relatório, começar por resumir todo o trabalho numa única frase é imperioso. É esta frase (ideia) que deve iniciar tanto a introdução como o resumo do relatório.

O segundo fator, a ter em particular consideração na escrita da introdução, consiste em saber de antemão qual é o público alvo, poupando-nos a erros dispensáveis. Geralmente, tendemos a assumir que os nossos leitores conhecem o assunto que estamos a explanar e por isso usamos uma linguagem restritiva, sem o cuidado de definir certos termos. Tipicamente, quem lê não conhece o nosso trabalho, pelo que devemos apresentar o mínimo de conhecimento para que o texto seja auto-suficiente. Não se deve cair no exagero de explicar todos os detalhes (senão comete-se o erro de pintar o quadro desinteressante), mas somente aqueles que garantam que um leitor com conhecimentos médios consiga entender o trabalho. Uma boa regra prática é pedir a alguém que não é da área para ler e resumir o texto. Se não tiver entendido o que escrevemos é porque precisamos trabalhar melhor a escrita.

A apresentação de um relatório ou artigo é a primeira impressão que se deixa sobre o trabalho que se quer apresentar. Não há duas oportunidades de causar uma boa primeira impressão. Nesse sentido, a introdução deve valorizar (de forma justa) o trabalho realizado, permitindo ao leitor perceber a sua mais valia. Poderá ser útil lembrar uma das fórmulas utilizadas no mundo empresarial para dar a conhecer, em apenas dois minutos, um novo produto numa apresentação oral: for; who; the; is; that; unlike; our:

  • for - para quem? Qual o cliente alvo?
  • who - Qual a necessidade ou oportunidade?
  • the - como se chama o produto?
  • is - qual a categoria do produto?
  • that - qual o benefício chave trazido pelo produto?
  • unlike - Como se compara com o produto mais competitivo já existente no mercado?
  • our - Qual a característica diferenciadora do produto que se apresenta?

Esta fórmula foi proposta por Geoffrey Moore [1] e tem sido adotada frequentemente. Para além de ser uma forma de comunicação com sucesso, a sua adaptação para um produto concreto constitui um exercício exigente de conhecimento do mesmo. Como vimos discutindo, a introdução deverá ter como fundo as duas questões essenciais, o quê e a quem, podendo seguir uma linha argumentativa análoga à da fórmula de Moore, eventualmente com as devidas adaptações.

Para além do que foi referido, há que ter em conta que a introdução é o texto pivô, que estabelece ligações com a literatura e o trabalho que se realizou, bem como entre as várias secções do relatório ou artigo. Tipicamente, um tal texto encontra-se dividido em 5 ou 6 secções, cada uma com um objetivo bem definido.

Na Introdução, além de se descrever o trabalho e a sua motivação, é necessário dar a informação necessária ao leitor para que ele possa aferir da pertinência do que expomos. Nesta secção descrevem-se as outras tentativas descritas na literatura de solução do nosso problema ou de problemas afins. A maior parte das referências são tipicamente colocadas nesta secção. Em problemas que envolvam várias matérias distintas, a introdução poderá estar organizada em subsecções, cada uma dedicada a cada tema específico. O princípio geral será sempre ajudar o leitor na organização das suas próprias ideias.

A Introdução também serve de preparação do leitor para a arquitetura que vai encontrar no texto que se segue. Geralmente, opta-se por usar o último parágrafo da Introdução para identificar as secções em que se encontra dividido o trabalho enfatizando as que consideramos mais importantes. Recordamos que tipicamente, as secções de um relatório ou artigo são, para além da introdução, métodos, resultados, discussão e conclusão. No fim, deverão incluir-se ainda as referências.

A preceder a Introdução encontra-se o Resumo (em inglês, Abstract), o qual pretende ser uma resenha de todo o trabalho, pelo que é frequentemente construído com uma estrutura interna semelhante à do relatório. Isto é, o resumo encontra-se também dividido em introdução, métodos, resultados e conclusões. Geralmente, dedica-se apenas uma frase a cada parte. Uma prática muito utilizada é escrever o resumo no fim de todo o trabalho estar escrito, uma vez que resulta então evidente quais são os aspetos chave que devem figurar.

No texto que se segue da presente comunicação, explica-se com o detalhe necessário as funções das secções de métodos, resultados, discussão e conclusão. Em cada uma destas partes indicam-se alternativas viáveis para a sua escrita e tenta-se avisar o leitor de alguns erros que se devem evitar.



Métodos: A secção de Métodos de um relatório ou artigo (ou Materiais e Métodos) serve para reportar os passos que demos para executar o nosso trabalho, relatando as opções que tomámos. A ideia subjacente nesta secção é fornecer o detalhe suficiente para que o leitor possa repetir o nosso trabalho, dado que a reprodutibilidade é um dos pilares da ciência. Devem evitar-se, nesta secção, duas tentações fortes: mostrar os resultados do trabalho efetuado e explicar por que razão se procedeu de uma determinada forma. Na secção de Métodos pretende-se apenas explicar o que foi feito e como foi feito. Tudo o mais fica para as restantes secções.

A estrutura lógica de um relatório ou artigo científico dita que primeiro se apresente a relevância do trabalho (Introdução), depois se indique como o mesmo foi realizado (Métodos), após isto que se mostrem os resultados obtidos (Resultados) e, finalmente, que se discutam e enquadrem os resultados (Discussão). As secções de Métodos, Resultados e Discussão deverão, assim, focar as diversas componentes do trabalho pela mesma ordem.

a) Esquemas, tabelas e gráficos

O uso de esquemas na secção de métodos é comum e é um ótimo recurso se o mesmo beneficiar a compreensão do trabalho. No entanto, esquemas confusos e com uma deficiente articulação com o texto criam confusão desnecessária, além de ocupar espaço inutilmente. Antes de se introduzir uma figura ou tabela num relatório, deve pensar-se cuidadosamente se o mesmo é imprescindível e se ajuda à melhor compreensão. Exemplificando, um esquema que pode ser útil incluir é um fluxograma, seja para descrever um processo de medida seja para explicar um algoritmo. É de facto preferível recorrer a um fluxograma do que apresentar um código completo, cujo detalhe é na maioria das vezes prescindível. Os cronogramas são outro tipo de esquemas bastante eficazes na explicação de processos complexos (e.g., processos laboratoriais com passos paralelos mas com interligação entre eles).

O uso de tabelas e gráficos na secção de métodos é pouco frequente mas existem situações em que se torna necessário recorrer a estes instrumentos. Os gráficos devem procurar comprimir informação mantendo-se, no entanto, simples. Gráficos com demasiados elementos devem ser evitados, sendo preferível decompor em gráficos mais simples. O tipo de gráfico a utilizar deve ser adequado ao tipo de variáveis e, sobretudo, ao objetivo específico do mesmo. Gráficos com uma grande variedade de cores e tipos de linha tendem a tornar-se confusos, pelo que se aconselha parcimónia na escolha dos tipos de elementos. Os elementos do gráfico devem ser igualmente simples e cuidados procurando-se enfatizar, através da cor, da forma ou de outra característica, os pontos mais importantes. Alguns cuidados básicos derivam diretamente do senso comum. Por exemplo, se um gráfico de barras (e.g., criminalidade violenta por cidade) é usado para dar uma ideia de medida do crime, colocar as cidades por ordem ascendente ou descendente de crime terá certamente impacto visual e ajudará o leitor. Se o que se pretende é comparar a distribuição por classes de uma variável em dois grupos distintos (e.g., preços de casas vendidas por duas imobiliárias), um histograma poderá ajudar mas um polígono de frequências relativas permitirá sobrepor curvas, o que melhorará a interpretação. 

Relativamente às tabelas, os mesmos cuidados devem ser tidos, procurando formas minimalistas de apresentação sem ferir o sentido de completude. Uma vez mais, técnicas simples de ordenação ou sombreado podem melhorar e ajudar a transmitir a mensagem que se pretende.

Todos estes elementos devem ser sempre legendados, havendo relativamente ao tipo de legenda duas opiniões distintas. Por um lado, há quem preconize que o conjunto figura e legenda devem ser auto-suficientes e, por outro, quem defenda que a legenda deva ser curta, dando apenas um indicação mínima. No primeiro caso, as legendas tendem a ser longas mas o leitor pode fazer interpretações mais profundas sem necessidade de recorrer ao texto. Existe uma tendência a haver redundância entre o texto e a legenda. No segundo caso, o leitor tem de recorrer ao texto para perceber bem a figura, mas evita-se a redundância e as legendas longas. Independentemente de se optar por legendas curtas ou longas, é fundamental que haja articulação entre texto e figura ou tabela. Estas devem ser referenciadas no texto, para que o leitor saiba quando deve interromper a leitura para analisar a informação gráfica ou tabelada. A notação deve ser coerente: não pode haver símbolos em figuras ou tabelas que não tenham sido definidos no texto.

b) Equações

Sempre que seja necessário recorrer ao uso de equações devemos optar por um editor apropriado e, acima de tudo, cuidar da sua correção científica. Todas as equações devem ser numeradas e referenciadas no texto pelo número correspondente. Todos os símbolos referidos na equação devem ser explicados no texto.


Resultados: A secção de Resultados tende a ser parca em texto. Apresentam-se os resultados segundo a organização estabelecida na secção de métodos, usando algumas frases simples de ligação e de contextualização. Por vezes, chama-se a atenção do leitor para aspetos particulares dos resultados que serão retomados na discussão. O uso desta técnica de repetição de determinados elementos permite que eles ganhem naturalmente importância.

a) Equemas, tabelas e gráficos

As figuras, tabelas e esquemas apresentados devem ser originais e nunca devem ser copiados de outra publicações sem a autorização expressa dos detentores do direito sobre essas representações. Sobre um dado tema existem, por vezes, esquemas realmente bons que exprimem a ideia que queremos transmitir e que, por isso, somos tentados a usar diretamente. Contudo esta é uma prática reprovável não só no campo ético mas também no jurídico. Por conseguinte, ao invés de usar a imagem ou esquema devemos substituí-la por outra da nossa autoria (ainda que seja inspirada naquela) referindo sempre a original. Poderá ainda pedir-se autorização ao autor da imagem para a mesma ser reproduzida, tendo-se então a obrigação de a citar e de agradecer ao autor a cortesia demonstrada. O mesmo cuidado deve ser colocado no texto escrito. Este terá de ser original. Podemos e devemos citar a literatura, mas usando as nossas próprias palavras e indicando referências.

Apresentamos de seguida alguns exemplos de esquemas, tabelas e gráficos. Optámos na presente comunicação por utilizar legendas de figuras mais completas. Embora haja bons argumentos para o uso de legendas curtas, uma explicação alongada do conteúdo das figuras permite por vezes ao leitor uma percepção mais rápida e direcionada dos conteúdos do trabalho. 

Como referimos antes, deverá sempre fazer-se uma ligação entre um texto e uma figura ou tabela. A Figura 1, que incluimos como exemplo, ilustra um processo genérico de investigação com três fases distintas: fase de desenho, fase experimental e análise dos resultados.


Figura 1. Esquema genérico relativo ao processo de investigação. O processo inicia-se com a definição rigorosa da questão de investigação. A definição da população e da medida principal são os percursores de toda a fase de desenho, onde é determinado todo o planeamento. A recolha de dados segue o plano anterior e a análise dos mesmos permite responder à questão inicial.

Incluimos também como exemplo uma tabela simples. Note-se que enquanto as legendas das figuras são colocadas após as mesmas, no caso das tabelas é usual colocar a legenda em cima. Procedemos desta forma com a Tabela 1, que contém o número de casas vendidas, por intervalo de preços, por duas imobiliárias diferentes: X e Y. São consideradas 10 classes (intervalos de preços) distintas.

Tabela 1. Número de casas vendidas para duas imobiliárias, X e Y, a operar no mercado de Coimbra.


A informação colocada numa tabela tem a vantagem de ser exacta, permitindo ao leitor a comparação entre números. Os dados apresentados na Tabela 1 podem ainda ser representados de forma gráfica, como na Figura 2.


Figura 2. Polígono de frequências absolutas relativo ao número de casas vendidas, em 2012, por duas imobiliárias a operar no mercado de Coimbra. A azul (traço cheio) encontram-se os resultados da imobiliária X e a vermelho (tracejado) representam-se os resultados da imobiliária Y. Os preços das casas encontram-se em milhares de euros.


Note-se que no caso presente, incluir no mesmo trabalho a Tabela 1 e a Figura 2 é redundante, pois transmitem a mesma informação. Num texto científico esta é uma das situações a evitar. 

É usual fazer um comentário aos resultados apresentados, sublinhando textualmente o que de mais relevante se pode retirar de uma figura ou tabela. No caso da Figura 2, uma inspeção visual permite verificar-se que os perfis e número de vendas das imobiliárias são distintos, tendo mais sucesso a imobiliária Y, que consegue vender mais casas caras que a imobiliária X.
 

 b) Equações

Como referido anteriormente, a introdução de equações deverá ser feita de forma complementar com o texto. Exemplificando para o volume de vendas das casas, este é dado aproximadamente por:



                                                                                                                         (1)



As equações deverão ser numeradas, referidas no texto e a notação contida nas mesmas explicada. No caso da equação (1), pi  representa o preço médio de uma casa da classe i e ni o número de casas vendidas nessa classe, considerando as 10 classes explicitadas na Tabela 1.

Discussão: A secção de Discussão é reservada para justificar as opções realizadas nos métodos e para dissertar sobre os resultados apresentados anteriormente, fazendo onde necessário ligações à literatura. A conservação do mesmo esquema narrativo usado nas duas secções anteriores (métodos e resultados) permite a continuidade; pode porém optar-se por não o fazer explicitamente. Isto é, apesar de no texto da Discussão dever seguir-se a mesma ordem de temas das secções anteriores, podem não ser criadas subsecções próprias.

Note-se que na secção de Resultados já deverão ter sido feitos comentários breves sublinhando os aspetos mais importantes dos resultados apresentados. Na discussão procuramos enfatizar os pontos que nos parecem mais relevantes. Assim, o tamanho do texto (p.e., em número de palavras) que dedicamos a um dado assunto pode ser encarado como uma medida prática da importância que damos ao mesmo. Um dos erros que estamos acostumados a observar em textos de alunos é o desequilíbrio na discussão das matérias dando-se por vezes relevo a temas sem importância para o trabalho. A técnica de repetição dos mesmos elementos que foram destacados na secção de Resultados é eficaz porque permite enfatizar temas. Não obstante, tem também perigos já que a atenção do leitor tanto se foca no que é dito como no que, sendo expectável que o fosse, não é.

Por exemplo, o elemento que destacámos nos resultados foi o volume e perfil de negócios que as duas imobiliárias apresentaram. Assim, a discussão sobre este ponto quase que se impõe e o leitor espera alguma explicação. Se voltarmos apenas a afirmar que a imobiliária Y teve um melhor desempenho do que a X, a atenção do leitor foca-se na falta de explicação. Falta explicar o porquê. De facto, nada dizemos sobre as dimensões das empresas, os seus custos de funcionamento, etc. O objetivo da Discussão é avançar explicações para os resultados que livremente escolhemos mostrar. No caso de um trabalho científico as explicações poderão muitas vezes vir de publicações de outros autores, que deverão ser então referenciadas.

No caso da Eq. 1 é possível notar que é uma aproximação e que, portanto, apenas podemos ter uma estimativa do volume de vendas. As conclusões feitas com base nesta equação carecem de ponderação.

Conclusão: A secção de conclusões é muitas vezes omitida por ser aglutinada na secção de Discussão. No entanto, a sua inclusão pode ser uma mais valia, na medida em que traduz a avaliação que os autores fazem sobre o trabalho realizado. Serve também para os comentários finais e para sublinhar as ideias fundamentais do relatório.

A presente comunicação apresenta uma série de linhas orientadoras para a realização de textos académicos com qualidade. Contudo, estas linhas não devem ser encaradas de forma ortodoxa. São regras práticas que devem ser seguidas com prudência e adaptadas caso-a-caso. Existem outras vias que permitem o mesmo resultado e, noutros contextos, é preferível a adoção de outros estilos. Ainda assim, podemos destacar algumas ideias base:

  • o objetivo de um relatório ou texto científico é otimizar a transmissão de informação, logo todas as estratégias que permitam cumprir este fim devem ser tidas em conta;
  • o texto deve ser coerente, com frases bem construídas e claras;
  • espera-se capacidade de resumo - textos longos são maçadores;
  • o aspeto gráfico conta - textos descuidados e desorganizados minam a transmissão de informação;
  • a existência de referências denota cuidado na contextualização;


Escrever um relatório ou artigo científico é um exercício de equilíbrios que se melhora com exigência e cuidado.

Bibliografia:
[1] Geoffrey A. Moore. Crossing the chasm: marketing and selling high-tech products to mainstream customers. HarperBusiness, New York, NY, 1991.

Na próxima edição do Perguntas Frequentes em Bioestatística: “Como e porquê testar a normalidade dos dados?”