Guia rápido para saber a credibilidade de uma fonte

Estamos expostos a uma evolução constante no sector de actividade física que tem mais a ver com as tendências cíclicas próprias da…

guia-rápida, Estamos expostos a uma evolução constante no sector de actividade física que tem mais a ver com as tendências cíclicas próprias da moda que, com a evolução científica propriamente dita. Cada vez que aparece algo novo que promete resultados do que nunca temos obtido, na maioria dos casos, está relacionado com estratégias de marketing que visam a estimular as vendas, a exemplo do que acontece quando voltam as calças de-sino.

É por isso que, para evitar que nos enganem, é fundamental analisar cada uma das promessas que nos faz a publicidade de toda técnica nova, produto ou tecnologia de treinamento. De fato, se aplicarmos a diretriz que nós usamos em PERFORMA Personal Trainer em Valência, observaremos que grande parte das novidades no mercado não passa do quinto ponto, em muitas ocasiões, nem sequer do primeiro.

O guia é simples. Começa desde o primeiro ponto. Se a resposta é satisfatória passa ao seguinte. No caso de ser negativa, abandona o teste. Quanto mais longe chegar uma determinada promessa, mais probabilidade haverá de que está relacionada com o conhecimento atual, e não tanto com um possível engano ou fraude.

1. SEMPRE, SEMPRE, SEMPRE PEDE A CITAÇÃO OU REFERÊNCIA DO ESTUDO

Em caso de que se lhe dêem, passa para o próximo ponto. Se não, abandona imediatamente o teste e aquilo que você está fazendo e o que você pediu a citação. Te poupará, certamente, uma quantidade importante de dinheiro, tempo, esforço e desgostos.

Deve ser um estudo publicado em uma revista científica. Não serve de uma experiência pessoal, uma vez que esta mesma experiência diz em muitos casos é possível prever o futuro observando os astros, as linhas da mão, ou até mesmo em um bar do bairro de Malasaña, em Madrid, segundo me contam, os sedimentos do café. Por norma geral, que esgrime o argumento da experiência pessoal, é porque carece de respaldo científico ou, pelo menos, não sabe se conta com ele.

O método científico, bem aplicado, isola as diferentes variáveis que podem afetar o resultado, de forma que, quando há uma melhora significativa só pode ser causado por aquilo que se está investigando. Não há que esquecer que a maioria dos resultados observados são multifactoriales e a experiência pessoal não tem a capacidade de isolar as diferentes variáveis. Se é verdade que a ciência parte do empirismo, tão certo é que a imensa maioria de hipóteses baseadas na experiência acabam descartando-se ao não superar a investigação científica mais rigorosa.

2. PUBLICAÇÃO

Deve ter sido publicado em uma revista científica de prestígio. Não adianta um site pessoal, de uma empresa, ou redes sociais, mesmo que se use a desculpa de que desta forma, qualquer pessoa poderá acessar a informação. O método científico exige o exame do restante da comunidade científica, de tal forma que se submeta a exame o rigor da metodologia, os resultados obtidos e as conclusões dos diversos estudos. Além disso, um estudo deve ser reproduzível para que seus resultados sejam aferidos e isso só é possível se se publica em um meio sério, onde o resto da comunidade científica possa aceder à informação.

3. O QUE DIZ O ESTUDO?

Li recentemente que um conhecido método de treinamento abdominal, melhorando o desempenho sexual. Surpreendentemente, incluindo a referência e, ao revê-la, observei que, em nenhum momento, o estudo se tinha analisado essa técnica de treinamento em concreto, mas que se referia à atividade física em geral. Eu acho que aqueles que citaram o estudo pensaram que colocar a referência lhes daria uma maior credibilidade e que ninguém provou.

4. CONFLITO DE INTERESSES

Todos os estúdios estão equipados com um número ao final do texto, em que se relatam os possíveis conflitos de interesses de seus autores, bem como a fonte de financiamento. Se alguns dos autores beneficia-se pessoalmente com os resultados do estudo, ou recebe financiamento de uma empresa, indústria ou lobby para que o faça, o estudo carece de credibilidade e deve abandonar-se neste ponto o exame.

5. CREDIBILIDADE DA REVISTA

Tal como disse anteriormente, o método científico se sustenta em publicações existentes para tentar chegar a conclusões mais complexas e robustas. Para isso, baseiam-se em estudos anteriormente publicados para argumentar as diferentes hipóteses, assim como para a realização das revisões de bibliografia com as que se pretendem alcançar conclusões mais rigorosas. Cada vez que um estudo mencionado recebe uma intimação. Quanto mais citações recebe um estúdio, mais credibilidade você dá a comunidade científica, uma vez que é utilizado por um maior número de investigações posteriores.

Existem diferentes índices que captam o número de citações e, através de um algoritmo, traduzem-se em um coeficiente que trata de quantificar a solidez e a credibilidade de uma revista. O índice mais importante é o JCR (Journal Citation Reports), cujo coeficiente é chamado de “índice ou fator de impacto”. Quando uma revista encontra-se neste índice, diz-se que está indexada ao igual que a totalidade de seus estudos. É por isso que, muitas vezes, quem pede uma referência exige, que o estudo ou a revista que o publica estejam indexados. Também é critério usual de inclusão nas resenhas que menciono no ponto seguinte.

Além disso, a revista deve ser sujeita a revisão por pares (Peer review), ou seja, uma série de cientistas especialistas na matéria que tenha revisado o rigor do estudo, metodologia, estatística, resultado e conclusões. Não se conhece a identidade desses revisores, o que garante a limpeza ao processo e evitar que eles possam ser comprados ou coagidos. Na apresentação de cada revista científica indica se funciona através da revisão por pares. Ao ser publicados normalmente em inglês, procura o termo ‘Peer review’.

No caso da revista onde o estudo seja ‘peer review’ e está indexadas no JCR e, por isso, conte com fator de impacto, salta para o próximo ponto.

6. TIPO DE ESTUDO

Nem todos os estudos são iguais. Por norma geral, aqueles com amostras maiores e mais representativas da população que se pretende analisar terão resultados mais sólidos. Se eu jogar uma moeda ao ar 10 vezes é possível que eu saia um 7 vezes cara, o que não significa que se tenha demonstrado que em 70% das vezes que lance uma moeda sairá cara. Quanto mais vezes lance da moeda, o resultado vai se aproximando cada vez mais da realidade. Quando não conhecemos essa realidade, é importante que a amostra seja o mais grande possível uma vez que os resultados são mais confiáveis.

Isto me leva ao nível mais rigoroso de publicação, que não é outro que as revisões que se analisa toda a bibliografia existente que cumpre com os critérios de inclusão. Dentro destas revisões, são os isso resultaria aqueles que maior rigor e credibilidade têm devido a que ao unir as amostras de um grande número de estudos chega-se a uma representatividade muito maior.

Também, em relação às disciplinas que permitem isso, um estudo que utilize uma técnica de mascaramento, como, por exemplo, de um duplo-cego, conta com uma maior credibilidade do que aqueles que não o utilizam. Um duplo-cego, é que nem o pesquisador nem sujeito conhecem se no seu caso você está usando aquilo que se está tentando analisar ou um placebo. Infelizmente, isso pode ser usado facilmente no campo da medicina ou nutrição, mas é complicado no campo da formação e da atividade física, por motivos óbvios.

7. EXCEÇÕES E NUANCES

É possível que nos encontremos com um estudo que aprovar todos os pontos anteriores. Chegado a este nível, há duas situações que devemos identificar e evitar.

Cherry picking

Consiste em escolher a partir de todos os estudos existentes apenas aquele que nos interessa, em função da promessa ou argumento que queremos defender. Se um estudo diz algo que contradiz o resto da bibliografia que conta, no mínimo, com a mesma eficácia,deve ser entendido como uma exceção e não como um indício de que todos estão errados ou são fraudulentos.

IMG_0696

Falácia de publicação

Tal como disse recentemente em Cadeia SER o pesquisador do CSIC JM Mulet, autor de livros como “Medicina sem truques” e “Comer sem medo”, um estudo com resultados positivos pode ser mais atraente para as revistas científicas. Se um estudo que tente analisar a capacidade de beber água da chuva na cura do câncer obtiver um resultado negativo, não o publicará ninguém e é possível que até se riam dele. No entanto, se se realiza um estudo que observa uma cura do câncer pela ingestão de água de chuva e a metodologia é aparentemente séria, sairão noivas por toda a parte. É por isso que alguns pesquisadores sem escrúpulos que pretendem ganhar um prestígio que não merece podem chegar a modificar um estudo para obter os resultados desejados e, assim, facilitar a sua publicação.

Comentários

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *