É terrivelmente fácil enganar milhões de pessoas com pesquisas científicas fajutas
Você deve ter lido alguma coisa sobre a suposta dieta que trazia resultados mais rápidos ao incluir chocolate no cardápio. As matérias sobre a tal dieta se baseavam em uma pesquisa do Instituto de Dieta e Saúde (Institute of Diet and Health) e eram de autoria do médico alemão e diretor do instituto Johannes Bohannon. Ela foi publicada por revistas científicas e divulgada mundialmente em sites, revistas e programas de TV. E ela não passou de uma grande mentira.
Johannes Bohannon e o Instituto de Dieta e Saúde não passam de invenções do jornalista John Bohannon. Ele criou o site do instituto e publicou o estudo para expor como é fácil divulgar um estudo científico duvidoso.
>>> Revistas científicas aceitam artigo “escrito” por Maggie Simpson
>>> 120 artigos foram criados em “gerador de lero-lero” e ninguém percebeu
O estudo
O jornalista explica no io9 que a pesquisa foi encomendada por um canal de televisão alemão. Uma equipe do canal produzia um documentário sobre a ciência fajuta da indústria da dieta, que transformam ciência ruim, barata e duvidosa em grandes manchetes em jornais. E, tirando os resultados, tudo foi feito como uma pesquisa de verdade: com médicos, um profissional de estatística e objetos de pesquisa — pessoas dispostas a participar da dieta.
Os sujeitos participantes da pesquisa — 5 homens e 11 mulheres, de 19 a 67 anos — receberam 150 euros cada e foram informados que o estudo fazia parte de um documentário sobre dietas e nada mais.
A escolha do chocolate amargo veio do médico responsável pelos exames clínicos da pesquisa. Gunther Frank, clínico geral e autor de um livro contra a pseudociência por trás de dietas, explica: “Chocolate amargo tem gosto ruim, e por isso as pessoas acham que ele faz bem”, diz. “É como uma religião.”
Depois de uma bateria de exames, o clínico separou os participantes em três grupos distintos: o primeiro em uma dieta de baixa caloria, o segundo na mesma dieta de baixa caloria mais a inclusão de 40 g de chocolate por dia, e o terceiro grupo continuou com os mesmos hábitos alimentares que já mantinham. Cada indivíduo se pesou diariamente por 21 dias consecutivos e foi submetido a um questionário e mais uma bateria de exames ao final do experimento.
E o resultado? O terceiro grupo manteve ou teve mudanças insignificantes no peso, enquanto cada indivíduo do segundo e do primeiro grupo emagreceu cerca de 2.5 kg; o segundo grupo, o que incluía chocolate na dieta, perdeu peso 10% mais rápido e teve melhores resultados nos exames de colesterol que o primeiro grupo.
O resultado
Então o estudo funciona? Bem, sim e não. O estudo mostrou uma aceleração na perda de peso do grupo que comeu chocolate, no entanto, o número de indivíduos testados é muito pequeno para se chegar a qualquer conclusão — os testes foram feitos com apenas 15 pessoas. Mas os responsáveis pelo estudo sabiam disso. Bohannon explica no post:
Se você medir um grande número de coisas em um número pequeno de pessoas, você quase certamente terá um resultado ‘estatisticamente significativo’.
E adivinha? O estudo conta com dezoito medidas diferentes — peso, colesterol, sódio, níveis de proteína do sangue, qualidade do sono, bem-estar e outros — e apenas 15 pessoas para teste. Eles estavam fadados a obter pelo menos um resultado bom. “Não sabíamos com o que terminaríamos — as manchetes poderiam ser que chocolate melhora o sono ou diminui a pressão arterial — mas sabíamos que nossas chances de ter pelo menos um resultado ‘estatisticamente significativo’ eram boas”, diz o jornalista.
Além disso, Bohannon explica que os hábitos alimentares do terceiro grupo, que não recebeu nenhuma dieta, sequer foi questionado; e alguns fatores, como o ciclo menstrual, que pode oscilar o peso de mulheres em quantidades próximas ao que a dieta prometia eliminar, também não foi levado em consideração.
Publicando e divulgando
Com os resultados em mãos, Bohannon submeteu a pesquisa para publicação em revistas científicas e dentro de 24 horas diversas publicações mostraram interesse em divulgá-la — a equipe acabou escolhendo a International Archives of Medicine, que, apesar de afirmar revisar cada pesquisa rigorosamente, publicaria o estudo por 600 euros.
Uma vez publicada, era a hora de divulgar a história: um release à imprensa bem explicado, que frisava os pontos fortes da pesquisa – como o chocolate ser um instrumento para perder peso – e omitia possíveis questionamentos, como o pequeno número de participantes da pesquisa. O release era praticamente uma matéria pronta para os jornalistas a publicarem, como diz o próprio Bohannon — e ela serviu perfeitamente para chamar a atenção de revistas e sites dos mais diversos lugares.
Dezenas de mídias de todo o mundo publicaram a história: Irish Examiner, o site alemão da Cosmopolitan, Times of India, o site alemão e indiano do Huffington Post, um telejornal do Texas e um programa matinal da Austrália divulgaram o estudo.
No Brasil, caíram na pegadinha o portal Vírgula, a TV Cultura e o site F5, da Folha de S. Paulo. (Só o F5 corrigiu o texto.)
Comer chocolate todo dia pode ajudar a emagrecer, diz estudo http://t.co/jVTrrXTGnk pic.twitter.com/Dn53pXaQbZ
— Folha de S.Paulo (@folha) April 7, 2015
http://t.co/hq88J8gwDl – A notícia do seu dia: estudo diz que comer chocolate diariamente pode ajudar a emagrecer pic.twitter.com/1f0lJr3nA9
— Virgula (@sitevirgula) April 8, 2015
E nas poucas vezes em que foi contatado por jornalistas, Bohannon diz que ninguém perguntou sobre o número de participantes da pesquisa, e nenhuma matéria parecia consultar a pesquisa em si – algo necessário para averiguar se as descobertas eram mesmo reais.
A lição
Bohannon usou o estudo em dietas para alertar como é fácil publicar e divulgar um estudo dúbio, e como a editoria cientifica de revistas e jornais tem sido tratada como fofoca pela mídia. Ele espera que o experimento faça de repórteres e leitores mais céticos:
Se um estudo não lista quantas pessoas fizeram parte dele, ou afirma que os resultados são “estatisticamente significativos”, você deve perguntar o porquê. Quando falhamos [em questionar], o mundo é inundado por ciência fajuta.
O documentário sobre a pesquisa estreia este mês. Confira o trailer abaixo:
[io9]
Foto de capa: Lee McCoy/Flickr