Conceitos-chave para fazer melhores escolhas

Todo mundo faz afirmações sobre o que funciona. Políticos afirmam que o policiamento de parar e procurar reduzirá os crimes violentos; amigos podem afirmar que as vacinas causam autismo; os anunciantes declaram que a comida natural é saudável. Um grupo de cientistas relata que dar a todas as crianças em idade escolar pílulas de desparasitação em algumas áreas como uma das intervenções mais potentes contra a pobreza do nosso tempo. Outro grupo considera que não melhora a saúde ou o desempenho das crianças na escola.

Infelizmente, as pessoas geralmente deixam de pensar criticamente sobre a confiabilidade das reivindicações, incluindo os formuladores de políticas que avaliam as feitas pelos cientistas. As escolas não fazem o suficiente para preparar os jovens para pensar criticamente. Muitas pessoas lutam para avaliar evidências. Como consequência, elas podem fazer más escolhas.

Para abordar esse déficit, apresentamos aqui um conjunto de princípios para avaliar a confiabilidade das afirmações sobre o que funciona e para fazer escolhas informadas. Esperamos que cientistas e profissionais de todos os campos avaliem, usem e comentem. Os recursos foram adaptados, aproveitando a expertise de duas dúzias de pesquisadores, a partir de uma estrutura desenvolvida para os cuidados de saúde [*].

Idealmente, esses conceitos devem ser incorporados na educação para cidadãos de todas as idades. Isso deve ser feito usando recursos de aprendizado e estratégias de ensino que foram avaliadas e demonstraram ser eficazes.

Conceitos-chave para opções informadas

REIVINDICAÇÕES

Reivindicações sobre efeitos devem ser apoiadas por evidências de comparações justas. Outras reivindicações não são necessariamente erradas, mas há uma base insuficiente para acreditar nelas.

As alegações não devem pressupor que as intervenções sejam seguras, efetivas ou certas.

• As intervenções podem causar danos e benefícios.
• Efeitos grandes e dramáticos são raros.
• Raramente, ou nunca, podemos ter certeza sobre os efeitos das intervenções.

Pressupostos aparentemente lógicos não são uma base suficiente para reivindicações.

• Crenças sozinhas sobre como as intervenções funcionam não são preditores confiáveis ​​da presença ou tamanho dos efeitos.
• Um resultado pode estar associado a uma intervenção, mas não causado por ela.
• Mais dados não são necessariamente melhores dados.
• Os resultados de um estudo considerado isoladamente podem ser enganosos.
• Intervenções amplamente utilizadas ou aquelas que foram usadas por décadas não são necessariamente benéficas ou seguras.
• Intervenções novas ou tecnologicamente impressionantes podem não ser melhores que as alternativas disponíveis.
• Aumentar a quantidade de uma intervenção não aumenta necessariamente seus benefícios e pode causar danos.

Confiança em uma fonte sozinha não é uma base suficiente para acreditar em uma alegação.

• Interesses concorrentes podem resultar em alegações enganosas.
• Experiências pessoais ou anedotas por si só são uma base não confiável para a maioria das reivindicações.
• Opiniões de especialistas, autoridades, celebridades ou outros indivíduos respeitados não são uma base confiável para reivindicações.
• A revisão por pares e a publicação por um periódico não garantem que as comparações tenham sido justas.

COMPARAÇÕES

Os estudos devem fazer comparações justas, projetadas para minimizar o risco de erros sistemáticos (vieses) e erros aleatórios (o jogo do acaso).

Comparações de intervenções devem ser justas.

• Os grupos e condições de comparação devem ser tão semelhantes quanto possível.
• Comparações indiretas de intervenções em diferentes estudos podem ser enganosas.
• As pessoas, grupos ou condições que estão sendo comparados devem ser tratados de forma semelhante, além das intervenções em estudo.
• Os resultados devem ser avaliados da mesma forma nos grupos ou condições comparados.
• Os resultados devem ser avaliados usando métodos que se mostraram confiáveis.
• É importante avaliar os resultados em todas (ou quase todas) as pessoas ou sujeitos de um estudo.
• Quando a alocação aleatória é usada, os resultados das pessoas ou dos sujeitos devem ser contados no grupo ao qual foram alocados.

Sínteses de estudos devem ser confiáveis.

• Revisões de estudos comparando intervenções devem usar métodos sistemáticos.
• Não considerar resultados não publicados de comparações justas pode influenciar as estimativas de efeitos.
• Comparações de intervenções podem ser sensíveis a pressupostos subjacentes.
• As descrições devem refletir o tamanho dos efeitos e o risco de serem enganados por acaso.
• Descrições verbais do tamanho dos efeitos por si só podem ser enganosas.
• Pequenos estudos podem ser enganosos.
• Intervalos de confiança devem ser relatados para estimativas de efeitos.
• A conclusão de que os resultados sejam "estatisticamente significativos" ou "não significativos" pode ser enganosa.
• A falta de evidência de uma diferença não é o mesmo que a evidência de nenhuma diferença.

ESCOLHAS

O que fazer depende de julgamentos sobre o problema, a relevância (aplicabilidade ou transferibilidade) das evidências disponíveis e o equilíbrio dos benefícios, danos e custos esperados.

Problemas, objetivos e opções devem ser definidos.

• O problema deve ser diagnosticado ou descrito corretamente.
• Os objetivos e opções devem ser aceitáveis ​​e viáveis.
• A evidência disponível deve ser relevante.
• A atenção deve se concentrar nos resultados importantes, e não substitutos, das intervenções.
• Não deve haver diferenças importantes entre as pessoas nos estudos e aquelas a quem os resultados do estudo serão aplicados.
• As intervenções comparadas devem ser semelhantes às de interesse.
• As circunstâncias em que as intervenções foram comparadas devem ser semelhantes às de interesse.

Efeitos positivos esperados devem superar os contras.

• Pesar os benefícios e ganhos contra os danos e custos de agir ou não.
• Considere como estes são valorizados, sua certeza e como eles são distribuídos.
• Incertezas importantes sobre os efeitos das intervenções devem ser reduzidas por outras comparações justas.

Evidência confiável

As pessoas estão inundadas com informações. Simplesmente dar-lhes mais é improvável que seja útil, a menos que seu valor seja compreendido. Uma pesquisa de 2016 no Reino Unido mostrou que apenas cerca de um terço do público confia em evidências de pesquisas médicas; cerca de dois terços confiam nas experiências de amigos e familiares [*].

Nem todas as evidências são criadas da mesma forma. No entanto, as pessoas geralmente não apreciam quais afirmações são mais confiáveis ​​do que outras; que tipo de comparações são necessárias para avaliar propostas diferentes de forma justa; ou que outras informações precisam ser consideradas para informar boas escolhas.

Por exemplo, muitas pessoas não entendem que duas coisas podem ser associadas sem que uma cause necessariamente a outra. A mídia às vezes perpetua esse problema usando uma linguagem que sugere que causa e efeito foram estabelecidos quando não existe [*] - por exemplo, declarações como "café pode matar você" ou "beber um copo de cerveja por dia pode fazer você viver mais". Pior ainda, alegações causais exageradas muitas vezes apimentam comunicados de imprensa de universidades e periódicos [*].

Teste aleatório

Alunos em uma escola em Uganda. Crédito: Mikkel Ostergaard / Panos

O projeto IHC (Informed Health Choices) foi inicialmente desenvolvido entre 2012 e 2017 por uma colaboração que inclui alguns dos coautores deste artigo (ADO, AD, IC e MO). O projeto inclui seu próprio conjunto de conceitos-chave, recursos de aprendizado e um banco de dados de perguntas de múltipla escolha para avaliar quão bem os usuários podem aplicar os conceitos.

Em 2016, um ensaio randomizado envolvendo 120 escolas e mais de 10.000 crianças em idade escolar em Uganda mostrou que esses recursos melhoraram a capacidade de crianças de 10 a 12 anos de idade de aplicar 12 dos conceitos-chave [*]. Esses conceitos incluem, por exemplo, reconhecer que apenas experiências pessoais são uma base insuficiente para alegações sobre efeitos, e que pequenos estudos podem ser enganosos.

Neste estudo, 69% das crianças que aprenderam os conceitos-chave passaram por um teste de múltipla escolha sobre sua capacidade de pensar criticamente sobre alegações de saúde. Em comparação, apenas 27% das crianças que não foram informadas sobre os conceitos passaram no mesmo teste.

Estudos que fazem comparações justas são cruciais, mas muitas vezes as pessoas não sabem avaliar a validade da pesquisa. Revisões sistemáticas que sintetizam estudos bem desenhados e relevantes para questões claramente definidas são mais confiáveis ​​do que observações aleatórias. Isso ocorre porque eles são menos suscetíveis a vieses (distorções sistemáticas) e ao jogo do acaso (erros aleatórios). No entanto, os resultados de estudos individuais são frequentemente relatados isoladamente, como fatos. Daí as manchetes sensacionalistas como "chocolate é bom para você", seguido na próxima semana por "chocolate é ruim para você".

Para fazer boas escolhas, outros tipos de informação também são necessários - por exemplo, sobre custos e viabilidade. Experimentos também devem ser feitos sobre a relevância da informação da pesquisa (como aplicável ou transferível) e sobre o equilíbrio entre os prováveis ​​efeitos desejáveis ​​e indesejáveis ​​de um medicamento, terapia ou regulação.

Quando se trata de impostos sobre carbono, por exemplo, os formuladores de políticas precisam considerar evidências sobre os efeitos ambientais e econômicos de tais impostos, julgar quão comparável é seu contexto com o dos estudos e avaliar quão onerosas são as dificuldades administrativas. Eles também precisam modelar como as cargas tributárias serão distribuídas entre os grupos socioeconômicos e pensar se os impostos serão aceitos em suas jurisdições.

Pensamento crítico

Indivíduos e organizações em muitos campos estão trabalhando para permitir que as pessoas tomem decisões informadas. Esses esforços incluem sintetizar a melhor evidência disponível em revisões sistemáticas; tornar essas informações mais acessíveis, por meio de resumos em linguagem simples ou acesso aberto; e ensinar as pessoas a usar esses recursos. Exemplos de tais organizações de revisão são Cochrane (anteriormente chamado de Cochrane Collaboration), que se concentra em cuidados de saúde; a Colaboração Campbell, que analisa os efeitos das políticas sociais; a Colaboração para Evidências Ambientais; e a Sociedade Internacional para Cuidados de Saúde Baseada em Evidências. Outros incluem o Centro de Gestão Baseada em Evidência, o Centro de África para a Evidência, a Iniciativa Internacional para a Avaliação de Impacto (conhecida como 3ie) e os Centros What Works da Grã-Bretanha .

Infelizmente, os acadêmicos tendem a trabalhar em silos e podem perder oportunidades de aprender com os outros. A perícia dos autores deste artigo abrange 14 campos: agricultura, economia, educação, gestão ambiental, desenvolvimento internacional, cuidados de saúde, aprendizagem informal, gestão, nutrição, saúde planetária, policiamento, fonoaudiologia, bem-estar social e medicina veterinária.

Nós identificamos muitos conceitos que se aplicam a esses campos. Alguns outros conceitos são mais relevantes em alguns campos do que em outros. Por exemplo, muitas vezes é importante considerar possíveis efeitos de placebo ao avaliar alegações sobre tratamentos médicos e nutrição; raramente são relevantes para intervenções no meio ambiente.

Conceitos-chave em ação

Uma maternidade em Dar es Salaam, na Tanzânia. Crédito: Gary Carlton / Alamy

REIVINDICAÇÕES

Crenças apenas sobre como as intervenções funcionam não são preditores confiáveis ​​da presença ou tamanho dos efeitos.

A maioria das pessoas acha que é difícil influenciar o envolvimento dos pais na educação dos filhos. A suposição é, portanto, que intervenções mais intensivas (e mais caras) seriam mais prováveis ​​de serem efetivas. No entanto, estudos de intervenções intensivas muitas vezes não conseguiram mostrar efeitos sobre o sucesso dos alunos, medidos usando testes padrão (ver go.nature.com/2gfy8io).

Enquanto isso, uma avaliação recente dos efeitos de pais que enviam mensagens de texto semanalmente com atualizações sobre a escolaridade de seus filhos teve efeitos positivos sobre a frequência das crianças, a submissão dos trabalhos de casa e a realização da matemática (ver go.nature.com/2t7ormy). Estes efeitos foram pequenos, mas o custo foi muito baixo. Isso ilustra que - ao contrário de nossos palpites - intervenções baratas podem ser úteis, e as caras podem falhar.

COMPARAÇÕES

As condições devem ser tão semelhantes quanto possível.

Programas 'Scared Straight' levam jovens infratores a visitas a prisões, partindo do pressuposto de que essa experiência e a escuta das descrições da vida dentro dos internos impedirão a delinquência juvenil. Alguns estudos descobriram que tais visitas às prisões foram seguidas por grandes reduções no comportamento delinquente. Mas muita coisa pode mudar em um grupo de jovens ao longo do tempo, incluindo o fato de se tornarem mais velhos e mais maduros. Como alguém pode saber que as visitas à prisão causaram a redução? 

Experiências mais justas foram feitas, nas quais os jovens foram aleatoriamente designados para visitar a prisão ou não, criando grupos que eram mais comparáveis. As comparações entre esses grupos mostraram mais delinquência nos jovens expostos às prisões do que naqueles que não tinham sido expostos. 

ESCOLHAS

Quando há incertezas importantes sobre os efeitos das intervenções, elas devem ser reduzidas por comparações justas.

No setor da saúde, os esquemas de financiamento nos quais os fundos são liberados somente se uma ação específica for tomada ou se a meta de desempenho for atingida se tornaram populares. Bilhões de dólares foram investidos na promoção desses esquemas em países de baixa e média renda, com o objetivo de atingir metas internacionais de desenvolvimento [*]. Por exemplo, os profissionais de saúde receberam recompensas em dinheiro por aumentar a porcentagem de nascimentos em clínicas (em vez de em casa), com a intenção de melhorar a saúde e a sobrevivência materna e neonatal. 

Mas os esquemas de financiamento baseados no desempenho podem ter efeitos adversos não intencionais, como encorajar os profissionais de saúde a falsificar registros ou negligenciar outras atividades. Na Tanzânia, algumas unidades de saúde ameaçaram novas mães com multas ou negação de vacinas para seus filhos [*]. Para intervenções em que há muita incerteza sobre os prós e contras, outras comparações justas devem ser feitas antes ou durante a implantação de tais esquemas.

Nossa colaboração já levou muitos de nós a desenvolver frameworks para campos específicos e sugerir melhorias para a estrutura original da Healthed Health Choices [*]. Há poder na identificação de um problema que ressoa em diferentes domínios; fornece impulso para alinhar os esforços.

Os principais conceitos para opções informadas não são uma lista de verificação. É um ponto de partida. Embora tenhamos organizado as ideias em três grupos (reivindicações, comparações e escolhas), elas podem ser usadas para desenvolver recursos de aprendizagem que incluam qualquer combinação desses, apresentados em qualquer ordem. Esperamos que os conceitos sejam úteis para pessoas que ajudam os outros a pensar criticamente sobre quais evidências devem confiar e o que fazer, incluindo aquelas que ensinam o pensamento crítico e as responsáveis ​​pela comunicação dos resultados da pesquisa.

Próximos passos

A prática informada por evidências é agora ensinada a profissionais em muitos campos diferentes, e esses esforços devem crescer. É também crucial que as crianças aprendam esses conceitos-chave, em vez de retardar a aquisição dessas habilidades até a idade adulta. Os jovens que foram explicitamente ensinados a pensar criticamente fazem julgamentos melhores do que aqueles que não têm [*]. Educar as pessoas sobre tais conceitos em uma idade jovem estabelece uma base importante para o aprendizado futuro.

Uma parte importante do trabalho de incentivar o pensamento crítico é aprender e compartilhar estratégias que promovam o ceticismo saudável, mas que evitem consequências adversas não intencionais. Estes incluem induzir o niilismo (extremo ceticismo); admitir afirmações falsas de que a incerteza é um argumento defensável contra a ação (sobre a mudança climática, por exemplo); ou encorajar falsas crenças - como a de que toda pesquisa não é confiável por causa de interesses conflitantes entre aqueles que promovem intervenções particulares.

Os interesses conflitantes assumem várias formas em diferentes campos, mas os desafios e soluções são semelhantes: reconhecimento de conflitos potenciais, transparência e avaliações independentes. Conseguir isso depende de uma melhor compreensão do público sobre a necessidade de avaliação independente e da demanda pública por investimento, assim como a comunicação imparcial dos resultados.

É necessário maior desenvolvimento e especialização dos principais conceitos para escolhas informadas, e sugestões são muito bem-vindas. Por exemplo, é preciso dar mais atenção a como esses conceitos podem ser aplicados a ações para abordar mudanças em todo o sistema, levando em conta interações complexas e dinâmicas e ciclos de feedback, como na mitigação da mudança climática ou nas estratégias de adaptação.

Criamos, portanto, um site ( www.thatsaclaim.org ) no qual nossos principais conceitos podem ser adaptados a diferentes campos e usuários-alvo, traduzidos para outros idiomas e vinculados a recursos de aprendizagem.

Fonte: https://go.nature.com/2LctMiv