Unidos venceremos – sobre revisões sistemáticas e metanálises como ferramentas para agregar conhecimento

(Falar de artigos científicos eu já falei, mas vocês devem estar ouvindo muito sobre revisões sistemáticas e metanálises. Chegou a hora de pincelar sobre o assunto)

Olá!

A patroa sempre gostou muito de cozinhar. Não no estilo trivial variado, mas na elaboração de novidades para finais de semana e sobremesas. Suas fontes são as mais variadas possíveis, incluindo velhas anotações feitas em papel de pão, receitas televisivas transcritas em folhas de caderno, impressões de receita catadas de sites e fotos de folhas de livros. Ora (direis), com o advento das plataformas de vídeos, tudo isso ficou obsoleto. Eu responderei dizendo que é bem verdade, mas ainda não é de todo higiênico enfiar as mãos cheias de manteiga na tela de um celular, e ter uma folha com as coisas anotadas supre bem essa carência.

Por outro lado, devo concordar que o método das folhas soltas causa vontade de chorar quando é preciso procurar algo específico. O índice é o acaso e, mesmo quando se encontra algo semelhante ao que a patroa quer, não é possível ter certeza, porque muitas delas são semelhantes. Imagine uma receita chamada “bolo de chocolate”. Quantas amostras diferentes não existem em uma caixa de mercado lotada até a boca? Eu aconselhei minha pequena patroinha a fazer anotações mais detalhadas, especialmente no que se refere aos resultados, mas ela faz ouvidos de mercador e todas as vezes que a busca se faz necessária, é das fases mais longas do preparo como um todo.

Já propus a ela fazer uma classificação, oferecendo-me a fazer a digitação, mas a coisa está gravada no meu computador somente até a página 9. Duas ideias eram o coração da coisa: criar um índice e colocar palavras-chave, o que reduziria em muito o tempo de busca, a principal pedra de tropeço do “método” adotado atualmente. Vamos ver se em algum momento a coisa vira.

Tudo isso veio à tona porque as coisas estão apertadas e ofertas razoáveis se tornam irresistíveis. Chegou uma encomenda de um bolo enorme, para cerca de 70 pessoas, e minha esposa pegou para fazer e garantir uns cobres a mais no parco orçamento. Só que um bolo de 25 kg não é um enche-dente de meio quilo, e não dá para mui simplesmente multiplicar por cinquenta uma receita qualquer, sendo necessário utilizar alguma coisa mais firme. E por isso tivemos que, mais uma vez, procurar a agulha no palheiro.

Vocês tem acompanhado ultimamente um tipo de discussão que nem em sonhos tínhamos antigamente, que é a questão de como a Ciência funciona. Isso aconteceu em boa parte por conta da pandemia sem fim, onde discussões sobre remédios válidos e vacinas elaboradas em tempo recorde trouxeram perguntas sobre o que tem valor para determinar seguranças de uso. Como muito despautério caminhou alegre por essas sendas desde que as redes sociais permitiram espalhar qualquer tipo de teoria conspiratória, eu me senti na obrigação de lançar minhas sementes de compreensão, porque é tarefa da Filosofia dizer o que uma Ciência precisa fazer para ser o que é. Então eu falei sobre revistas de divulgação científica, sobre as diferentes formas de inferir conclusões, sobre a importância da existência de grupos controle, sobre a metodologia de pesquisa científica, sobre a falseabilidade e seus aperfeiçoamentos, e achei que também era necessário tratar de outro tema muito recente, que sempre se aborda quando o assunto é área médica, mas que também se presta às demais áreas de pesquisa. É a questão da revisão sistemática, em especial a parte da metanálise.

Sabemos que a principal ferramenta da Ciência é o artigo, porque é neles que o cientista coloca a público seus experimentos, informando os métodos e protocolos que utilizou, como conduziu os procedimentos e o que foi possível concluir deles, colocando-os à prova para que outros pesquisadores possam reproduzi-los e trazer mais informações para o mesmo assunto. Ocorre que, especialmente na Medicina, há inúmeros estudos de caso que acabam por se tornar artigos, o que faz com que proliferem múltiplas peças sobre o mesmo tema, com resultados que podem variar. E mais: com n amostrais muito pequenos. Desta forma, tornou-se útil que esses artigos se tornassem agregados, o que dá duas vantagens: unifica o conhecimento que se tem sobre o tema e expande o n amostral que cada artigo primário traz para a revisão.

Uma revisão sistemática, formalmente, tem os mesmos itens de um artigo primário:

O que haverá de diferente no artigo em si são as declarações dos artigos abarcados e os itens de metodologia própria para revisões. Como essas são sistemáticas, podemos entrever o rigor que é aplicado no seu uso e desenvolvimento. Existem algumas maneiras diferentes de se prepararem revisões, mas vou listar aqui o que há de mais comum entre elas, que envolvem dez etapas.

1ª Etapa: a dúvida

Todo método científico começa com algo muito simples: uma dúvida. Não se trata de alguma coisa quotidiana, como o que fazer para a janta, mas uma dúvida metódica, à moda de Descartes. Sempre devemos lembrar que é a curiosidade, aliada à necessidade, que nos empurra no rumo da busca por soluções. Portanto, o primeiro passo para a revisão sistemática é o mesmo de qualquer outra procura científica: ter uma dúvida.

2ª etapa: a pergunta-chave

O segundo passo é formular a pergunta-chave. Pode parecer um pouco de preciosismo da parte do método, mas não é, não. A pergunta bem formulada é a pedra angular de toda a pesquisa, e serve para determinar com precisão e delinear o escopo do que se pretende, de modo a facilitar inclusive a busca futura.

3ª etapa: a busca preliminar

A terceira etapa corresponde a fazer uma busca preliminar para verificar se já existem pesquisas que versem sobre a pergunta-chave, ou seja, se esta já não possui respostas. Essa fase é exatamente aquela que vai determinar se faremos uma pesquisa do zero, se existe um artigo suficiente para prover resposta ou se unificaremos o conhecimento disponível, realizando uma revisão sistemática.

4ª etapa: o protocolo de pesquisa

A quarta fase começa a dar mais trabalho, embora a revisão comece aqui a ganhar contornos de seriedade. A descrição do protocolo de pesquisa é o momento em que o autor informará passo a passo como pretende realizar o seu trabalho, informando grupos experimentais e controle, quantidade almejada de artigos para que a pesquisa seja considerada satisfatória, quais motivos poderão levar a uma interrupção dos processos, um cronograma e orçamento, se houverem. Ou seja, será uma descrição minuciosa dos parâmetros que serão seguidos para a execução do trabalho.

5ª etapa: a busca bibliográfica

Prosseguimos para a quinta fase, a busca bibliográfica. Aqui, se dará a procura em si dos artigos primários que serão utilizados. Normalmente, são feitas pesquisas nas publicações mais confiáveis e indexadores de dados científicos, como Nature, Science, PLoS, Pubmed, Lancet, SciELO, Cochrane, Scopus e nas revistas das principais universidades, dependendo da área abordada, mas também é possível buscar resultados avulsos que não foram objeto de publicação, seja porque os resultados foram negativos, seja porque são estudos ainda em andamento, mas neste momento é preciso ser muito criterioso para não utilizar artigos rejeitados (entenda-se que artigos com resultados negativos NÃO SÃO artigos rejeitados, porque podem ser metodologicamente perfeitos, mas como não atingiram um determinado objetivo almejado, faz-se a opção de não publicá-lo, às vezes para aperfeiçoar os vetores dos estudos).

6ª etapa: os critérios de elegibilidade

A seguir teremos a hora da navalha, a descrição dos critérios de exigibilidade, que visa segregar todos os itens que serão utilizados na pesquisa daqueles que serão descartados. Vários critérios podem ser escolhidos para a melhor consistência da revisão: estudos muito antigos, por exemplo, talvez não tenham atualidade suficiente para as pretensões; certos métodos e medidas também podem não ser adequados, assim como quantidades ínfimas de amostras. É preciso lembrar que toda pesquisa que queira abraçar o mundo acabará sozinha no baile, portanto é interessante que se estabeleçam limites para formar o corpus da revisão.

7ª etapa: a coleta de dados

O próximo momento é de coletar os dados. De posse dos artigos eleitos, e especialmente nos casos em que o trabalho a ser realizado é quantitativo, será preciso tabular os dados que serão objetos das análises. As pesquisas possuem, ainda que seguindo certas normatizações, variações válidas na maneira com a qual são descritas, e isso precisará ser balanceado nesta etapa, com conversões de medidas, por exemplo. Mais ainda: há uma série de informações que são preciosas, mas que não consistem o cerne da análise que será realizada. Então é necessário que se tabulem criteriosamente os dados que serão considerados na revisão.

8ª etapa: a metanálise

Depois vem ela, a metanálise, a grande gordurinha da picanha de revisões quantitativas. Esse é o ponto central de todo o processo de revisão sistemática. Não que ela seja obrigatória, mas, quando estiver incluída no protocolo, ela cumpre o principal papel de transformar vários artigos, com vários resultados, em um só, além de tornar visualmente mais simples de compreender uma maçaroca de números. Embora seja uma ferramenta e tanto, como lança mão de técnicas estatísticas, a metanálise é nativa para estudos quantitativos, e o mais usual é a utilização de gráficos que permitam a síntese qualitativa. Como a metanálise é originária da área da saúde, o gráfico mais utilizado é o forest plot, que recebe este nome porque cada pesquisa é representada por uma árvore (que não parece nada com uma árvore). Grosso modo, os elementos de um forest plot são os seguintes:

O plano espacial é composto por um T invertido, onde a linha horizontal representa a escala de interesse do estudo, o que é bastante variável. Já a linha vertical representa o ponto de ausência de efeito, o que é fácil de pensar quando falamos de medicamentos: é o ponto em que um princípio ativo tem o mesmo efeito que o placebo. Desta forma, do lado esquerdo temos o campo para os grupos experimentais, enquanto do lado direito há o campo para o grupo controle.

Cada árvore, por sua vez, significa a representatividade de cada artigo revisado e é composta por dois elementos: uma linha que representa o intervalo de confiança do artigo e um quadrado que representa seu peso. Em rápidos miúdos, intervalo de confiança é o tamanho da variação dos resultados possível obtidos de uma pesquisa. Quanto maior for o intervalo de confiança, mais impreciso é o resultado, porque pode abranger uma gama de valores maior. Já o peso representa o quanto um estudo influencia o resultado da metanálise como um todo.

É preciso notar que uma árvore que toca ou atravessa a linha de ausência de efeito indica que os efeitos obtidos pelo estudo representado não diferem da ausência de efeitos, o que o aponta como inconclusivo. E por que considerar esses artigos? Simples. Não é porque eles não permitem uma conclusão mais assertiva que eles não trazem dados, dados esses que podem ser considerados na metanálise. No exemplo abaixo, os três primeiros estudos apresentam dados sem diferenças estatísticas significantes, enquanto o último possui força de conclusão.

O resultado é a síntese de todos os dados incluídos na metanálise, e fica representado no gráfico através de um losango, que o pessoal da área gosta de chamar de diamante. É olhando para ele que situamos o resultado da metanálise na escala e sabemos se ela é estatisticamente significativa, já que funciona da mesma forma que cada uma das árvores: ao tocar a linha de ausência de efeitos, indica-se a ausência de diferenças estatísticas.

9ª etapa: a análise de qualidade

Feita a coleta de dados e realizada ou não a metanálise, parte-se para a análise da qualidade dos artigos utilizados e para a discussão dos achados. Este ponto nos dirá se os artigos utilizados na revisão possuem boa qualidade de confecção e se carregam consigo vieses que distorcem suas conclusões.

10ª etapa: a conclusão

E o final é a conclusão, ora vejam. Sopesados e discutidos todos os resultados obtidos, é preciso especificar claramente a nova conclusão, porque, no final das contas, a revisão sistemática é como se fosse um novo estudo mais abrangente para cada um dos estudos que lhe compõem.

Então a partir de agora eu vou propor um daqueles meus célebres exercícios em que eu extrapolo um fenômeno factual para uma história com boas doses de ficção, em nome da acomodação didática, a tal da história “baseada em fatos reais”. A parte real é que a irmã Margarete, um resquício de amizade dos tempos de igreja, também pediu para a emérita patroinha fazer um bolo daqueles mega, com mais de 20 kg. Normalmente, são bolos que necessitam de escoras, para não ficarem afundando. Embora esteticamente não faça diferenças, a consorte não queria ficar enfiando pratos e tubos no meio das massas, para atrapalhar na hora do corte. Como solução, ela pensou em preparar uma massa mais firme, que dispensasse os arrimos, mas que não fosse um concreto armado desprazeroso de mastigar. Agora, começa a parte do "baseada".

A patroa achava que um meio de se tornar a massa mais consistente era a utilização de técnicas de panificação, com o uso de um fermento selvagem, como o lievito madre tão caro à nonna. De fato, pães de fermentação natural tendem a ser mais firmes que os convencionais, mas ainda assim são macios, o que parece dar uma solução para a aporia da cara-metade.

Começamos pela dúvida. Como nunca fizemos uma experiência de bolo com fermentação natural neste porte, vem aquela indecisão básica, porque pode ou não funcionar para o intento. Se funcionar, eureca, problema resolvido; se não, perde-se uma porrada de material, e nossas avós já ensinavam que é errado jogar comida fora. Portanto, nasce a dúvida. Neste caso, é saber se faz sentido o uso de fermento selvagem para dar consistência a um bolo.

Passamos para a pergunta-chave. No caso da esposa, esta servirá para especificar bem o que ela precisa para as coleguinhas que serão consultadas, ou para colecionar os artigos que deem resposta ao seu questionamento: "a adição de fermento selvagem na preparação de um bolo de grandes proporções propiciará firmeza ideal à massa?".

Vamos agora fazer a busca preliminar. No nosso exemplo, a patroa procurará receitas semelhantes em sua caixa, ligará para suas comadres lançando a pergunta-chave, pesquisará pelos sites de receitas e atestará a existência de preparados semelhantes. Como essa primeva pesquisa conterá algumas respostas positivas, já sabemos que estaremos aptos a fazer uma revisão. Apesar de ser muito aberta, esta fase já coloca alguns limites: receitas de pudim que levem fermento selvagem (não sei se isso existe) já são descartadas logo aqui. A procura é feita através de palavras-chave: bolo, fermento selvagem, densidade da massa.

Mas como a patroa pretende pesquisar as receitas? Ela precisa me contar, para que eu possa ajudá-la, e na sequência de nosso exemplo, nossa heroína determinará que o método utilizado será a comparação direta das receitas, com a reprodução de tantas quantas forem necessárias, utilizando as instalações da cozinha de casa. Deveremos priorizar receitas econômicas, sem, no entanto, deixar de apreciar as mais custosas. Separaremos também os resultados das pesquisas com e sem fermento selvagem, para a formação de um grupo controle, e obteremos os demais dados de anotações de sucesso/fracasso dadas pelas próprias autoras.

No momento da pesquisa bibliográfica, a patroa separará de fato as receitas que estão em sua caixa, as suas amigas mandarão as receitas descritas com todos os ingredientes e tempos de preparo e ela imprimirá o que achou na internet. Vai por em prática o protocolo, lendo uma por uma e fazendo o fichamento, que consiste em um resumo dos dados mais significativos que foram levantados. O resultado será o seguinte:

Os critérios de elegibilidade da patroinha serão os seguintes: somente receitas de bolos doces serão aproveitadas. Ter ou não cobertura será considerado irrelevante. Qualquer quantidade de fermento selvagem inferior ou igual à quantidade de fermento químico será critério para descarte da receita, e o peso mínimo do bolo testado será de 500 g. Notem que isso fará com que alguns itens sejam excluídos da revisão.

No próximo momento, será feita a tabulação dos dados. Madame fará uma tabela contendo os dados relevantes: quantidade de fermento utilizado, quantidade de amostras (bolos) produzidos de cada receita e o resultado estatístico geral. Ela já aproveitará para atribuir um peso para cada um dos artigos, o que será necessário para a fase seguinte.

Vamos sempre lembrar que estamos no campo do exemplo. Tendo todos os dados tabulados, o gráfico de forest plot vai ajudar a reconhecer, a partir de todas as agregações, se a receita pode dar certo e quais seriam as proporções aproximadas para executá-la.

É preciso ainda lembrar que, no caso das amigas, temos um viés que tende a tornar a guloseima ainda mais gostosa do que ela já é quando a colocamos nas palavras, e não na boca. Então será necessário que a patroa pondere, a partir das receitas dadas, quais estão propensas a refletir uma maior confiabilidade que as outras, evitando assim que esse mesmo viés seja transmitido à sua receita unificada.

Finalmente, a esforçada cônjuge poderá concluir sobre a pergunta que ela fez lá no começo, e identificar se sua dúvida originária foi sanada. Três resultados são possíveis – uma conclusão positiva (sim, a adição tornará mais firme a massa), uma conclusão negativa (não, a adição não tornará mais firme a massa) e uma resposta inconclusiva, que mantém a dúvida indefinida.

Ora (direis outra vez), olha que burros! O bolo dele vai virar pão doce. Então... eu sei fazer arroz e feijão, sei selar uma carne e dar-lhe ponto, sei fritar ovo e, principalmente, sei fazer quiches. Ou seja, fome eu não passo. Mas é tudo o que tenho de sofisticação. É claro que esta história da carochinha toda é só para tentar trazer uma metáfora com uma aplicação muito mais presente em nossos quotidianos, porque a patroa não faria uma pesquisa com esse nível de organização simplesmente para testar uma receita. O máximo que ela faria seria uma coletânea das receitas que ela quereria experimentar, ia pegar a que ela opinasse ser mais adequada e pronto. Mas o nível de detalhe nas revisões reais PRECISA ser alto. Toda revisão tem a responsabilidade de ser a substituta de vários estudos esparsos, e se ela for enviesada, há o risco de sobrevalorizar alguns e dar detrimento a outros. Lembrando ainda que as revisões são igualmente passíveis de revisão por pares e precisam ser tão reprodutíveis quanto os experimentos que leva em conta.

Isso aqui está ficando mais comprido que sermão de sexta-feira santa. Mais uma vez relembro que meu objetivo não é dar visões definitivas sobre questões metodológicas, mas dar-lhes ideia de sua existência, do que são e porque são mencionadas nestes tempos de debates acalorados. Quando alguém falar que faltam revisões ou metanálises para corroborar estudos em fases iniciais, é sobre isso que está dizendo, e foi com essa rota que a Ciência chegou ao ponto de produzir vacinas em menos de um ano. Bons ventos a todos!

Recomendação de leitura:

É um livro de metodologia, e, como tal, é leitura técnica. Além disso, é bem voltado para a área de saúde, o que pode nos dar a falsa impressão de que não é aplicável às demais áreas de pesquisa, o que não é verdade. Baseei-me todo nele para redigir este texto, mas saibam que há variações metodológicas que funcionam igualmente bem.

HONORIO, Heitor M.; SANTIAGO JR., Joel F. Fundamentos das Revisões Sistemáticas em Odontologia. São Paulo: Quintessence, 2018.