Vieses podem atrapalhar a vida de quem faz revisões sistemáticas

(Tudo bem, revisões sistemáticas são importantes. Mas o que podemos fazer quando os estudos incluídos estão enviesados?)

Olá!

Nem bem acabei de publicar meu último texto, que versa sobre revisões sistemáticas e metanálises, e já me sinto compelido a voltar ao assunto. A questão é que, como citei nele a patroinha, tão logo o publiquei fiz o repasse para que ela o lesse. Ela gostou, disse que eu sou um sonhador quando penso em um exemplo e que ficou razoável de entender. Não gostei. Como assim, razoável? Ela disse que não entendeu porque é preciso fazer análise da qualidade dos artigos depois de feito todo o trabalho pesado, e não antes. Aliás, como assim que os artigos têm vieses? Isso não é coisa de pessoas? Perguntas pertinentes, e então parto para a resposta. Não tranca que lá vem alavanca*.

Vamos começar falando sobre vieses. Desde muito jovem, como já pude falar neste texto, eu ajudava minha mãe com as costuras dela. Menos com linha e agulha, mais com logística, entregando roupas prontas, buscando modelos e comprando tudo quanto é badulaque, desde botões e zíperes até forros e entretelas, muitas vezes correndo atrás dos próprios tecidos. Um dos itens que me dava mais trabalho de achar era a fita de viés, que era uma guarnição vendida em rolos, e que servia para dar acabamento nas roupas. O entrave era a combinação deste artigo com o tecido principal. Se fosse da mesma cor da peça, precisava ser idêntico, e isso às vezes levava horas. Se fosse diferente, havia uma dependência do bom gosto, o que eu não conseguia garantir do alto da minha meninice. Veja um exemplo de uso desta fita:

Mas por que esse nome? Como bem se sabe, um tecido é composto por uma trama de fios, que se entrecruzam na horizontal e na vertical, que as costureiras chamam de fio reto e fio atravessado, respectivamente. Ocorre que, com exceção de lençóis e toalhas, peças de roupa precisam de cortes curvos, como golas, mangas e tantos outros. Quando é feito um corte arredondado, a tendência do tecido é ganhar um mendicante aspecto de farrapo, especialmente quando sair dos sentidos das coordenadas dos fios, ou seja, quando o sentido do corte fica enviesado, colocado em alguma posição diagonal dos dois sentidos dos fios. A fita de viés serve para ocultar as pontinhas dos fios e proteger a roupa do desfiamento. Resultado: viés é algo que atravessa o que seria um sentido normal, um desvio do fluxo ordinário.

Passando para o campo que nos interessa, podemos notar agora que um viés é um desvio inconsciente da melhor lógica aplicada à cognição. Esses fenômenos ocorrem com imensa frequência, porque parte de dispositivos mentais que nos levam a decisões rápidas ou favoráveis a nós mesmos, o que, sejamos francos, ajuda na sobrevida. Mas nós não podemos viver unicamente entre o instintivo e o intuitivo. Quando queremos buscar informações próximas da verdade, precisamos de raciocínio, de inteligência.

Vieses cognitivos existem aos montes. Quando tomamos como verdade uma afirmação que confirme qualquer coisa em que acreditemos, temos um viés de confirmação. Quando encaramos o mundo apenas por um lado positivo, a ponto de faltar reconhecimento de que há riscos em saber que há momentos de baixa, temos um viés de positividade. Quando guiamos nossos pensamentos pelas coisas que vemos mais frequentemente, temos um viés de disponibilidade. Existe até um viés de se achar fora do alcance dos vieses, de quem tratarei no futuro.

Quando falamos em artigos científicos, precisamos lembrar que são feitos por humanos, e que, como dissemos, tem vieses inescapáveis. Por mais que um pesquisador seja cuidadoso, ele pode começar a entortar o caminho de seu trabalho pelos mais variados motivos, e isso faz com que o mesmo perca qualidade. Como a Ciência é um ofício que não se produz sozinho, é de se esperar que outros pesquisadores acabem por revisar essas falhas e levá-las a claro, para que se cumpra o autoajuste previsto nas metodologias. Então é por isso que os artigos científicos se tornam enviesados, o que também pode acontecer com revisões, que é um artigo que reúne artigos, estando tão sujeito a vieses quanto as partes que o compõe. Vou citar os mais comuns deles.

Viés de publicação: sempre que começamos um estudo, queremos responder uma pergunta. Algumas vezes, essa pergunta é neutra, não mudando a cotação da bolsa se vai para o céu ou para o inferno. Mas há perguntas que não são imparciais. Se queremos saber se um determinado medicamento é eficiente contra uma doença, torceremos para que ele funcione, seja por altruísmo, seja para registrar a patente. Entretanto, os resultados podem ser negativos, e o remédio funcione tanto quanto a reza da benzedeira. O resultado negativo trará uma tendência a não ser publicado, porque daí para frente o pesquisador poderá considerá-lo perda de tempo. O viés de publicação faz com que haja uma quantidade maior de resultados positivos enviados à publicação, o que é um erro. Resultados negativos SÃO resultados de pesquisas, e não quer dizer que o estudo em si foi malfeito, mas que a pergunta-chave foi respondida de forma negativa. Isso é especialmente comum em pesquisas financiadas pela iniciativa privada, que provavelmente só se interessariam em resultados positivos e não gostariam de gastar ainda mais com o velório de um natimorto. Lembrem-se disso quando forem criticar os financiamentos públicos.

Viés de performance: as peripécias da mente humana fazem com que sejamos capazes de nos curar sem a utilização de fármacos, como pode ser lido neste texto. Não se trata de milagre, mas de um conhecido efeito psicológico chamado efeito placebo, que mostra nossa capacidade de interação entre corpo e mente. Só que isso é um atrapalho e tanto quando você quer medir efeitos de um tratamento, por exemplo, porque há pessoas mais suscetíveis ao efeito placebo do que outras, e você nunca saberá se o integrante do grupo sentiu efeitos por ação da aplicação ou da sua cabeça. Além disso, também o pesquisador é influenciado pelos resultados, e tenderá a dar mais atenção ao grupo experimental que ao grupo controle. Por essa razão, os estudos clínicos mais sérios fazem o cegamento de todos os participantes, e então ninguém é de ninguém: tudo é feito para que se chegue às conclusões sem que se saiba individualmente como foi o andamento da pesquisa. Ocorre que, por vezes, as informações de pesquisa vazam para um dos grupos ou para o time de pesquisa, e, uma vez conhecendo os procedimentos em si, a mecânica do duplo-cego deixa de funcionar a contento, adulterando o desempenho que se esperava daquele ponto específico. Um dos motivos é a “cosquinha” que um pesquisador pode sentir ao observar resultados parciais, e querer confirmar qual dos grupos está performando aqueles dados.

Viés de atrito: quando realizamos uma pesquisa, é necessário que calculemos o tamanho adequado de participantes dos grupos experimental e controle, e isso será descrito nos protocolos. Por mais que sejam descritas as informações possíveis aos participantes da pesquisa e a importância daquele estudo, fato é que sempre se darão defecções após o início dos trabalhos. Os motivos são os mais variados: o indivíduo pode não estar percebendo melhoras, pode ter efeitos adversos, mudar de residência, morrer ou simplesmente ficar de saco cheio. O protocolo da pesquisa deve prever essa perda de participantes e descrever o que fazer nessas ocasiões. O diabo é que por vezes os próprios procedimentos impedem de se saber que um participante deixou o estudo. Se esse êxodo supera o percentual previsto nos protocolos, os resultados podem perder muito de sua acurácia.

Viés de seleção: um estudo precisa delinear com precisão qual público precisará atingir em seu objetivo prático. Imaginemos, por exemplo, que estejamos pesquisando sobre o impacto psicológico da pandemia nos usuários de serviços geriátricos. Que tipo de público necessitamos avaliar? Ora, de idosos! Neste caso, de pouca valia terá a participação de pessoas jovens, que só servirá para “sujar” a pesquisa. Pode ser tentador aproveitar candidatos já inscritos, porque a prospecção de camadas indisponíveis é muito pedregosa, mas acontece de que o público alvo tenha baixa representatividade no grupo a ser pesquisado.

Viés de relato: é bem parecido com o viés de publicação, com a sutileza de que estudos amplos geram uma miríade de dados que ora são favoráveis, ora não. Esse viés consiste em dar mais peso na conclusão aos resultados positivos, tornando-o distorcido.

Existem muitos outros vieses que podem influenciar nos resultados das pesquisas, alguns muito simples, como dar preferência a artigos de uma língua em especial em detrimento de outras menos prestigiosas, e há também fraudes desabridas que manipulam dados intencionalmente, como extensões de pesquisa por tempo desnecessário até se chegar a um objetivo desejado, tipo o árbitro que dá acréscimos até o time da casa conseguir o gol de empate. Mas a questão é: como se pode analisar qualitativamente os artigos e as revisões para que tenhamos conclusões adequadas?

Bom, a primeira asserção não é animadora: não existem milagres. A segunda é um pouco mais alvissareira – existem procedimentos e ferramentas estatísticas que podem dar uma ajuda em qualificar os artigos com relação a vieses. Mas é necessário arregaçar as mangas.

Primeiramente, é preciso fazer uma crítica nos procedimentos de cada artigo, observando se o aspecto temporal é bastante abrangente, quais foram as bases de dados consultadas, se as palavras-chave correspondem aos verdadeiros termos que deveriam ser pesquisados e se também incluem dados da literatura cinzenta, aqueles artigos que não chegaram a ser publicados, relatórios governamentais, estudos em andamento e outras fontes que possuem valor de pesquisa, mas que estão fora dos meios convencionais de divulgação. Também é importante averiguar os motivadores e financiadores da pesquisa, porque particulares tem interesses muito diferentes do que instituições públicas.

Depois disso, em revisões que contém um número razoável de artigos, é possível usar uma ferramenta estatística conhecida como gráfico de funil (esperem um minuto que eu vou ligar um disco do Arti e Mestieri, que tem um funil na capa). Ele permite estabelecer linhas de tendência que demonstram o quanto os dados de uma revisão são homogêneos ou não. Vamos mostrar como ele é.

É um gráfico de coordenadas, onde o eixo X representa o tamanho do efeito, enquanto o eixo Y contém o inverso da variância, que representa a precisão do estudo. Por que esse palavrório todo? É porque se assume que, quanto mais preciso for um estudo, menor variação ele vai ter. Se eu pegar o tamanho dessa variação e invertê-lo, terei o ponto de precisão, entenderam?

A linha vertical pontilhada representa o tamanho do efeito real e será ela que constituirá o vértice do funil, servindo de parâmetro para o balanceamento da plotagem dos estudos.

Em seguida, são plotados pela área do gráfico os resultados de cada um dos estudos, sendo que aqueles que ficam no topo do gráfico são os resultados mais precisos, enquanto os menos precisos ficam dispersos pela parte baixa do plano.

Por fim, são traçadas as linhas de tendência, o que dá ao campo dos dados um aspecto de funil. Quer dizer... mais ou menos. E aí está o pulo do gato dessa técnica: os plots ficarão distribuídos de maneira mais ou menos dispersa dentro do gráfico. Se houver homogeneidade, isso é um indicativo de baixo índice de viés.

Porém, se a distribuição for heterogênea, com a dispersão muito concentrada em um único lado da linha de corte, há uma chance muito grande de risco de viés, principalmente por conta de defeitos na aleatoriedade.

Existem aperfeiçoamentos a este modelo gráfico, como os testes de Egger e de Begg, mas vai ficar muito pesado tratar sobre eles em um texto em que se pretende simplesmente passar uma noção geral do que é a ação de vieses em revisões. E é preciso lembrar que, apesar de tentar trazer elementos objetivos que permitam detectar inconsistências em estudos, trata-se de uma atividade que é preponderantemente analítica, que precisa de carga subjetiva. Para dar um exemplo, é plenamente possível que uma heterogeneidade seja legítima, dependendo de outros fatores diferentes dos vieses, e só detalhando os estudos é que se poderá chegar a uma conclusão.

Já aqui podemos entender porque a análise qualitativa é feita após a coleta de dados (ou da metanálise, quando aplicável), e não antes. Mas aqui tem a pergunta de um milhão de moedas: não é o caso de remover os estudos com maiores suspeitas de fraude ou de viés?

E a resposta é não. Não podemos “acusar” um estudo de fraudulento sem comprovações. Quando ela ocorrer, o artigo será retratado, e neste caso será considerado nulo. Com relação a vieses e baixa qualidade dos componentes da revisão sistemática, é preciso lembrar-se de duas regras de ouro: a revisão deve ser ampla e imparcial.

A revisão precisa ser ampla porque deve-se seguir o princípio de que ela terá a intenção de unificar o conhecimento que se possui sobre o questionamento a que faz propósito de responder, e isso inclui também os pequenos estudos, os artigos com suspeita de viés e assim por diante. E precisa ser imparcial porque não lhe cabe julgar os dados fornecidos, mas tão-somente analisá-los. Uma revisão precisa ser tão imparcial quanto deveriam ser os artigos que lhe compõem, sob pena de ela mesma incorrer em um viés de seleção. O remédio para se proteger dos estudos de baixa qualidade é avaliar o peso que devem ter no conjunto de dados, e deixar claro no capítulo de discussão qual foi o tratamento dado a eles, para que se possa ser objeto de crítica e correção, se necessário.

Sendo assim, espero ter respondido a pergunta da patroa e de mais alguém que eventualmente tenha procurado este espaço, sempre se lembrando da cruzada que tenho feito para ajudar no combate à ignorância filosófico-científica, com as poucas armas que disponho. Bons ventos a todos!

Recomendações:

Canal da Amanda Sardeli, que contém vídeos rápidos sobre revisões e metanálises:

https://www.youtube.com/channel/UCsvWE5n-4dCJDhDStJMsqjA/videos

Já que mencionei o Arti e Mestieri, trata-se de uma banda italiana de primeira linha, cujo capolavoro é o álbum Tilt, que tem um grande funil na capa. Um de seus membros, Furio Chirico, é um dos melhores bateristas que já andou neste planeta. Para quem gosta de fusion, é um prato cheio muito recomendado. A capa do álbum é essa aí embaixo, extraída do excelente site www.italianprog.it.

* Esse era o nome de um programa de humor da Rádio USP lá pela década de 80.