Pequeno guia das grandes falácias - 38º tomo: a Amostra Não Significativa (e também uma série de observações sobre as metodologias de pesquisa social)

Olá!

Clique aqui para ver a lista das falácias já publicadas

Quem é de São Paulo já se deparou com a cena. Em uma tranquila tarde de domingo, o sol ameno e o pouco a fazer nos convidam a sair de casa, onde as pilhas de contas e de roupas ameaçam perturbar a nossa rara tranquilidade. O destino pode ser variado: um parque, um shopping, a casa de um parente ou até uma cidade próxima, como fiz no fim de semana passado. Para quem não conhece, a cidade é um emaranhado sem fim de avenidas, ruas, becos, vielas e ladeiras, mas há algumas que são absolutamente fundantes do tráfego paulistano, como a 23 de maio, a Bandeirantes, a Radial Leste e a Avenida do Estado. Mas as verdadeiras artérias são as Marginais, principalmente a Tietê. Está mais para jugular do que para aorta, porque é fácil de se estrangular, apesar de suas muitas pistas e faixas de rolamento. Ela corta a cidade de leste a oeste, e em seu leito asfáltico desembocam rodovias de grande porte, como a Dutra, a Castelo Branco, a Anhanguera, a Bandeirantes e a Ayrton Senna. Dessa forma, é natural que seu trânsito seja bastante carregado, repleto de caminhões que cortam a cidade e de ônibus que despejam seus passageiros no Terminal, o maior da América Latina.

Mas estamos falando de um domingo comum, fora de um fim de semana prolongado ou do fecha das férias. Portanto, a Marginal, que não se chama Marginal, deve estar bem livre, proporcionando ligação rápida ao meu destino. Depois de uns bons três quilômetros de rodagem, surge o paredão metálico à minha frente, composto por quatro fileiras de carros forçosamente bem comportadas, porque quedadas inertes. Dei aquela pescoçada típica de quem quer enxergar um pouco mais adiante, mas só vejo veículos e mais veículos, claros e escuros, particulares e empresariais, cupês e sedans, trincando de novos e desmanchando de velhos, comprovando que o coágulo que estancava a circulação estava um bocado longe.

Não tenho, na essência, nada o que fazer. Nem no sentido de operar algum milagre que me faça sair do enrosco, nem no sentido de ter algum pai a ser tirado da forca, mas tenho o princípio basilar de não suportar trânsito no domingo, num efeito psicológico que não sei dizer o nome. Quinze minutos de engarrafamento no domingo me incomodam mais do que uma hora inteira durante a semana, provavelmente por causa do inesperado e da sensação de que a vida se esvai enquanto o mundo gira e eu não rodo. O principal sintoma é que eu vou ficando chato; insuportável, é melhor admitir. O resultado é que eu e a patroa acabamos soltando algumas farpas, por conta da azia causada pelo desconforto, e acabamos ficando silentes e bicudos.

É a oportunidade para olhar ao redor e ficar conjuminando certas coisas, como o leito do rio que poderia ser aproveitado para transporte público, com o uso de barcas-ônibus; a área de lazer imensa que ficaria disponível ao pobre paulistano, não fosse o cheiro nauseabundo e a toxicidade de suas águas cheias de veneno e merda; a quantidade imensurável de carros e como os cidadãos daqui se tornaram dependentes, quase escravos, de seus objetos de desejo automotivos. Tudo isso até fitar os olhos na placa que indica a velocidade máxima: 90 Km/h. Ironia máxima: o prefeito anterior baixou a velocidade das marginais para 70 Km/h e o atual a elevou novamente, e eu pensando – prá que? Onde só se anda a dez por hora, a velocidade indicada nas placas parece puro sarcasmo. Mas essa história de aumenta e diminui gerou bastante polêmica.

É que o motivo alegado pelo então prefeito Fernando Haddad para baixar a velocidade nas marginais (e na cidade como um todo) era priorizar a segurança em relação à fluidez. Isso irritou muita gente, a ponto de ser bandeira de campanha do atual prefeito, João Dória, restabelecer a velocidade anterior, ao menos nas marginais, o que fez. Posso discordar da medida, mas, tendo declarado a intenção em campanha, tendo sido eleito democraticamente e tendo a medida a legalidade necessária, tem mais é que cumprir mesmo. Só que os números que demonstram a queda das vítimas no período Haddad e o novo aumento no retorno à velocidade anterior criam um certo desaconchego.

As justificativas para optar por um dos caminhos podem ser mais ou menos razoáveis. Para quem compreender ser melhor a redução, a justificativa óbvia é a quantidade de vidas poupadas. Do lado de quem defende o aumento da velocidade, a melhor delas é o fato de que as marginais são vias expressas, equivalentes citadinas às rodovias, e que exatamente pela razão de interligá-las não podem representar um gargalo, tendo algo como um status diferenciado de funcionamento. Pode-se dizer que a produção do país deveria escoar por ferrovias e tal e coisa, mas o que temos para a janta são os meios viários, e é com eles que precisamos nos virar. Também se pode dizer que a velocidade máxima regulamentada é meramente figurativa, mas ela também vale para madrugadas e, acreditem, para finais de semana, que, bem às vezes, permitem um desempenho mais arrojado. Mas escutei uma explicação insólita para justificar a diminuição dos números de acidentes nas marginais quando da equivalente diminuição da velocidade. Essa explicação dizia que os acidentes haviam diminuído porque, com a crise econômica que coincidia naquele momento, o número de carros em circulação havia se reduzido muito, haja vista à queda nas vendas de veículos na ocasião. Essa é a falácia da amostra não significativa e falaremos sobre ela agora.

Em primeiro lugar, lembremos que uma falácia se reveste de verdade porque sua intenção é ludibriar, e isso não seria possível se fosse uma cascata pura e simples. No caso da amostra não significativa, não há erros nas estatísticas que se usam para embasar os argumentos, mas na maneira com a qual são utilizadas. É a aplicação prática do dito popular que nos faz trocar alhos por bugalhos*.

O argumento da crise é evidentemente furado, porque faz supor que a retração econômica levou à diminuição da frota em circulação. Vejam bem: a diminuição de vendas fez com que, de fato, menos carros entrassem nas ruas, o que não significa que a quantidade total tenha se reduzido, apenas que o incremento e a reposição tenham sido menores. Percebam que, desde 2008, segundo o site do Detran, a frota de veículos licenciados em nenhum momento cai. Para que isso tivesse ocorrido, a crise teria que ser de proporções monumentais, com gente morrendo de fome. Mas a pesquisa que diz que a produção de carros diminuiu nesse período é correta. O problema está no seu uso. A representação das quedas nas vendas de veículos pode ser usada legitimamente em muitos casos: índices de desemprego, estagnação econômica, percentuais de inadimplência, volumes de financiamentos. Mas, como há um elemento comum entre quedas nos números de acidentes e de vendas, a correlação é facilmente estabelecida. Mas isso quer dizer que um número seja significativo para o outro? É claro que não.

Percebam que a diminuição da frota colaboraria com a fluidez do tráfego, aumentando a velocidade e a quantidade de acidentes por embalo, pois não? Mas aqui luta-se contra o óbvio – velocidades menores diminuem acidentes, e aqueles que ainda ocorrerem serão menos graves. Basta ter em mente que, a uma velocidade zero, ocorrerão zero acidentes; e se eu for atropelado a dez por hora, terei pouco mais que um hematoma oriundo de um beliscão. Como eu disse, pode-se legitimamente achar ruim que a velocidade média da cidade seja minorada, mas justificar bons índices com a incidência da crise, com os indicadores econômicos e com estatísticas decrescentes é balela, é falácia, é amostra não significativa.

Percebam também que uma amostra retirada de uma determinada pesquisa para ser utilizada em outra pode ser significativa, dependendo do contexto em que é aplicada. Os fatores econômicos utilizados maliciosamente para tentar explicar a queda no número de acidentes graves nas marginais podem ser utilizados licitamente para justificar um aumento nas matrículas de escolas públicas, ou de decréscimo na contratação de serviços supérfluos.

Bem, eu estou aqui mencionando alguns casos quase esdrúxulos de erro no uso de estatísticas, mas eles podem ser muito mais sutis, especialmente quando buscam espelhar grandes camadas de uma determinada população. Este é um dos motivos pelos quais a Sociologia voltou seu olhar com muito critério para a elaboração de pesquisas que consigam fugir aos vícios metodológicos que as distorçam, e, neste sentido, os sociólogos norte-americanos são figuras de proa.

A grande alavancagem dos sistemas de pesquisa social dos ianques veio com o advento do crack da bolsa de valores de Nova Iorque, que desencadeou uma autêntica bola de neve de problemas econômicos, refletindo na qualidade de vida da sociedade. Neste painel, era necessário desenvolver métodos que permitissem a coleta de informações de grandes extensões territoriais, como é o caso de um país de dimensões continentais como os EUA, e que essa coleta pudesse ser feita o mais rapidamente possível, com facilidade para configurar a análise dos dados e atacar os pontos de fragilidade social o mais certeiramente que desse. Seu principal sistematizador foi o austríaco radicado nas terras do Tio Sam, Paul Lazarsfeld. Matemático e filósofo, procurou aplicar critérios de impessoalidade e imparcialidade tipicamente científicos em suas pesquisas. Fundou, na Universidade de Colúmbia, a Secretaria de Pesquisa Social Aplicada, onde desenvolveu sua principal ferramenta, o survey. E o que é essa coisa?

Sabe quando você recebe aqueles extensos formulários onde são questionadas coisas e mais coisas sobre a sua vida? Aquilo é uma amostra pouco séria do que é um survey. Os quesitos de um desses questionários são redigidos para serem os mais isentos possíveis, e construídos de forma a ser possível efetuar uma classificação, como se fosse uma prova de múltipla escolha. Essa forma de construção permite uma fácil tabulação dos dados, e é a partir do recolhimento de todas as informações que se passa à fase de análise. Até então, a coleta é “robotizada”, ou seja, a opinião do pesquisador não significa nada, tendo este um mero papel de anotador. Outra característica é que um survey isolado também não tem significado algum. É no conjunto das respostas que se dá o verdadeiro valor da pesquisa.

Mas não é só no cuidado na elaboração dos questionários que está o jogo da metodologia de Lazarsfeld. Outros fatores imprescindíveis para evitar vícios é o tamanho da amostra ser bem dimensionado (uma amostra muito pequena é pouco significativa e uma muito grande é muito cara, virando um censo ou uma eleição), a detecção dos estratos sociais que dão as respostas (uma pesquisa varia muito dependendo do grau de benefício que uma determinada população percebe de uma medida), a temporalidade das pesquisas (é óbvio que uma pesquisa inédita não terá base de comparação, mas ela deverá ser o marco inicial de uma série) e o perfil geográfico da área almejada. A adoção destes critérios fará com que as pesquisas sejam autocorretivas, de modo a trazer cada vez maior confiabilidade em seus resultados. Vamos pegar um exemplo básico: a sensação de segurança aérea. No aspecto dimensional, se a amostra é pequena, há risco de haver poucos ou muitos usuários de voos, distorcendo os resultados. No quesito estrato social, se há consulta a camadas mais pobres da população, que não tem dinheiro para comprar passagens aéreas, a resposta será substancialmente diferente daquela obtida por executivos que precisam viajar semanalmente. No critério temporal, uma pesquisa realizada logo após um acidente aéreo de grandes proporções certamente proporcionará um pico de negatividade. E, por fim, no aspecto geográfico, pessoas que moram nas cabeceiras de aeroportos terão naturalmente mais receio do que pessoas que moram a quilômetros de distância.

Apesar de toda a sua engenhosidade, o survey tem limites. Seu modus operandi é muito bom para aferir dados quantitativamente, abraçando grande contingentes populacionais, mas falha quando o objeto de análise é uma pequena comunidade ou um nicho muito específico da população. Digamos que seja feita uma pesquisa na cidade de São Paulo para que se determine como torcem as pessoas em seus respectivos bairros. Em todos eles, com variações dentro das margens esperadas, a história se repete: corinthianos, são-paulinos, palmeirenses e santistas dividem praticamente todo o bolo, com frações ínfimas para clubes menores e times de outros estados. Só há uma exceção: a Mooca. Lá, o pequenino Juventus se torna gigante, a ponto de lotar todos os seus jogos, independentemente do fato de só se debater contra escretes de seu tamanho (e não de sua tradição). O primeiro pensamento leva a crer que o motivo reside no fato de se tratar do time de um bairro, mas o fenômeno não se repete na Barra Funda e no Canindé, onde Nacional e Portuguesa pouco mudam de seu percentual no restante da cidade. Em tudo, a Mooca parece um furo estatístico, que permanece no tempo. Isso é o que de melhor um survey pode detectar. Para compreender corretamente o que acontece com a Mooca, é preciso ir até ela, deixar de ser um mero coletor de informações e passar a obter a confiança das pessoas que lá vivem, conhecendo seus usos e costumes, as histórias que contam e com que diabos o tal do Juventus influencia suas vidas a ponto de se tornar um caso sui generis. É o chamado estudo de caso.

O estudo de caso é muito usado por antropólogos e sociólogos que precisam sair dos ares condicionados de seus escritórios para compreender culturas divergentes do comportamento padrão de um todo populacional. Já mencionei aqui o clássico de William Foote White, Sociedade de Esquina, onde o sociólogo em questão ousou ao extremo, ao estabelecer convívio com um ambiente criminoso para poder compreendê-lo a fundo. Daí, podemos concluir que o método do estudo de caso dá qualidade à pesquisa, na medida em que outorga especificidade em pontos nos quais uma pesquisa quantitativa, como o survey, não consegue atingir. Por outro lado, como os métodos qualitativos se calcam menos em dados objetivos, é preciso que a isenção da coleta se baseie menos nas informações e mais no pesquisador, o que, sejamos francos, não é nada fácil. Eis aqui belas fontes de amostras não significativas: a utilização de dados quantitativos em problemas específicos ou de estudos de caso para problemas gerais. Na pesquisa do exemplo, o survey serve para avaliar toda a cidade. O estudo de caso serve para a Mooca; a realidade da Capela do Socorro, com o seu Barceloninha, é outra. O survey se aplica para a abrangência; o estudo de caso, para a profundidade.

Por isso, é bom tomar cuidado quando se quiser usar uma estatística para justificar um argumento. Ela pode ser exatamente o contrário do que se quer provar.

Recomendação de leitura:

Lazarsfeld é um autor amplo, e, apesar de seu método de pesquisa social ser sua principal contribuição para o arcabouço intelectual da humanidade, é bom que se conheça mais de sua obra.

LASARZFELD, Paul. A Sociologia. Lisboa: Bertrand, 1970.

* O bugalho é muito pouco conhecido no Brasil. Não é propriamente um fruto, mas uma noz que se forma por ação de insetos no carvalho, árvore típica do hemisfério norte, e que costumamos importar já devidamente beneficiada.