CAPITULO 3   OS NUMEROZINHOS QUE NÃO ESTÃO LÁ

"Pessoas que a usam, declaram ter 23% menos cáries com a pasta Doake's", berram as letras garrafais. À medida que você continua a ler, fica sabendo que lhe será mais agradável ter 23% menos de dor. Tais resultados, descobre você, são afirmados por um laboratório tranquilizantemente "independente, e a contagem é atestada por um contador público juramentado". Que mais pedir?

Entretanto, se você não for exageradamente crédulo ou otimista, há de se lembrar, por experiência própria, que raramente uma pasta dentifrícia é melhor do que outra. Então, por que o pessoal da Doake's apresenta tais resultados? Podem eles dizer mentiras impunemente, e com letras de tal tamanho? Não, não precisam. Ha meios mais fáceis e mais eficazes.

O palhaço principal nesta piada é a amostra inadequada - quero dizer, estatisticamente inadequada (para o que a Doake's quer, até que é muito adequada). O grupo das "pessoas que utilizam", usado no teste (dirá, em letras microscópicas, no fundo do anúncio), é de apenas 12 pessoas. O pessoal da Doake's é muito cavalheiresco. Dá-nos essa informação que muitos omitiriam, e deixariam até os estatísticos sofisticados (como nós) apalermados para descobrir a tramóia utilizada. Sua amostra de apenas uma dúzia também não é má, do jeito que andam fazendo tais amostragens.

Apareceu no mercado, anos atrás, um Pó Dental do Dr Caloso, protestando ter tido "considerável sucesso na correção de cáries dentárias". A idéia-mãe é de que o pó continha uréia, a qual considerava-se ter sido demonstrado, em laboratório, como sendo um santo remédio, para o fim desejado. A inutilidade da afirmação estava no fato de o trabalho experimental ter sido puramente preliminar, e de ter sido aplicado apenas a exatamente seis casos.

Mas voltemos à facilidade que tem a gente da Doake's de impor-nos uma manchete sem falsidades, e tudo cheio de atestados etc. Admitamos que um grupinho de pessoas fique contando quantas cáries aparecem em seis meses, e depois que mude para o dentifrício de Doake's. Três coisas podem ocorrer: aumento substancial das cáries, diminuição substancial das cáries, e as cáries aparecerem mais ou menos na mesma proporção. No primeiro ou no último caso, Doake's arquiva os números (bem escondido) e faz nova tentativa. Mais cedo ou mais tarde, por força das probabilidades, um dos grupinhos mostrará uma melhora digna das manchetes, e talvez de uma campanha publicitária inteira. Isto acontecerá caso usem o Doake's, caso usem bicarbonato ou mesmo que continuem com o mesmo dentifrício anterior.

A importância de se usar um grupo pequeno é estar num grande grupo, e qualquer diferença produzida pelo acaso é normalmente pequena, e indigna de manchetes. Uma melhoria de 2% não vai vender muito mais dentifrício.

Resultados que não são indicativos de coisa alguma podem ser produzidos por puro acaso - dado um número de casos bastante pequeno. Isto é algo que você pode testar por si mesmo, a baixo custo. Comece jogando cara-ou-coroa. Quantas vezes sairá cara? Metade das vezes, claro. Todos sabem disso.

Bem, peguemos uma moeda e vamos verificar. Tentei dez vezes e saiu cara oito vezes, o que prova que moedas caem de cara em 80% das jogadas. Bem, pelo menos pelas estatísticas dentifrícias, isto é verdade. Agora, experimente você. Poderá chegar a um resultado de 50-50, mas provavelmente isto não se dará; seu resultado, como o meu, tem uma boa chance de estar bem longe dos 50-50. Mas, se sua paciência durar mil jogadas, você poderá ter (quase) a certeza de obter um resultado muito aproximado de que a metade das jogadas resulte em cara, o que representa a probabilidade real. Apenas quando há um número grande de tentativas é que a lei das médias fornece uma descrição ou predição realmente útil.

Quantas vezes bastará? Esta é uma pergunta difícil. Depende, entre outros fatores, do tamanho e da variedade da população que você está estudando por amostragem. E, às vezes, o número na amostra não é o que parece.

Um caso interessante surgiu, ligado a um teste da vacina de poliomielite, há alguns anos. Parecia tratar-se de uma experiência de escala impressionantemente larga, ao menos pelos padrões das experiências médicas: 450 crianças foram vacinadas numa comunidade, e 680 ficaram sem vacina, para servir de controle. Pouco depois, a comunidade foi atacada por uma epidemia. Nenhuma das crianças vacinadas contraiu um caso conhecível de pólio. E nenhuma das outras também.

O que os experimentadores negligenciaram, ou não perceberam no planejamento de seu projeto, foi a baixa incidência da pólio paralisante. Na taxa normal, apenas dois casos seriam de esperar num grupo de tal tamanho e, assim, o teste foi condenado, de inicio, a não ter sentido. Algo parecido com 15 a 20 vezes essa quantidade de crianças seria necessário para se obter uma resposta significativa de alguma coisa.

Muitas das grandes (se bem que temporárias e evanescentes) descobertas médicas, foram lançadas desse modo. "Corra", dizia um médico, "para usar um novo remédio antes que seja tarde".

Nem sempre a culpa está com a classe médica. A pressão pública e o jornalismo apressado frequentemente lançam um tratamento não comprovado, especialmente quando a demanda é grande e o panorama estatístico é nebuloso. Isto sucedeu com as vacinas contra resfriados, que foram populares há alguns anos, e mais recentemente com os anti-histamínicos. Um bocado da popularidade dessas "curas" malsucedidas resultou da natureza fugidia do mal, e de um defeito de lógica. Depois de algum tempo, o resfriado é autocurável.

Como podemos evitar sermos enganados por resultados inconclusivos? Deve cada um ser seu próprio estatístico e estudar os dados crus por si mesmo? A situação não é assim tão má. Existe um teste de significância que é de fácil compreensão. É simplesmente uma maneira de relatar a estatística de modo que apareça bem claro se um número produzido por testes representa um resultado real, e não algo produzido pelo acaso. Este é o numerozinho que não está lá - na presunção de que você, o leitor leigo, não entenda. Ou que você entenda, quando então é o caso de esconder alguma coisa propositalmente.

Caso a fonte de sua informação lhe dê também o nivel de significância, você terá melhor oportunidade de saber onde realmente pisa. Esse nivel de significância é muito simplesmente expresso como uma probabilidade, como sucede quando o Bureau do Censo lhe diz honestamente que existem 19 chances em 20 de que seus números tenham um nivel especificado de precisão. Para a maioria das finalidades, qualquer resultado mais pobre do que esses 5%, no nível de significância, basta para não demonstrar coisa alguma. Para alguns fins, o nível requerido é de 1%, isto é, haverá 99 chances em 100 de que uma aparente diferença (ou seja lá o que for) seja verdadeira. Qualquer coisa assim é, às vezes, descrita como "praticamente certa".

Há outra espécie de numerozinho que não se encontra lá, uma espécie de número cuja ausência pode ser danosa na mesma intensidade. É o que nos informa a faixa de variação, ou seu desvio da média que é dada. Geralmente uma média - média aritmética ou mediana, especificada ou não - é uma simplificação tal que é pior do que inútil. Nada conhecer sobre um assunto é, frequentemente, mais sadio do que saber o que não é verdade, e um pouquinho só de conhecimento pode ser coisa muito perigosa.

Muito do que se tem feito recentemente a respeito da habitação americana, por exemplo, foi planejado para ajustar-se à família estatisticamente média de 3,6 pessoas. Traduzido para a realidade, isto significa 3 ou 4 pessoas, o que, por sua vez, significa habitação com dois dormitórios. E a família deste tamanho, embora seja "média", na verdade é uma minoria entre as famílias. "Construímos casas médias para famílias médias", dizem os construtores - e deixam de lado a maioria, que são as famílias acima e abaixo da tal média. Algumas áreas, por conseqüência, foram superconstruidas com residências de dois dormitórios, e subconstruidas quanto a residências de um e de três dormitórios. Aqui está uma estatística cuja enganosa parcialidade teve conseqüências extremamente caras.

A Associação Americana de Saúde Pública diz, a respeito desses casos: "Quando olhamos para além da média aritmética, para as faixas verdadeiras, que tais médias representam enganosamente, verificamos que as famílias de três e de quatro pessoas constituem apenas 45% do total; 35% são de uma ou duas pessoas; 20% possuem mais de quatro pessoas".

O bom-senso falhou, em face da convincente precisão e autoridade do 3,6. De alguma maneira, o número fracionário fez-nos esquecer o óbvio, que todos conhecemos, da simples observação: muitas famílias são pequenas, e algumas são grandes.

Mais ou menos do mesmo jeito, esses numerozinhos, que estão ausentes no que chamamos "Normas de Gesell", já encheram de angústia muitos papais e mamães. Que um progenitor extremoso leia, como muitos já o fizeram, em lugares tais como suplementos dominicais de jornais aparentemente sérios, que "uma criança" aprende a sentar-se ereta aos "tantos" meses, e o coitado pensará imediatamente no seu filho. Basta que o tal filho não se sente ereto na tal idade, e o progenitor extremoso concluirá que sua descendência é "retardada", "sub-normal" ou qualquer outro sinônimo de desvio, já que metade das crianças não irá sentar-se em tal idade (para poder constituir a média), um número enorme de pais torna-se infeliz. Claro que sua infelicidade é compensada pelo júbilo inenarrável dos outros 50% de pais, cujos rebentos são "avançados". Porém, males poderão advir dos esforços dos pais infelizes que irão obrigar seus filhotes a se conformarem às normas e escaparem do "atraso".

Nada disso deve se refletir negativamente sobre o Dr. Arnold Gesell ou sobre seus métodos. A falha está no processo de filtragem, desde o pesquisador, através do redator sensacionalista ou mal informado, até o leitor, que deixa de notar os numerozinhos que foram sendo abandonados no processo de dar à luz a um número só. Muito da má informação poderia ser evitado se à média fosse adicionada uma indicação da faixa de variação. Os pais, vendo que os filhos se encontram dentro dessa faixa, deixarão de preocupar-se com diferenças pequenas e de pouca importância. É extremamente difícil que um indivíduo seja exatamente normal em qualquer ponto, exatamente como uma moeda que, jogada 100 vezes, rarissimamente cairá exatamente 50 vezes de um jeito e 50 de outro.

Confundir "normal" com "desejável" piora por demais a situação. O Dr. Gesell simplesmente revelou certos fatos observados. Foram os pais que, ao ler os livros e artigos, concluíram que uma criança que começa a andar um dia, ou em um mês, após a média, deve estar em inferioridade.

Muito da critica estúpida ao relatório do Dr. Alfred Kinsey, muito conhecido (ainda que muito pouco lido), resultou que "normal" fosse considerado equivalente a "bom", "correto" ou "desejável". O Dr. Kinsey foi acusado de corromper a juventude, dando-lhe "idéias", e especialmente por denominar "normal" tudo quanto é tipo de prática sexual popular, mas reprovada. Entretanto, ele simplesmente afirmou que tinha descoberto serem tais atividades "usuais", que é exatamente o que significa "normal", não as tendo carimbado com qualquer selo de aprovação. ("Normal", em estatística, significa apenas "Usual", e nunca "Correto", "Desejável" ou "Bom").

O Dr. Kinsey achou que estaria fora do escopo de seu trabalho, classificá-las de travessuras ou não. Por isso esbarrou em algo que muito tem incomodado inúmeros outros observadores: É perigoso mencionar qualquer assunto com alto conteúdo emocional sem antes se declarar, bem rapidamente, onde é que se está contra ou a favor.

O que é enganoso, quanto ao numerozinho que não está lá, é que sua ausência geralmente passa despercebida. Aqui, claro, está o segredo de seu sucesso. Os críticos do jornalismo, como praticado atualmente, deploram a economia atual da sola dos sapatos dos repórteres e redatores. Para uma amostra do jornalismo pouco empreendedor, vejam este item de uma lista de "novos progressos industriais", na revista noticiosa Fortnight: "Um novo banho de têmpera fria que triplica a dureza do aço da Westinghouse".

Ora, isso parece um bocado de progresso... até que você tente pôr o dedo no pudim. E então o pudim torna-se tão escorregadio como uma bolinha de mercúrio.

O novo banho triplica o endurecimento de qualquer aço, comparado à sua dureza antes do banho? Ou produz um novo aço, três vezes mais duro que o mais duro aço conhecido anteriormente? Ou o que faz exatamente o raio do banho?

Parece que o repórter passou por cima de algumas palavras, sem preocupar-se com seu significado, e espera que você leia a noticia também sem o menor senso critico, pela feliz ilusão de achar que aprendeu alguma coisa.

Tudo isso lembra uma velha definição do método de ensino tradicional nas salas de aula (Atenção, professores!): "Um processo pelo qual o conteúdo do livro-texto do professor transfere-se para o caderno do aluno sem passar pela cabeça de nenhum dos dois".

Há alguns minutos atrás, enquanto procurava qualquer coisa sobre o Dr. Kinsey, no Time, achei outra dessas informações que entram em colapso a um segundo olhar: Apareceu num anúncio de um grupo de companhias elétricas em 1948. "Hoje, a energia elétrica acha-se disponível para mais de três quartos das fazendas americanas"... Isto parece ótimo. Essas companhias estão trabalhando bem mesmo! Claro que um espírito-de-porco poderia parafrasear a noticia deste modo: "Quase um quarto das fazendas americanas ainda não dispõe de energia elétrica". Mas o verdadeiro truque está na palavra "disponível" e pelo seu uso, as companhias ficaram capacitadas a dizer o que bem entendessem.

Obviamente isto não quer dizer que todos esses fazendeiros tenham realmente energia, pois senão o anúncio trombetearia o fato. Simplesmente disseram que a energia estava disponível - e, ao que eu saiba, isto tanto significa que os fios passam através de suas fazendas (sem ser utilizados), como que passam a 300 km.

Deixem-me citar o titulo de um artigo publicado na Collier's em 1952: "Você pode saber agora QUANTO SEU FILHO CRESCERÁ". No artigo aparecem claramente duas tabelas: uma para meninos, outra para meninas, mostrando qual a percentagem do que virá a ser a altura final que uma criança irá atingindo em cada ano de vida. "Para determinar a altura de seu filho na maturidade", diz a legenda, "verifique a medida atual contra a tabela acima".

O engraçado é que o próprio artigo - se você continuar a ler - dirá qual a fraqueza fatal da tabela. Nem todas as crianças crescem do mesmo modo. Umas começam aos poucos e depois disparam; outras disparam antes e vão freando depois; outras, ainda, seguem um processo muito regular. A tabela (você adivinhou!) baseia-se em médias, tiradas de um grande número de medidas. Para as alturas totais - ou médias de 100 jovens, tiradas ao acaso, sem dúvida será bastante acurada, mas um pai está interessado apenas numa única altura, uma só vez, e essa é uma finalidade para a qual a tabela não tem o mínimo valor. Se você quiser saber a futura altura de seu garoto, sua adivinhação será provavelmente melhor, verificando a altura dos avós. O método não e cientifico nem preciso, mas tem a mesma exatidão (inexistente) das tais medias.

Divirto-me ao notar que, aplicando à tabela a altura que tenho anotada quando entrei para o secundário aos quatorze anos, não deveria ter excedido 1,75 m. Tendo 1,83 m posso dizer que 8 cm de erro na pequena faixa da altura humana é uma fraca adivinhação.

Diante de mim encontram-se os invólucros de duas caixas de flocos de cereais para o café da manhã. São edições ligeiramente diferentes, como indicam as fontes de referência: Uma fala de Pete Dois-Tiros, e a outra diz: "Se quiser ser como Hoppy, tem de comer como Hoppy!" Ambas mostram, além dos respectivos "cow-boys" Hoppy e Pete, gráficos para demonstrar ("Cientistas provaram que é verdade") que estes flocos "começam a dar energia em dois minutos!" Num caso, o gráfico escondido nesta floresta de pontos de exclamação leva números num lado; no outro os números foram omitidos. Isto não faz diferença, pois não se sabe mesmo o que tais números significam. Ambos mostram uma linha vermelha bem íngreme ("liberação de energia"), porém numa tabela a linha inicia-se um minuto depois de ingeridos os flocos, e na outra, dois minutos após. Além disso, uma das linhas sobe numa razão dupla da razão da outra, sugerindo que o próprio desenhista não considerou que tais gráficos valessem coisa alguma.

Tais asneiras só podem ser encontradas em material destinado aos olhos de uma criança, ou de seu matinalmente semidesperto pai, claro. Ninguém insultaria a inteligência de um grande homem de negócios com tais impropérios estatísticos. Mas... Será mesmo?...

Deixem-me falar de um gráfico usado para fazer propaganda de uma agência de publicidade (espero não estar confundindo muito você). Apareceu nas colunas muitíssimo especiais de Fortune. A linha, neste gráfico, mostrava a impressionante tendência ascensional dos negócios da agência, ano por ano. Não havia números. Com a mesma honestidade (?) tal gráfico poderia representar um enorme crescimento, com os negócios dobrando ou aumentando em milhões de dólares por ano, ou poderia mostrar o progresso tartaruguesco de uma empresa estática, que adicionasse apenas um dólar ou dois ao seu faturamento anual. Mas o quadrinho é impressionante, de qualquer modo.

Dê pouca fé a uma média, a um gráfico ou a uma tendência, quando números importantes como esses não aparecem.

Por outro lado, você estará tão cego quanto um homem escolhendo um local de piquenique, guiado apenas por uma lista de temperaturas médias. Você poderá considerar 17ºC como uma média anual confortável na Califórnia, e indo à Califórnia poderá dar com os costados em áreas oscilando entre o deserto interior e a ilha de San Nicolas, na costa sul. E com isso você poderá ficar frito ou congelado, se ignorar a faixa que produziu a média californiana, pois San Nicolas tem uma mediazinha particular de 20ºC, mas oscila de 8 a 31ºC, e no deserto, onde a media é quase a da Califórnia (17ºC) a temperatura vai de -8 a 41ºC.

Oklahoma City teve suas temperaturas médias bem constantes, nos últimos 60 anos: 16,3ºC. Mas como você poderá constatar no gráfico abaixo, nesta temperatura aprazível se esconde uma faixa de variação de 51ºC.