TRATAMENTO DA INFORMAÇÃO/ANÁLISE DE DADOS AULA 03. Universidade Federal Fluminense

Transcrição

1 CURSO DE ESPECIALIZAÇÃO EM ENSINO DE MATEMÁTICA INSTITUTO DE MATEMÁTICA E ESTATÍSTICA 15 DE AGOSTO DE 2017 TRATAMENTO DA INFORMAÇÃO/ANÁLISE DE DADOS AULA 03 Humberto José Bortolossi Universidade Federal Fluminense

2 PESQUISAS DE OPINIÃO PÚBLICA Uma pesquisa de opinião pública é uma pesquisa em que os membros da amostra fornecem informações, respondendo perguntas específicas feitas por um entrevistador. A interação pergunta-e-resposta pode ser feita através de um questionário, uma entrevista por telefone ou uma entrevista direta face a face. Nos dias de hoje, pesquisas de opinião pública são usadas regularmente para medir o pulso da nação. Elas nos dão informações estatísticas indo das preferências de voto antes de uma eleição até assuntos como ambiente, aborto e a economia. No Brasil, vários institutos realizam pesquisas de opinião pública: Ibope, Datafolha, Vox Populi, Sensus. Devido à influência que exercem, é importante questionar o quanto podemos confiar nas informações que recebemos de pesquisas de opinião pública. Esta é uma questão complexa que está no coração da estatística matemática. Vamos ver alguns exemplos históricos.

3 ESTUDO DE CASO 2: A PESQUISA DE OPINÃO PÚBLICA DE 1936 DA LITERARY DIGEST Contexto: Alfred Landon (partido republicano) e Franklin D. Roosevelt (partido democrata) disputaram a presidência dos Estados Unidos em A Literary Digest, uma conceituada revista na época, conduziu uma pesquisa de opinião pública algumas semanas antes da realização da eleição. A base de amostragem usada pela Literary Digest consistiu de uma lista enorme de nomes que incluía (1) toda pessoa com nome em alguma lista telefônica nos Estados Unidos, (2) toda pessoa que assinava alguma revista na época e (3) toda pessoa inscrita em algum clube ou associação profissional. A partir desta base de amostragem, uma lista de cerca de 10 milhões de nomes foi criada e, para cada nome nesta lista, foi enviada uma cédula de votação fictícia junto com um pedido para que a pessoa marcasse sua preferência na cédula e a enviasse de volta para a revista.

4 ESTUDO DE CASO 2: A PESQUISA DE OPINÃO PÚBLICA DE 1936 DA LITERARY DIGEST Com base nos resultados da pesquisa, a Literary Digest previu uma vitória esmagadora para Landon com 57% dos votos, contra 43% de Roosevelt. Surpreendentemente, a eleição acabou com uma vitória esmagadora de Roosevelt com 62% dos votos, contra 38% para Landon. A diferença entre a previsão da votação e os resultados eleitorais reais foi de 19%, o maior erro em uma pesquisa de opinião pública. Isso acabou com a credibilidade da revista que, após a eleição, viu suas vendas diminuírem drasticamente. A revista teve, portanto, que fechar seus negócios: uma vítima de um grande erro estatístico.

5 ESTUDO DE CASO 2: A PESQUISA DE OPINÃO PÚBLICA DE 1936 DA LITERARY DIGEST Para a mesma eleição, um jovem pesquisador chamado George Gallup foi capaz de prever com precisão uma vitória para Roosevelt usando uma amostra de apenas pessoas. De fato, Gallup também conseguiu obter, com diferença de 1%, os resultados incorretos da Literary Digest usando uma amostra de apenas pessoas retiradas da mesma base de amostragem que a revista estava usando. O que deu errado com a enquete Literary Digest e por que Gallup conseguiu fazer muito melhor?

6 ESTUDO DE CASO 2: A PESQUISA DE OPINÃO PÚBLICA DE 1936 DA LITERARY DIGEST O primeiro grande erro da Literary Digest foi a escolha da base de amostragem: pessoas com telefone, assinantes de revistas, membros de clubes e associações. Em 1936, telefones eram artigos de luxo. Assinaturas de revistas e associações em clubes eram ainda mais, num momento em que 9 milhões de pessoas estavam desempregadas (grande depressão de 1930). Em termos da situação econômica, a base de amostragem escolhida pela Literary Digest estava longe de ser representativa. Este foi um ponto crucial, pois muitas vezes os eleitores votam considerando questões econômicas e, dadas as condições econômicas da época, isso era especialmente verdadeiro em Quando a escolha da amostra tem uma tendência embutida (intencional ou não) para excluir um determinado grupo ou característica na população, dizemos que a pesquisa sofre de um viés de seleção (selection bias em Inglês). É claro que vieses de seleção devem ser evitados, mas nem sempre é fácil detectálos antecipadamente. Mesmo as tentativas mais cuidadosas para eliminar vieses de seleção podem falhar (como veremos em nosso próximo estudo de caso).

7 ESTUDO DE CASO 2: A PESQUISA DE OPINÃO PÚBLICA DE 1936 DA LITERARY DIGEST O segundo problema sério com a enquete da Literary Digest foi a questão do viés de não-resposta (nonresponse bias, em Inglês). Em uma pesquisa típica, devese entender que nem todo indivíduo está disposto a participar (e em uma democracia, não podemos forçá-los a fazê-lo). Aqueles indivíduos que não querem participar da pesquisa são chamados de nãorespondentes (nonrespondents, em Inglês) e aqueles que participam são chamados de respondentes (respondents, em Inglês). A percentagem de respondentes na amostra total é chamada de taxa de resposta (response rate, em Inglês). Para a enquete da Literary Digest, da amostra de 10 milhões de pessoas para as quais foram enviadas uma cédula de votação fictícia, apenas cerca de 2,4 milhões devolveram a cédula preenchida para a revista, resultando em uma taxa de resposta de 24%. Quando a taxa de resposta de uma pesquisa é baixa, dizemos a pesquisa sofre de um viés de não-resposta. Exatamente em que ponto a taxa de resposta deve ser considerada baixa depende das circunstâncias e da natureza da pesquisa, mas uma taxa de resposta de 24% é geralmente considerada muito baixa.

8 ESTUDO DE CASO 2: A PESQUISA DE OPINÃO PÚBLICA DE 1936 DA LITERARY DIGEST Um dos problemas significativos com a enquete da Literary Digest foi a de que a pesquisa foi realizada por carta. Esta abordagem é muito propensa a ter um viés de não-resposta, porque muitas vezes as pessoas consideram um questionário enviado pelo correio apenas como uma outra forma de lixo postal. É claro que, dado o tamanho da amostra (10 milhões de nomes), a Literary Digest quase não tinha uma escolha. Isto ilustra outro ponto importante: maior não é melhor. Uma amostra grande pode ser mais um problema do que uma vantagem. A estória da Literary Digest tem duas morais: (1) é melhor usar uma amostra pequena bem escolhida do que uma amostra grande mal escolhida, e (2) fique atento para vieses de seleção e vieses de não-resposta.

9 AMOSTRAGEM POR CONVENIÊNCIA Existe sempre um custo (esforço, tempo, dinheiro) associado com a coleta de dados, e é um fato que esse custo é proporcional à qualidade dos dados coletados: para obter dados melhores, mais esforço se faz necessário para recolhê-los. Uma técnica comumente usada em amostragem é conhecida como amostragem por conveniência (convenience sampling, em Inglês). Na amostragem por conveniência, a seleção de quais indivíduos estarão na amostra é feita seguindo o que é mais fácil ou barato para o coletor de dados, sem a preocupação de se obter uma amostra representativa. Um exemplo clássico de amostragem por conveniência é aquela onde entrevistadores escolhem um local fixo, como um shopping ou um supermercado, e pedem para os transeuntes participarem de uma pesquisa de opinião pública.

10 AMOSTRAGEM POR CONVENIÊNCIA Um tipo diferente de amostragem por conveniência ocorre quando a amostra é baseada na autosseleção (self-selection, em Inglês), isto é, a amostra é constituída por indivíduos que se oferecem para estar nela. Autosseleção é a razão pela qual as enquetes feitas em programas de televisão não são confiáveis. Ainda mais quando o participante tem que pagar para participar. Uma amostra composta inteiramente de indivíduos que pagaram para estar nela dificilmente será uma amostra representativa da opinião pública geral. Amostragem por conveniência não é sempre ruim: às vezes, não há outra escolha ou as alternativas são tão caras que elas têm que ser descartadas. Devemos ter em mente, contudo, que os dados coletados por meio da amostragem por conveniência são naturalmente tendenciosos e devem ser sempre questionadas (sempre devemos conhecer os detalhes de como os dados foram coletados). Mais frequentemente do que não, amostragem por conveniência fornece dados que são muito pouco confiáveis para serem de qualquer valor científico. Com dados, como acontece com tantas outras coisas, você recebe o que você paga.

11 AMOSTRAGEM POR COTAS A amostragem por cotas (quota sampling, em Inglês) é um esforço sistemático para forçar que a amostra seja representativa de uma determinada população através do uso de cotas: a amostra deve ter tantas mulheres, tantos homens, tantos negros, tantos brancos, tantas pessoas que vivem em áreas urbanas, tantas pessoas que vivem em áreas rurais, e assim por diante. As proporções de cada categoria na amostra devem ser as mesmas que na população original. Supostamente, se assumirmos que cada característica importante da população é levada em conta quando as cotas forem criadas, é razoável esperar que a amostra seja representativa da população e que os dados obtidos sejam confiáveis. Nosso próximo estudo de caso ilustra algumas das dificuldades com os pressupostos por de trás da amostragem por cotas.

12 ESTUDO DE CASO 3: A ELEIÇÃO PRESIDENCIAL DOS ESTADOS UNIDOS EM 1948 George Gallup introduziu amostragem por cotas já em 1935 e a usou com sucesso para prever o vencedor das eleições presidenciais nos Estados Unidos em 1936, 1940 e A amostra por cotas, portanto, adquiriu a reputação de ser um método de amostragem cientificamente confiável e, com a eleição presidencial de 1948, todas as três principais pesquisas nacionais a pesquisa do Gallup, a pesquisa Roper e a pesquisa Crossley usaram amostragem por cotas para fazer suas previsões.

13 ESTUDO DE CASO 3: A ELEIÇÃO PRESIDENCIAL DOS ESTADOS UNIDOS EM 1948 Para a eleição de 1948 entre Thomas Dewey e Harry Truman, Gallup conduziu uma pesquisa com uma amostra de cerca de pessoas. Cada indivíduo na amostra foi entrevistado pessoalmente por um entrevistador profissional para minimizar o viés de não-resposta, e a cada entrevistador foi dado um conjunto muito detalhado de cotas para atender, por exemplo, sete homens brancos com menos de 40 que vivem em uma área rural, 5 homens negros com mais de 40 que vivem em uma área rural, 6 mulheres brancas com menos de 40 que vivem em uma área urbana, e assim por diante. No momento em que todos os entrevistadores atingissem suas cotas, esperava-se que a amostra representasse fielmente toda a população em todos os aspectos: gênero, raça, idade e assim por diante. Com base em sua amostra, Gallup previu que Dewey, o candidato republicano, venceria a eleição com 49,5% dos votos, contra 44,5% de Truman (com candidatos de outros partidos contabilizando os 6% restantes).

14 ESTUDO DE CASO 3: A ELEIÇÃO PRESIDENCIAL DOS ESTADOS UNIDOS EM 1948 As pesquisas Roper e Crossley também previram uma vitória fácil para Dewey. De fato, depois que uma pesquisa no início de setembro mostrou Truman perdendo para Dewey por 13 pontos percentuais, Roper anunciou que iria descontinuar pesquisas futuras, uma vez que o resultado já era tão óbvio. O jornal Chicago Daily Tribune estava tão convencido da vitória de Dewey, que sua primeira edição para o dia 4 de novembro de 1948 estampava a seguinte manchete: "Dewey derrota Truman". Mas o resultado final da eleição foi 49,9% dos votos para Truman e 44,5% para Dewey.

15 ESTUDO DE CASO 3: A ELEIÇÃO PRESIDENCIAL DOS ESTADOS UNIDOS EM 1948 A imagem de Truman erguendo uma cópia do Tribune e sua fala de então "Não foi assim que eu ouvi" tornaram-se parte do folclore norte-americano.

16 ESTUDO DE CASO 3: A ELEIÇÃO PRESIDENCIAL DOS ESTADOS UNIDOS EM 1948 Para pesquisadores e estatísticos, as previsões erradas da eleição de 1948 deram duas lições: (1) faça pesquisas até o dia da eleição e (2) amostragem por cotas é intrinsecamente falha. O que há de errado com a amostragem por cotas? Afinal, a ideia básica parece ser muito boa: forçar que a amostra tenha cada característica importante da população representada proporcionalmente. Desde que renda é um fator importante na determinação de como as pessoas votam, a amostra deve ter todos os grupos de renda representados na mesma proporção que a população em geral. O mesmo deve acontecer para sexo, raça, idade e assim por diante. Assim, podemos ver um problema potencial: onde é que vamos parar? Não importa o quão cuidadosos sejamos, sempre podemos deixar passar algum critério que afeta a maneira como as pessoas votam e a amostra será então deficiente a este aspecto.

17 ESTUDO DE CASO 3: A ELEIÇÃO PRESIDENCIAL DOS ESTADOS UNIDOS EM 1948 Uma falha ainda mais grave na amostragem por cotas é que, além de satisfazer as cotas, os entrevistadores estão livres para escolher quem eles querem entrevistar. Isso abre a porta para um viés de seleção. Olhando para trás ao longo da história da amostragem por cotas nos Estados Unidos, podemos ver uma clara tendência a superestimar o voto republicano. Gallup foi capaz de prever corretamente o vencedor em cada uma das eleições anteriores (1936, 1940 e 1944) usando amostragem por cotas, principalmente porque a diferença entre os candidatos era grande o suficiente para cobrir o erro. Em 1948, Gallup (e todos os outros pesquisadores) ficaram sem sorte. Era hora de abandonar a amostragem por cotas.

18 UM EXEMPLO NO BRASIL Pesquisa feita em 13 de junho de 2013 < >

19 SEÇÃO 13.3: AMOSTRAGEM ALEATÓRIA

20 AMOSTRAGEM ALEATÓRIA A melhor alternativa para substituir a seleção de uma amostra por um humano é deixar que as leis do acaso o façam. Métodos de amostragem que usam a aleatoriedade como parte de sua concepção são conhecidos como métodos de amostragem aleatória (random sampling em Inglês) e qualquer amostra obtida através de uma amostragem aleatória é denominada uma amostra aleatória (random sample, em Inglês) (ou uma amostra probabilística). No início, a ideia de deixar o acaso escolher a amostra parece ser um pouco contraditória. Como pode um processo com base na seleção aleatória garantir uma amostra não enviesada? Por azar, este esquema não poderia produzir uma amostra enviesada? Em teoria, esse resultado é possível mas, na prática, quando a amostra é grande o suficiente, as chances de isso acontecer são tão baixas que podemos praticamente descartá-lo. A maioria dos métodos atuais de controle de qualidade na indústria, auditorias empresariais em negócios e pesquisas de opinião pública é baseada em amostragem aleatória. A confiabilidade dos dados coletados por meio de métodos de amostragem aleatória é suportada pela experiência prática e pela teoria matemática.

21 AMOSTRAGEM ALEATÓRIA SIMPLES A forma mais básica de amostragem aleatória é chamada de amostragem aleatória simples (simple random sampling, em Inglês). Ela se baseia no mesmo princípio de uma lotaria: qualquer conjunto de elementos de tamanho n tem uma oportunidade igual de ser escolhido como qualquer outro conjunto de mesmo tamanho (n).

22 AMOSTRAGEM ALEATÓRIA SIMPLES Em teoria, a amostragem aleatória simples é fácil de implementar. Colocamos o nome de cada indivíduo da população em um chapéu, misturamos bem os nomes e, depois, tiramos tantos nomes quantos forem necessários para a nossa amostra. É claro que "um chapéu" é apenas uma metáfora. Se nossa população é de 100 milhões de eleitores e queremos escolher uma amostra aleatória simples de 2000, não vamos colocar todos os 100 milhões de nomes em um chapéu real e, em seguida, retirar 2000 nomes um a um. Nos dias de hoje, o "chapéu" é uma base de dados computacional que contém uma lista dos membros da população. Um programa de computador seleciona então aleatoriamente os nomes.

23 AMOSTRAGEM ALEATÓRIA SIMPLES A amostragem aleatória simples é uma boa ideia para populações pequenas e compactas, mas não é adequada quando se trata de pesquisas nacionais e sondagens de opinião pública. A implementação de amostragem aleatória simples em pesquisas de opinião pública nacional levanta problemas de conveniência e custo. Entrevistar centenas de pessoas escolhidas por amostragem aleatória simples significa visitar as pessoas em todo o país, uma tarefa que exige uma enorme quantidade de tempo e dinheiro. Para a maioria das pesquisas de opinião pública, especialmente aquelas feitas regularmente, o tempo e o dinheiro necessários para fazer isso simplesmente não estão disponíveis.

24 AMOSTRAGEM ESTRATIFICADA A alternativa à amostragem aleatória simples usada hoje em dia para sondagens nacionais e pesquisas de opinião pública é um método de amostragem conhecida como amostragem estratificada (stratified sampling, em Inglês). A ideia básica da amostragem estratificada é quebrar a base de amostragem em categorias, denominadas estratos (strata, em Inglês) e, em seguida, (ao contrário de amostragem por cotas) escolher aleatoriamente uma amostra desses estratos. Os estratos escolhidos são, então, divididos em categorias, denominadas substratos, e uma amostra aleatória é tomada destes substratos. Os substratos selecionados são ainda subdivididos, uma amostra aleatória é tomada a partir deles e assim por diante. O processo continua por um número pré-determinado de passos (geralmente quatro ou cinco). Nosso próximo estudo de caso ilustrará como a amostragem estratificada funciona no caso de uma pesquisa de opinião pública nacional. Variações básicas da mesma ideia podem ser usadas em nível estadual, municipal ou local. Os detalhes específicos, é claro, serão diferentes.

25 ESTUDO DE CASO 4: PESQUISAS NACIONAIS DE OPINIÃO PÚBLICA Em pesquisas de opinião pública nacional os estratos e substratos são definidos por uma combinação de critérios geográficos e demográficos. Por exemplo, a nação é primeiro dividida em estratos por "tamanho da comunidade" (cidades grandes, cidades médias, cidades pequenas, vilas, áreas rurais, etc.). Os estratos são, então, subdivididos por região geográfica (Nova Inglaterra, Atlântico Médio, Estados Montanhosos, etc.). Esta é a primeira camada de substrato. Dentro de cada região geográfica e dentro de cada estrato por tamanho da comunidade, algumas comunidades (chamadas locais de amostragem) são selecionadas por amostragem aleatória simples. Os locais de amostragem selecionados são os únicos lugares onde as entrevistas irão ocorrer.

26 ESTUDO DE CASO 4: PESQUISAS NACIONAIS DE OPINIÃO PÚBLICA Em seguida, cada um dos pontos de amostragem selecionados é ainda subdividido em unidades geográficas denominados distritos (wards). Esta é a segunda camada de substrato. Dentro de cada local de amostragem, alguns dos distritos são selecionados por meio de amostragem aleatória simples. Os distritos selecionados são, então, divididos em unidades menores, chamadas zonas (precincts), a terceira camada, e dentro de cada distrito selecionado, algumas zonas são selecionadas por amostragem aleatória simples. Na última fase, famílias (quarta camada) são selecionadas dentro de cada zona por amostragem aleatória simples. Aos entrevistadores são dadas instruções específicas quanto a quais famílias eles devem realizar entrevistas e a ordem que eles devem seguir.

27 ESTUDO DE CASO 4: PESQUISAS NACIONAIS DE OPINIÃO PÚBLICA

28 ESTUDO DE CASO 4: PESQUISAS NACIONAIS DE OPINIÃO PÚBLICA A eficiência da amostragem estratificada em comparação com a amostragem aleatória simples em termos de custo e tempo é clara. Os membros da amostra estão agrupados em áreas bem definidas e facilmente controláveis, reduzindo significativamente o custo da realização de entrevistas, bem como o tempo de resposta necessário para recolher os dados. Para uma nação grande e heterogênea como os Estados Unidos, a amostragem estratificada tem provado ser uma maneira confiável de coleta de dados nacionais. E sobre o tamanho da amostra? Surpreendentemente, a amostra não precisa ser muito grande. Tipicamente, uma pesquisa Gallup é baseada em amostras que consistem em cerca de 1500 indivíduos e aproximadamente o mesmo tamanho de amostra pode ser utilizada para pesquisar tanto a população de uma pequena cidade quanto a população dos Estados Unidos. O tamanho da amostra não tem de ser proporcional ao tamanho da população.

29 SEÇÃO 13.4: TERMINOLOGIA E CONCEITOS CHAVES EM AMOSTRAGEM

30 TERMINOLOGIA E CONCEITOS CHAVES EM AMOSTRAGEM Como vimos, com exceção de um censo, a maneira comum de se recolher informação estatística sobre uma população é por meio de uma pesquisa. Em uma pesquisa, usamos um subconjunto da população, chamado de amostra, como a fonte de nossa informação e, a partir dessa amostra, tentamos generalizar e tirar conclusões sobre toda a população. Estatísticos usam o termo estatística (statistics, em Inglês) para descrever qualquer tipo de informação numérica obtida a partir de uma amostra. Uma estatística é sempre uma estimativa para alguma medida desconhecida, chamada um parâmetro (parameter, em Inglês) da população. Vamos colocar desta forma: um parâmetro é a informação numérica que gostaríamos de ter o pote de ouro no final do arco-íris estatístico, por assim dizer. O cálculo de um parâmetro é difícil e muitas vezes impossível, já que a única maneira de se obter o valor exato para um parâmetro é a utilização de um censo. Se usarmos uma amostra, então podemos obter apenas uma estimativa para o parâmetro e esta estimativa é chamada de estatística.

31 TERMINOLOGIA E CONCEITOS CHAVES EM AMOSTRAGEM Usaremos o termo erro de amostragem (sampling error, em Inglês) (erro amostral) para descrever a diferença entre um parâmetro e uma estatística utilizada para estimar o parâmetro. Em outras palavras, o erro de amostragem mede o quanto os dados obtidos a partir de um levantamento é diferente dos dados que seriam obtidos se um censo tivesse sido usado. É claro, o objetivo da amostragem é evitar o uso de um censo e, sendo assim, erros de amostragem só podem ser estimados. Normalmente, as estimativas para os erros de amostragem são dadas em termos de uma margem de erro, tal como em "A margem de erro da pesquisa foi de mais ou menos 3%.. Veremos com mais detalhes o significado de frases como esta no Capítulo 16.

32 TERMINOLOGIA E CONCEITOS CHAVES EM AMOSTRAGEM O erro de amostragem pode ser atribuído a dois fatores: erros aleatórios e vieses de amostragem. Erros aleatórios (chance error, em Inglês) são o resultado do fato básico de que uma amostra, sendo apenas uma amostra, só pode nos dar uma informação aproximada sobre a população. Na verdade, diferentes amostras são suscetíveis de produzir estatísticas diferentes para uma mesma população, mesmo quando as amostras são escolhidas exatamente da mesma maneira, um fenômeno conhecido como variabilidade de amostragem (sampling variability, em Inglês) (variabilidade amostral). Enquanto que a variabilidade de amostragem e, então, os erros de amostragem, são inevitáveis, uma seleção cuidadosa da amostra e do tamanho da amostra podem minimizar esses valores. Viés de amostragem (sample bias, em Inglês) é o resultado da escolha de uma amostra ruim e é um problema muito mais grave do que um erro aleatório. Mesmo com as melhores intenções, obter uma amostra representativa de toda a população pode ser muito difícil e o processo pode ser afetado por muitos fatores sutis. Viés de amostragem é o resultado. Ao contrário de erros aleatórios, vieses de amostragem podem ser eliminados através de métodos adequados de seleção da amostra.

33 TERMINOLOGIA E CONCEITOS CHAVES EM AMOSTRAGEM Por último, faremos alguns comentários sobre o tamanho da amostra, tipicamente representado pela letra n (em contraste com N, o tamanho da população). A relação n/n é chamada proporção de amostragem. Uma proporção de amostragem de x% nos diz que o tamanho da amostra é igual a x% da população. Em geral, é muito difícil determinar exatamente a proporção de amostragem (teríamos que saber os valores exatos de N e n). Em qualquer caso, não é a proporção de amostragem que é importante, mas sim o tamanho absoluto da amostra e sua qualidade. Normalmente, as modernas pesquisas de opinião pública utilizam amostras com n entre 1000 e 1500 para obter estatísticas que têm uma margem de erro de menos de 5%, seja para a população de uma cidade, uma região, ou todo um país. Veremos mais detalhes sobre essa ideia no Capítulo 16.

34 PERGUNTA: O QUE É ALEATORIEDADE?

35 AGORA: EXERCÍCIOS EM SALA DE AULA