ESTATÍSTICA: UMA RÁPIDA ABORDAGEM Prof. David B.

Transcrição

1 ESTATÍSTICA: UMA RÁPIDA ABORDAGEM Prof. David B. I - ESTATÍSTICA DESCRITIVA Vamos partir do pressuposto que nosso trabalho de pesquisa se voltará para realizar uma Simulação de eventos discretos. Para esta finalidade o pesquisador inicia a primeira fase com o estudo da modelagem de dados, onde se identificam 3 etapas: coleta dos dados, sua amostragem; tratamento, onde deve descrever os dados e buscar conhecer o fenômeno em estudo e, por fim a fase da inferência, onde aplica os conhecimentos do cálculo de probabilidade para inferir qual o comportamento da população a partir da amostra. Com o uso da das ferramentas de estatística descritiva é possível explorar o conjunto de dados de modo a compreender melhor o fenômeno. É neste momento se extrai as medidas de posição como mediana, moda, média etc. e de dispersão como variância, amplitude, coeficiente de variação, dentre outras; da variável aleatória em estudo. Na amostra podem aparecer alguns elementos estranhos, os chamados: outliers. OUTLIERS: são valores não usuais que podem ser devidos a erro na coleta dos dados ou a eventos raros. O primeiro pode ser retirado da amostra, o segundo continua pertencendo à amostra. O outlier é um problema por afeta os resultados do estudo distorcendo as estimativas, os níveis de significância dos testes estatísticos. Para identificar os outliers: Um dos métodos mais utilizados é construir um intervalo de valores a partir de Quartis da amostra. Ordena-se os valores observados para dividi-los em quatro partes iguais, o primeiro Quartil é o valor que deixa 25% das observações à sua esquerda, o segundo Quartil deixa 50%, sucessivamente. Sejam Q 1 e Q 3 os valores do primeiro e terceiro quartil, calcula-se a Amplitude inter quartil, A, dada pela diferença A = Q 1 -Q 3. A Decisão: considera-se como discrepante (outiler moderado) qualquer valor que estiver abaixo de Q 1-1,5 A ou acima de Q 3 + 1,5 A. Da mesma maneira, considera-se como discrepante ou outiler extremo qualquer valor que estiver abaixo de Q 1 3 A ou acima de Q A. ANÁLISE DE CORRELAÇÃO Retirados os outliers da amostra, ainda cabe verificar se a amostra representa uma seqüência de valores independentes e identicamente distribuídos (i.i.d.) se não existem correlações entre as observações que compõem a amostra. Para verificar a hipótese de independência a maneira mais simples é através de um diagrama de dispersão colocando as observações x 1, x 2, x 3, x 4... x n, na ordem em que foram coletadas. Cada ponto gráfico será formado pelos pares (x 1, x 2 ); (x 2, x 3 ); (x 3 ; x 4 ).. (x n-1,x n ).

2 Observação k+1 Observação k+1 Observação K Figura 1 dispersão sem correlação Observação K Figura 2 Existe correlação entre os dados Quando os dados não apresentam correlação os pontos tendem a dispersar, do contrário tendem a seguir linhas. Correlação indica que alguma característica particular existe, algum vício de coleta dos dados, e isto deve ser analisado. Testes estatísticos, não paramétricos, podem confirmar ou não a existência de correlação. São eles os testes INFERÊNCIA: É o ponto em que se verifica se é viável conceber uma distribuição de probabilidades que represente o fenômeno. Neste momento se constrói um histograma da amostra, com uma divisão de classes adequadas, para descobrirmos a consistência dos dados. Um dos critérios para a divisão de classes é a regra de Sturges: K = 1 + 3,3 log 10 n (K = número de classes e n = número de observações da amostra.) Para os dados obtidos e feito o histograma os dados, por exemplo, podem aderir ao modelo exponencial. Será verdadeira a conclusão? TESTES DE ADERÊNCIA: Agora é preciso verificar se os dados se ajustam à distribuição escolhida, ou seja, a distribuição escolhida é estatisticamente adequada para representar os dados coletados? Dois testes clássicos de aderência: O teste do qui-quadrado (χ 2) e o teste de Kolmogorov- Smirnof. CONCLUINDO: QUAL A MELHOR DISTRIBUIÇÃO PARA OS DADOS Realizados os testes de aderência, podemos ter concluído que a melhor aderência foi mesmo a distribuição exponencial. Mas fica ainda uma dúvida: Será que é esta mesmo? Para resolver esta dúvida podemos repetir o procedimento para os outros modelos ou utilizamos de um sofware de ajuste de dados (fitting). P-value: valor a partir do qual são tomadas as decisões da rejeição ou não de uma hipótese de aderência. Significa o menor nível de significância que pode ser assumido para se rejeitar a hipótese de aderência. Assim temos: Se p-value ", então, H 0 é rejeitada ao nível de significância " Se p-value > ", então, H 0 não é rejeitada ao nível de significância " Valor Critério p-value 0,01 Evidência forte contra a hipótese de aderência 0,01 p-value 0,05 Evidência moderada contra a hipótese de aderência 0,05 p-value 0,10 Evidência potencial contra a hipótese de aderência 0,10 p-value Evidência fraca ou inexistente contra a hipótese de aderência

3 OS DADOS: 1. Dados qualitativos ou categóricos que podem ser: 1. Nominais, por exemplo, sexo: masculino, feminino classificação de fósseis 2. Ordinais, i.e. categorias ordenadas, tais como salinidade: baixa, média, alta abundância: dominante, abundante, freqüente, ocasional, raro 2. Dados quantitativos ou numéricos que podem ser: 1. Discretos, i.e. contagens ou número inteiros, por exemplo, número de ovos postos pela tartaruga marinha número de ataques de asma no ano passado 2. Contínuos, i.e. medidas numa escala contínua, tais como volume, área, peso, massa velocidade de corrente Dados qualitativos: Para sumarizar dados qualitativos numericamente, utiliza-se contagens, proporções, percentagens, taxas por 1000, taxas por , etc., dependendo da escala apropriada. Por exemplo, se encontrarmos que 70 de 140 tentativas de invasão na rede foram bem sucedidas. Poderíamos relatar a taxa como uma proporção (0.5) ou provavelmente ainda melhor como um percentual (50%). Se encontrarmos que 7 de uma amostra de 5000 medidas de SNR foram desfavoráveis poderíamos expressar isto como uma proporção observada (0.0014) ou percentual (0.14%), mas melhor seria 1.4 casos por mil. Gráficos de Barras (figura 1): Dados qualitativos, particularmente quando as categorias são ordenadas, são usualmente bem ilustrados num simples gráfico de barras onde a altura da barra é igual à freqüência. Gráfico de setores (figura 2): Também ordem ser úteis para apresentação de dados categóricos ordenados. Os setores do gráfico são desenhados de tal forma que eles tenham área proporcional à freqüência. Dados Quantitativos: Histograma figura 1 figura 2 De longe o método mais comum de apresentação de dados numéricos é o histograma, relacionado com o gráfico de barras para dados categóricos. As áreas dos retângulos resultantes devem ser proporcionais à freqüência.

4 Algumas vezes é conveniente agregar classes de freqüência nos extremos da distribuição de forma que os intervalos têm larguras diferentes. Cuidado ao fazer isso - um intervalo que é duas vezes a largura de outro deve tem altura igual à metade de sua freqüência (para preservar a área contida dentro do intervalo) Da mesma forma um intervalo que é três vezes a largura dos outros deve ter um terço da altura de sua freqüência observada. Exemplo. 150 K pacotes foram enviados pela rede e o jitter medido em milisegundos As medidas foram expressas na forma de tabela de freqüência. Jitter Freqüência (Milisegundos) (1000) Figura 3 Histograma A mediana e a amplitude inter-quartis Outra forma de sumarizar dados é em termos dos quantis ou percentis. Essas medidas são particularmente úteis para dados não simétricos. A mediana (ou percentil 50) é definida como o valor que divide os dados ordenados ao meio, i.e. metade dos dados têm valores maiores do que a mediana, a outra metade tem valores menores do que a mediana. Adicionalmente, os quartis inferior e superior, Q1 e Q3, são definidos como os valores abaixo dos quais estão um quarto e três quartos, respectivamente, dos dados. Estes três valores são frequentemente usados para resumir os dados juntamente com o mínimo e o máximo. Eles são obtidos ordenando os dados do menor para o maior, e então conta-se o número apropriado de observações: ou seja, é,

5 e para o quartil inferior, mediana e quartil superior, respectivamente. Para um número par de observações, a mediana é a média dos valores do meio (e analogamente para os quartis inferior e superior). A medida de dispersão é a amplitude inter-quartis, IQR = Q3 - Q1, i.e. é a diferença entre o quartil superior e o inferior. Exemplo. O número de pacotes perdidos em 19 transmissões foi 0, 1, 1, 2, 2, 2, 2, 2, 3, 3, 3, 4, 4, 5, 6, 6, 7, 8, 10 A mediana é o (19+1) / 2 = valor, i.e. 3 pacotes. O quartil inferior e superior são os valores e, i.e. 2 e 6 pacotes, portanto amplitude inter-quartil é de 4 pacotes. Note que 50% dos dados estão entre os quartis inferior e superior. A moda Nem todos os conjuntos de dados são suficientemente balanceados para o cálculo da média ou mediana. Algumas vezes, especialmente para dados de contagem, um único valor domina a amostra. A medida de locação apropriada é então a moda, a qual é o valor que ocorre com maior freqüência. A proporção da amostra a qual toma este valor modal deveria ser utilizada no lugar de uma medida formal de dispersão. Algumas vezes, podemos distinguir claramente `picos' na freqüência dos valores registrados. Neste caso (chamado bimodal) deveríamos apresentar ambas as localizações. Dados deste tipo são particularmente difíceis de resumir (e analisar). Exemplo. Na transmissão ponto a ponto LOS via WiMax foram registradas o número de perdas P x dos sinais na recepção foram num determinado sábado: 0, 0, 0, 0, 0, 1, 2, 3, 3, 6 A moda é 0 P x a qual foi obtida pela metade da amostra. Poderíamos adicionar mais informação separando a amostra e dizendo que da transmissão efetuada no sábado a mediana foi de 3 P x. Dados múltiplos Os resultados de um estudo tipicamente envolverão mais do que uma única amostra de dados como discutido até aqui. Representações gráficas são úteis para comparar grupos de dados ou para verificar se existem relações entre eles. Há muitas possibilidades, mas a mais adequada dependerá das peculiaridades de cada conjunto de dados. Além dos exemplos abaixo, podemos criar combinações de métodos já discutidos. Gráficos de pontos Para avaliar se existe uma relação entre duas variáveis contínuas, podemos produzir um gráfico de pontos. É importante que o eixo x faça sentido. Em geral faz pouco sentido

6 unir os pontos, exceto onde o eixo x representa tempo (veja abaixo). Símbolos diferentes podem ser usados para diferentes grupos para adicionar uma nova dimensão ao gráfico. O gráfico abaixo mostra alturas e pesos de estudantes do sexo masculino e feminino. figura 4 Para mais do que duas variáveis, pode-se produzir gráficos entre todos os pares possíveis para produzir uma matriz de gráficos de pontos. Gráfico temporal Um caso especial de um gráfico de pontos é um gráfico temporal onde `tempo' está no eixo x. As medidas são feitas ao longo do tempo. Nestes casos é usual unir pontos sucessivos por retas, e é em geral uma boa prática deixar o eixo x mais longo do que o eixo y. Abaixo mostramos as perdas de pacotes diárias médias na máquina Philadelphia, nos dois primeiros meses de Ladder plot figura 5 O ladder plot não é um gráfico do tipo padrão mas pode ser útil para visualizar dados pareados. Considere o seguinte exemplo. Um pesquisador deseja saber se um determinado local há problemas no CPD com a variação de energia elétrica devido à entrada de funcionamento de motores na fábrica. Ele faz medidas em Agosto e em Setembro fez novas medidas (quando estes motores são constantemente acionados durante o expediente). Ele anotou em 10 dos pontos de teste, ambos em Agosto e Setembro. A tabela abaixo mostra medidas destes pontos de teste:

7 Medidas em Medidas em Agosto Setembro 110,3 12,2 111,4 12,1 110,9 13,1 112,0 11,9 110,0 12,0 101,9 12, , ,1 110,7 13,5 102,7 12,3 O ladder plot destes dados OBS.: Tabelas X Gráficos As tabelas servem para encontrar valores exatos, e para tarefas baseadas nesse pressuposto. Um dos exemplos que julgo mais claro é a tabela de horários de transportes. Quero uma indicação rigorosa da hora a que o comboio passa na minha estação, não um gráfico que me dê uma aproximação. Um gráfico não me dá valores exatos porque a percepção é, sobretudo a percepção da variação, e os gráficos são excelentes a mostrá-la. Os gráficos servem para compreender relações de dados num contexto de variabilidade. Bibliografia: SHIMAKURA, S. E. Estatística < - acesso em 11/05/07 CHWIF, L. MEDINA, A.C. Modelagem e Simulação de eventos discretos. 2.ed. São Paulo: dos Autores, LEVIN, J. FOX, J. A. Estatística para ciências Humanas. São Paulo: Prentice Hall, 2004.