Análise de dados em Geociências

Transcrição

1 Análise de dados em Geociências Análise exploratória de dados Susana Barbosa Mestrado em Ciências Geofísicas

2 Resumo Análise exploratória de dados Princípios e objectivos da estatística Introdução à análise exploratória Tipos de dados Resumo numérico de dados Resumo gráfico de dados Resumo de dados multivariados

3 Princípios e objectivos da estatística Estatística origem ~1770, do Alemão Statistik ciência que lida com dados sobre a condição de um estado ou comunidade

4 Princípios e objectivos da estatística estatística matemática

5 Princípios e objectivos da estatística Statistics is a way to get information from data. That s it! [G. Keller]

6 Princípios e objectivos da estatística Estatística conjunto de procedimentos, regras e conceitos para desenhar experiências e recolher dados resumir e apresentar dados esboçar conclusões a partir de dados estimar o presente ou prever o futuro

7 Princípios e objectivos da estatística Estatística

8 Princípios e objectivos da estatística Fases de um estudo estatístico Amostragem Análise exploratória Análise estatística, modelação Inferência, conclusões

9 Motivação Perspectiva histórica EDA foi Impusionada por J. Tuckey (ver artigo Hoaglin 2003)

10 Motivação Análise exploratória vs análise clássica Análise clássica hipótese inicial Análise exploratória sem hipóteses iniciais teste da hipótese geradora de hipóteses modelos estatísticos métodos gráficos

11 Motivação Objectivos da análise exploratória Apresentar os dados Averiguar a quantidade e qualidade dos dados Tratar valores em falta Tratar valores anomalos Descrever e resumir os dados

12 Motivação Exemplo

13 Motivação

14 Tipos de dados Tipos de dados

15 Tipos de dados Dimensionalidade Dados univariados: 1 variável Dados bivariados: 2 variáveis Dados multivariados: várias variáveis

16 Resumo numérico de dados Resumo numérico de dados Medidas de tendência central: dão o centro em torno do qual os dados estão distribuídos média, mediana, moda Medidas de dispersão: caracterizam o afastamento dos dados em relação ao centro variância, desvio padrão, coeficiente de variação Medidas de posição relativa: descrevem a posição relativa de observações especificas no conjunto de dados min, max, quantis

17 Resumo numérico de dados Medidas de tendência central n observações x 1, x 2,..., x n Média x = n i=1 x i/n

18 Resumo numérico de dados Medidas de tendência central Mediana Valor do meio numa sequência ordenada de dados Exemplo 1,4,7,10,12 (média =6.8, mediana=7) A mediana é uma medida robusta! 1,4,7,10,120 (média=28.4, mediana=7)

19 Resumo numérico de dados Medidas de dispersão Variância ˆσ 2 = n i=1 (x i x) 2 /(n 1) Desvio padrão (mesmas unidades da variável) n ˆσ = i=1 (x i x) 2 /(n 1) Coeficiente de variação (util para comparar variaveis) CV = ˆσ/ x

20 Resumo numérico de dados Medidas de dispersão Variância ˆσ 2 = n i=1 (x i x) 2 /(n 1) Desvio padrão (mesmas unidades da variável) n ˆσ = i=1 (x i x) 2 /(n 1) Coeficiente de variação (util para comparar variaveis) CV = ˆσ/ x

21 Resumo numérico de dados Medidas de dispersão Variância ˆσ 2 = n i=1 (x i x) 2 /(n 1) Desvio padrão (mesmas unidades da variável) n ˆσ = i=1 (x i x) 2 /(n 1) Coeficiente de variação (util para comparar variaveis) CV = ˆσ/ x

22 Resumo numérico de dados Quantis Percentil p: valor abaixo do qual estão p% das observações Q1: quartil 1 (percentil 25) Q2: quartil 2 (percentil 50) = mediana Q3: quartil 3 (percentil 75) Exemplo: Nota: os percentis e quartis são casos particulares de quantis

23 Resumo numérico de dados Medidas de posição relativa mínimo, Q1, Q2, Q3, máximo R: função summary IQR (interquartile range) IQR=Q3-Q1 (medida de dispersão robusta)

24 Resumo numérico de dados Resumo numérico de dados qualitativos ou discretos Tabelas de frequência (absoluta e relativa) Exemplo: tipos de nuvens cumulus stratus stratus cumulus... Tipo de Nuvem Contagem % cirrus cumulus stratus Total

25 Resumo gráfico de dados Resumo gráfico de dados qualitativos Gráfico de barras Exemplo:

26 Resumo gráfico de dados Resumo gráfico de dados qualitativos Diagrama circular Exemplo:

27 Resumo gráfico de dados Resumo gráfico de dados quantitativos discretos Grafico de barras Exemplo: número de dias sem nuvens num mês durante 2002

28 Resumo gráfico de dados Resumo gráfico de dados quantitativos contínuos Histograma (frequência absoluta) Exemplo: densidade da Terra obtida por Cavendish em 1798

29 Resumo gráfico de dados Resumo gráfico de dados quantitativos contínuos Histograma (frequência relativa) Exemplo: densidade da Terra obtida por Cavendish em 1798

30 Resumo gráfico de dados Resumo gráfico de dados quantitativos contínuos Polígono de frequências (útil para dados bivariados)

31 Resumo gráfico de dados Resumo gráfico de dados quantitativos contínuos Densidade

32 Resumo gráfico de dados Resumo gráfico de dados quantitativos contínuos Diagramas de caixa (boxplots)

33 Resumo gráfico de dados Resumo gráfico de dados quantitativos contínuos Diagramas de caixa (boxplots)

34 Resumo gráfico de dados Resumo gráfico de dados quantitativos contínuos Diagramas de caixa (boxplots)

35 Resumo de dados multivariados Resumo de dados bivariados

36 Resumo de dados multivariados Resumo de dados bivariados contínuos Diagrama de dispersão (scatterplot)

37 Resumo de dados multivariados Resumo de dados multivariados Grupos (clustering) Nota: várias técnicas; são sempre encontrados clusters