ANÁLISE EXPLORATÓRIA DE DADOS 2ª PARTE

Tamanho: px

Começar a partir da página:

Download "ANÁLISE EXPLORATÓRIA DE DADOS 2ª PARTE"

Thiago Martim Bugalho Regueira
9 Há anos
Visualizações:

1 ANÁLISE EXPLORATÓRIA DE DADOS 2ª PARTE 1

2 Medidas de síntese TERCEIRA maneira de resumir um conjunto de dados referente a uma variável quantitativa. Separatrizes Locação x % x % x % x % Dispersão Forma da distribuição: assimetria, curtose 2

3 Medidas de síntese Medidas de tendência central, locação ou de posição: Média Aritmética, Mediana e Moda. Medidas de dispersão ou de variabilidade: Intervalo, variância, desvio padrão, coeficiente de variação. Separatrizes: dividem o conjunto em um certo número de partes iguais: quartis, decis, centis. Medidas de curtose e assimetria: forma da distribuição. 3

4 Média aritmética simples CENTRO DE MASSA do conjunto de dados. SEMPRE há média para um conjunto de dados e ela é ÚNICA. Pode ser distorcida por valores discrepantes (outliers). x n i 1 n x i 4

5 Média aritmética simples Deseja-se estudar o número de falhas a cada mensagens enviadas, considerando três algoritmos diferentes para o envio dos pacotes: Algoritmo A Algoritmo B Algoritmo C (8 observações) (8 observações) (7 observações) Média = 22 Média = 22 Média = 22 5

6 Diagramas de Pontos Algoritmo A B C Número de falhas 6

7 Mediana Divide o conjunto de dados em duas partes iguais: METADE (50%) dos dados é menor do que a mediana e a outra metade é maior do que a mediana. PMd = (n+1)/2 Elemento que está na posição da mediana. Se PMd for fracionário: faz-se a média entre os valores nas posições imediatamente anterior e posterior. 7

8 Mediana Deseja-se estudar o número de falhas a cada mensagens, considerando três algoritmos diferentes para o envio dos pacotes: Algoritmo A Algoritmo B Algoritmo C (8 observações) (8 observações) (7 observações) Mediana = 22 Mediana = 22 Mediana = 23 8

9 Separatrizes: Quartis Q I M d Q S Quartil inferior mediana Quartil superior 9

10 Moda Moda é o valor mais frequente do conjunto de dados. Teoricamente é o valor mais provável. Única moda, várias modas ou nenhuma moda. Costuma ser utilizada em conjunção com média e mediana para avaliar a simetria do conjunto de dados. 10

11 Avaliação de assimetria por média, mediana e moda freq Assimétrica à esquerda ou negativa freq. Assimétrica à direita ou positiva Média Mediana Moda Moda Mediana Média freq. Simétrica Moda = Média = Mediana 11

12 Avaliação da assimetria por mediana e quartis Assimétrica à direita ou positiva Q I M d Q S Quartil inferior mediana Quartil superior 12

13 Avaliação da assimetria por mediana e quartis Simétrica Q I M d Q S Quartil inferior mediana Quartil superior 13

14 Como medir a dispersão? Exemplo: A ( ) Intervalo: diferença entre extremos distância (desvio) em relação à média 14

15 Desvios Valores X Média X 22 Desvios (X - X) Desvios: Soma = 0 15

16 Desvios quadráticos Soma Valores X Média X 22 - Desvios X - X Desvios quadráticos (X-X)

17 Variância (S 2 ) A variância (S 2 ) é uma média dos desvios quadráticos. Por conveniência, usa-se (n-1) no denominador ao invés de n, quando se trata de AMOSTRA! S No exemplo, algoritmo A: 2 X n 1 S2 = X = 1,71 17

18 Desvio padrão Raiz quadrada positiva da variância. Possui a mesma unidade que a variável e a média. S = S 2 No exemplo, algoritmo A: S = 1,71 = 1,31 18

19 Comparação dos três algoritmos pela média e desvio padrão Algoritmo falhas X S A ,31 B ,00 C ,16 19

20 Diagramas de pontos e valores de S Algoritmo A (S = 1,31) Algoritmo B (S = 4,00) Algoritmo C (S = 3,16) Número de falhas 20

21 Coeficiente de Variação Percentual Medida de dispersão relativa. Permite comparar a dispersão de conjuntos de dados com médias e desvios padrões diferentes. Indica se os dados estão mais ou menos concentrados em torno da média: s c. v.% 100 x 21

22 Exemplo X 1 : X 2 : X 3 : média = 2 desvio padrão = 1 coeficiente de variação = 0,5 média = 101 desvio padrão = 1 coeficiente de variação = 0,01 média = 200 desvio padrão = 100 coeficiente de variação = 0,5 22

23 Escores z (padronizados) Escore z = (valor - média do conj.) /desvio padrão do conj. Identificar valores discrepantes (outliers) ou raros e valores usuais. Desigualdade de Chebyshev: pelo menos 75% dos dados estão a até 2 desvios padrões da média, pelo menos 89% dos dados estão a até 3 desvios padrões da média. 23

24 Escores z 24

25 Escores z 25

26 Diagrama em caixas 26

27 Diagrama em Caixas 27

28 Assimetria Quando média e mediana são diferentes: há assimetria. Medida de assimetria: Assimetria n n i1 x x ( n 1) ( n 2) s i 3 3 Se assimetria = 0, a distribuição é SIMÉTRICA. Assimetria > 0, a distribuição é assimétrica positiva ou à direita. Assimetria < 0, a distribuição é assimétrica negativa ou à esquerda 28

29 29 Curtose Medida do achatamento da distribuição: Mesocúrtica: achatamento equivalente ao da curva normal, curtose = 0. Leptocúrtica: curva afilada, com pico elevado, curtose > 0. Platicúrtica: curva bem achatada, curtose < ) ( 2) ( 1) ( 1) ( 3 1) ( s n n n n x x x x x x n n Curtose n i i n i i n i i

30 Breakdown Análise categorizada de uma variável quantitativa (chamada de variável de agrupamento, independente, ou fator): Comportamento da variável em função dos valores de uma ou mais variáveis qualitativas. Cálculo de medidas de síntese por grupo definido em função dos valores da variável qualitativa. Construção de gráficos por grupo definido em função dos valores da variável qualitativa. 30

31 Breakdown 31

32 Breakdown No of obs Histogram: SALARY: Yearly Salary DEPART: Bake DEPART: Package DEPART: Ship SALARY 32

Documentos relacionados

n = 25) e o elemento (pois = 19) e terá o valor 8. Verifique que antes e depois do 19 o elemento, teremos 18 elementos.

n = 25) e o elemento (pois = 19) e terá o valor 8. Verifique que antes e depois do 19 o elemento, teremos 18 elementos. V) Mediana: A Mediana de um conjunto de números, ordenados crescente ou decrescentemente em ordem de grandeza (isto é, em um rol), será o elemento que ocupe a posição central da distribuição de freqüência