FONTES DE ERRO, HIPÓTESES, ANÁLISE EXPLORATÓRIA DE DADOS 1ª PARTE

Transcrição

1 FONTES DE ERRO, HIPÓTESES, ANÁLISE EXPLORATÓRIA DE DADOS 1ª PARTE 1

2 Fontes de erro Mesmos dados População incorreta 2

3 Prescrição Objetivos: 1º passo Formular hipóteses ANTES Listar fontes de variação Definir população 3

4 Hipóteses de Pesquisa Para homens acima de 40 anos com hipertensão crônica, uma dose diária de 100 mg desta nova droga reduzirá em 10 mm de mercúrio (em média) a pressão sanguínea diastólica. Para homens acima de 40 anos com hipertensão crônica, uma dose diária de 100 mg desta nova droga reduzirá em 10 mm de mercúrio (em média) a pressão sanguínea diastólica comparada a uma dose equivalente de metropolol. Esta nova variedade de tijolo refratário apresentará um ponto de fusão 200º C maior (em média) do que a variedade atualmente usada. 4

5 AED - Conceito Dados Necessário resumi-los! Necessário organizá-los! Interpretação e tomada de decisões. 5

6 Objetivo Estudar comportamento INDIVIDUAL das variáveis. Estudar RELACIONAMENTO entre as variáveis. 6

7 Escolha das técnicas de AED Nível de mensuração das variáveis. Objetivo da análise: Comportamento individual da variável. Comportamento da variável em função de uma ou mais variáveis (ferramentas múltiplas). Número de variáveis envolvidas. Tamanho do conjunto de dados. Tempo disponível para a apresentação dos resultados. Grau de conhecimento estatístico do público alvo. 7

8 Nível de mensuração Qualitativas Tabelas de freqüência ou percentuais Gráficos (barras, setores, linhas) Quantitativas Tabelas de freqüência ou percentuais Gráficos (diagrama de pontos, histograma, diagrama em caixas, linhas) Medidas de síntese: média, mediana, desvio padrão 8

9 Nível de mensuração Variáveis QUANTITATIVAS: Discretas - lista finita (geralmente, números inteiros). Exemplo: quantidade de máquinas ligadas. Contínuas - infinitos resultados possíveis (um intervalo dos números reais). Exemplo: tempo de resposta (em segundos). 9

10 Mensuração de variáveis Como medir satisfação com o trabalho? classificar: satisfeito / não satisfeito grau de satisfação: escala de 0 a 10 grau de satisfação: escala de 1 a 5 associada a adjetivos grau de satisfação: escala construída com vários itens de um questionário 10

11 Nível de mensuração Qual é o nível de mensuração de cada variável no conjunto ao lado? 11

12 Pré-análise dos dados Dados perdidos: não foram registrados para um ou mais dos integrantes do conjunto. Até 5% aceitável. Erros de registro: problemas de ortografia, digitação (facilmente identificáveis), valores discrepantes (quando resultante de erros). Inconsistências: sua identificação já faz parte da análise dos dados. Importante para mineração de dados. 12

13 Recodificação e Transformação Criar novas variáveis usando condições fixadas. Recodificação: Qualitativa para qualitativa. Quantitativa para qualitativa (categorização). Quantitativa contínua para classes (agrupamento em classes) Transformação: Quantitativa para quantitativa (operação matemática). 13

14 Freqüência Distribuição de frequências Valores possíveis da variável Número de ocorrências de cada valor Marca Freq % Gradiente Panasonic Phillips Samsung Toshiba Total Vendas das marcas Ou Quantidades e % Gradiente Panasonic Phillips Samsung Toshiba Marcas 14

15 Distribuição de frequências - variáveis qualitativas Marca dos produtos vendidos em 2500 transações Marca Freq % Gradiente Panasonic Phillips Samsung Toshiba Total Fonte: hipotética 15

16 Freqüência Gráfico de barras Vendas das marcas Gradiente Panasonic Phillips Samsung Toshiba Marcas 16

17 Freqüência Gráfico de barras Vendas das marcas Gradiente Panasonic Phillips Samsung Toshiba Marcas 17

18 Gráfico em setores (circular ou pizza) 14% Vendas das marcas 9% 30% 31% Gradiente Panasonic Phillips Samsung Toshiba 16% 18

19 Distribuição de frequência múltipla Tabulação Cruzada Dupla Classificação Tabela de Contingências Valores variável 2 Valores variável 1 Frequências cruzamentos 19

20 Tabela de contingências Região Marca Gradiente Panasonic Philips Samsung Toshiba Total Centro Extr.Sul Leste Norte Sudeste Total Podem ser calculados percentuais em relação aos totais das linhas, das colunas, ou ao total geral. 20

21 Tabela de contingências Perfil linha Marca Região Gradiente Panasonic Phillips Samsung Toshiba Total Centro Extr.Sul Leste Norte Sudeste Marca Região Gradiente Panasonic Phillips Samsung Toshiba Centro Extr.Sul Leste Perfil coluna Norte Sudeste Total Marca Região Gradiente Panasonic Phillips Samsung Toshiba Centro Extr.Sul Leste Norte Sudeste

22 Frequência Apresentação gráfica Distribuição das marcas por região Centro Extr.Sul Leste Norte Sudeste 50 0 Gradiente Panasonic Phillips Samsung Toshiba Marcas de eletrodomésticos 22

23 Frequência Apresentação gráfica Distribuição das marcas por região 100% 90% 80% 70% 60% 50% 40% 30% 20% Sudeste Norte Leste Extr.Sul Centro 10% 0% Gradiente Panasonic Phillips Samsung Toshiba Marcas de eletrodomésticos 23

24 Distribuição de frequências - variáveis quantitativas Nível de mensuração da variável quantitativa: DISCRETA: semelhante às variáveis qualitativas. Tabela de freqüências e histograma para dados não agrupados. CONTÍNUA: necessário agrupar os dados para possibilitar o resumo do conjunto e melhor visualização. Tabelas de freqüência e histograma para dados agrupados, diagramas em caixa. 24

25 Tabela de frequências - dados não agrupados Semelhante às qualitativas: registrar os valores possíveis e contar o número de ocorrências de cada um. Numa rede de computadores, a quantidade de máquinas que costumam estar ligadas, por dia

26 Distribuição de Frequências Máquinas em uso Total Freqüência (absoluta) Proporção 0,10 (10%) 0,20 (20%) 0,30 (30%) 0,25 (25%) 0,10 (10%) 0 0,05 ( 5%) 1 (100%) 26

27 Histograma 0,20 0,30 0,25 0,10 0,10 0, Máquinas em uso 27

28 Tabela de frequências para dados agrupados Recomendável para grande conjuntos de variáveis QUANTITATIVAS. PERDE-SE informação sobre o conjunto original para obter sua compactação. 28

29 Tabela de frequências para dados agrupados Passos para construção: Determinar o intervalo do conjunto. Dividir o intervalo em k classes: k = 5 log n (para n > 100) Contar frequência dentro das classes. Tempo (em segundos) para carga de um aplicativo sistema compartilhado (50 observações): 5,2 6,4 5,7 8,3 7,0 5,4 4,8 9,1 5,5 6,2 4,9 5,7 6,3 5,1 8,4 6,2 8,9 7,3 5,4 4,8 5,6 6,8 5,0 6,7 8,2 7,1 4,9 5,0 8,2 9,9 5,4 5,6 5,7 6,2 4,9 5,1 6,0 4,7 18,1 5,3 4,9 5,0 5,7 6,3 6,0 6,8 7,3 6,9 6,5 5,9 num 29

30 5,2 6,4 5,7 8,3 7,0 5,4 4,8 9,1 5,5 6,2 4,9 5,7 6,3 5,1 8,4 6,2 8,9 7,3 5,4 4,8 5,6 6,8 5,0 6,7 8,2 7,1 4,9 5,0 8,2 9,9 5,4 5,6 5,7 6,2 4,9 5,1 6,0 4,7 18,1 5,3 4,9 5,0 5,7 6,3 6,0 6,8 7,3 6,9 6,5 5,9 4,7 18,

31 Tabela de freqüências 31

32 Histograma do tempo (em segundos) para carga de um aplicativo num sistema compartilhado (50 observações). 20 Histogram: Falhas No. of obs X < Category Boundary 32

33 Diagrama de pontos 4,5 Distribution for variable: Falhas 4,0 3,5 3,0 2,5 2,0 1,5 1,0 0,5 0, Falhas 33

34 Gráfico de linhas 700 Companhia aérea Número de passageiros Meses 34

35 Salário anual Diagrama de Dispersão y = 0,7485x + 135,03 y = -0,0435x 2 + 1,8279x + 129, Experiência (anos) 35