Metodologia Aplicada a Computação.

Transcrição

1 Metodologia Aplicada a Computação gaudenciothais@gmail.com

2 Pré-processamento de dados Técnicas utilizadas para melhorar a qualidade dos dados; Eliminam ou minimizam os problemas como ruídos, valores incorretos, inconsistentes, duplicados ou ausentes. Podem ainda tornar os dados mais adequados para sua utilização por um determinado algoritmo.

3 Eliminação Manual de Atributos Quando um atributo não contribui para a estimativa do valor do atributo alvo, ele é considerado irrelevante. O conjunto de dados final deve ser definido de acordo com a experiência de especialistas no domínio dos dados.

4 Eliminação Manual de Atributos Id. Nome Idade Sexo Peso Manchas Temp. #Int. Est. Diagnóstico 4201 João 28 M 79 Concentradas 38,0 2 SP 3217 Maria 18 F 67 39,5 4 MG 4039 Luiz 49 M 92 Espalhadas 38,0 2 RS Saudável 1920 José 18 M 43 38,5 8 MG 4340 Cláudia 21 F 52 Uniformes 37,6 1 PE Saudável 2301 Ana 22 F 72 38,0 3 RJ 1322 Marta 19 F 87 Espalhadas 39,0 6 AM 3027 Paulo 34 M 67 Uniformes 38,4 2 GO Saudável

5 Eliminação Manual de Atributos Idade Sexo Peso Manchas Temp. #Int. Diagnóstico 28 M 79 Concentradas 38, F 67 39, M 92 Espalhadas 38,0 2 Saudável 18 M 43 38, F 52 Uniformes 37,6 1 Saudável 22 F 72 38, F 87 Espalhadas 39, M 67 Uniformes 38,4 2 Saudável

6 Integração de Dados Busca por atributos comuns nos conjuntos a serem combinados. Atributos utilizados para combinação deve(m) ter um valor único para cada objeto. CUIDADO: nome do atributo e atualização dos dados.

7 Amostragem de Dados A amostra deve ser representativa do conjunto de dados original. Diferentes amostras de uma mesma população podem gerar modelos diferentes. Os dados devem obedecer a mesma distribuição estatística que gerou o conjunto de dados original.

8 Amostragem de Dados A média dos valores para cada atributo dos dados originais deve ser semelhante a da amostra. Existem basicamente três abordagens para amostragem: Amostragem aleatória simples Amostragem estratificada Amostragem progressiva

9 Amostragem aleatória simples Sem reposição de exemplos: os exemplos são extraídos do conjunto original para a amostra a ser utilizada. Cada exemplo pode ser selecionado apenas uma vez. Com reposição de exemplos: a probabilidade de escolher qualquer objeto se mantém constante.

10 Amostra estratificada Usada quando as classes apresentam propriedades diferentes (Ex. Números de objetos bastante diferentes). Manter o mesmo número de objetos para cada classe. Manter o número de objetos em cada classe proporcional ao número de objetos da classe no conjunto original.

11 Amostra progressiva Começa com uma amostra pequena e aumenta progressivamente o tamanho da amostra extraída. A amostra vai aumentando enquanto a acurácia preditiva continuar a aumentar. Define-se a menor quantidade de dados necessária.

12 Limpeza de Dados Problemas relacionados a qualidade dos dados. Dados ruidosos (que possuem erros ou valores que são diferentes do esperado) Inconsistentes (que não combinam ou contradizem valores de outros atributos do mesmo objeto)

13 Limpeza de Dados Problemas relacionados a qualidade dos dados. Redundantes (quando dois ou mais objetos tem os mesmos valores para todos os atributos ou dois ou mais atributos tem os mesmos valores para dois ou mais objetos) Incompletos (com ausência de valores para alguns dos atributos em parte dos dados)

14 Dados incompletos Ausência de valores para alguns atributos de alguns objetos Idade Sexo Peso Manchas Temp. #Int. Diagnóstico M 79 38,0 18 F 67 39, M 92 Espalhadas 38,0 2 Saudável , F 52 Uniformes 37,6 1 Saudável 22 F 72 38,0 3 F 87 Espalhadas 39, M 67 Uniformes 38,4 2 Saudável

15 Dados incompletos Eliminar os objetos com valores ausentes. Definir e preencher manualmente valores para os atributos com valores ausentes. Empregar algoritmos de AM que lidam internamente com valores ausentes (algoritmos indutores de árvores de decisão) Utilizar algum método ou heurística para automaticamente definir valores para os atributos com valores ausentes.

16 Dados incompletos Criar para o atributo um novo valor que indique que o atributo possuía um valor desconhecido. Utilizar a média, moda ou mediana dos valores conhecidos para esse atributo. Empregar um indutor para estimar o valor do atributo. É a mais popular!!! Utilização do valor utilizado em objetos semelhantes

17 Dados incompletos Idade Sexo Peso Manchas Temp. #Int. Diagnóstico 27 M 79 38, F 67 39, M 92 Espalhadas 38,0 2 Saudável 18 F 43 38, F 52 Uniformes 37,6 1 Saudável 22 F 72 38, F 87 Espalhadas 39, M 67 Uniformes 38,4 2 Saudável Média = 60

18 Dados inconsistentes Aqueles que possuem valores conflitantes em seus atributos Idade Sexo Peso Manchas Temp. #Int. Diagnóstico 27 M 79 38, F 67 39, M 92 Espalhadas 38,0 2 Saudável 18 F 43 38, F 52 Uniformes 37,6 1 Saudável 22 F 72 38, F 87 Espalhadas 39, F 72 38,0 3 Saudável

19 Dados redundantes Objeto muito semelhante a um outro objeto do mesmo conjunto de dados. Idade Sexo Peso Manchas Temp. #Int. Diagnóstico 27 M 79 38, F 67 39, M 92 Espalhadas 38,0 2 Saudável 18 F 67 39, F 52 Uniformes 37,6 1 Saudável 22 F 72 38, F 87 Espalhadas 39,0 6

20 Dados redundantes Boosting = duplica-se a quantidade de exemplos difíceis de ser classificados. Redundância de atributos (idade x data de nascimento). Alta correlação entre atributos.

21 Dados com ruídos Dados que contem objetos que, aparentemente, não pertencem a distribuição que gerou os dados analisados. Idade Sexo Peso Manchas Temp. #Int. Diagnóstico 27 M 79 38, F , M 92 Espalhadas 38,0 2 Saudável 21 F 52 Uniformes 37,6 1 Saudável 22 F 72 38, F 87 Espalhadas 39,0 6

22 Dados com ruídos Ruídos são identificados como observações que diferem de uma distribuição utilizada na modelagem dos dados. Dados organizados em camadas. Os ruídos são identificados como objetos pertencentes a níveis superficiais.

23 Redução do ruído Técnicas de encestamento Valores encontrados para esse atributo em todos os objetos são ordenados Os valores são divididos em faixas ou cestas, cada uma com o mesmo número de valores Os valores em uma mesma cesta são substituídos pela média ou mediana dos valores presentes

24 Redução do ruído Técnicas baseadas em agrupamento dos dados Os valores dos atributos são agrupados por uma técnica de agrupamento Valores que não formarem um grupo com outros valores são considerados ruídos ou outliers O mesmo é dito de objetos que forem colocados em uma grupo no qual os demais objetos pertencem a uma outra classe

25 Redução do ruído Técnicas baseadas em distâncias Verificação da classe que pertecem os objetos mais próximos de cada objeto x Se esses objetos mais próximos pertencem a uma outra classe, podem apresentar ruído ou são borderline

26 Redução do ruído Técnicas baseadas em regressão ou classificação Utilizam uma função de regressão para, dado um valor com ruído, estimar seu valor verdadeiro Se o valor for simbólico, utilizar uma técnica de classificação

27 Transformação de dados Conversão simbólico-numérico Ausente: 0 Presente: 1 Menor valor: 0 Outro valor: 1 Cada valor nominal corresponde a uma sequência de c bits, onde c é igual ao número de possíveis valores ou categorias.

28 Codificação 1 de c (canônica ou topológica) Atributo Nominal Código 1 de c Azul Amarelo Verde Preto Marrom Branco

29 Pseudoatributos e seus possíveis valores Pseudoatributo Continente PIN População Temperatura Média Anual Área #Valores 7 (b) 1 (i) 1 (i) 1 (i) 1 (i)

30 Valor ordinal para inteiro Valor ordinal Valor inteiro Primeiro 0 Segundo 1 Terceiro 2 Quarto 3 Quinto 4 Sexto 5

31 Valor ordinal para binário Valor ordinal Código cinza Código termômetro Primeiro Segundo Terceiro Quarto Quinto Sexto

32 Conversão Numérico-Simbólico Métodos de discretização permitem transformar atributos quantitativos em qualitativos. Os valores numéricos são transformados em intervalos ou categorias.

33 Conversão Numérico-Simbólico Métodos paramétricos = o usuário influencia na definição dos intervalos, selecionando parâmetros, como número máximo de intervalos. Métodos não-paramétricos = os intervalos são definidos utilizando apenas as informações presentes nos valores do atributo.

34 Métodos de discretização Larguras iguais: divide o intervalo original de valores em subintervalos com mesma largura. Frequências iguais: atribui o mesmo número de objetos a cada subintervalo. Uso de um algoritmo de agrupamento de dados. Inspeção visual.

35 Transformação de Atributos Numéricos Quando os limites inferior e superior de valores dos atributos são muito diferentes ou estão em escalas diferentes. Normalização = evita que um atributo predomine sobre outro. Amplitude Distribuição

36 Amplitude Por reescala = define uma nova escala de valores, limites mínimo e máximo, para todos os atributos. υ NOVO = min+ υ ATUAL menor maior menor (max min)

37 Amplitude Padronização = define um valor central e um valor de espalhamento comuns para todos os atributos. υ NOVO = υ ATUAL µ Lida melhor com outliers. σ

38 Distribuição Muda a escala de valores de um atributo. 1, 5, 9 e 3 1, 3, 4 e 2