Roteiro. PCC142 / BCC444 - Mineração de Dados. Por que pré-processar os dados? Introdução. Limpeza de Dados

Transcrição

1 Roteiro PCC142 / BCC444 - Mineração de Dados Introdução Luiz Henrique de Campos Merschmann Departamento de Computação Universidade Federal de Ouro Preto luizhenrique@iceb.ufop.br Limpeza de Dados Integração de Dados Transformação de Dados Redução de Dados Discretização Processo de Descoberta de Conhecimento em Bases de Dados Por que pré-processar os dados? Dados Conhecimento 3 Regras e 2 Padrões Dados Dados Transformados Pré-processados Dados Selecionados Fonte: From data mining to knowledge discovery: An overview, U.M.Fayyad et. al., Bases de dados reais estão altamente suscetíveis a: Dados incompletos: atributos com ausência de valores, atributos de interesse ausentes ou contendo apenas dados agregados. Ruídos: dados errados, outliers (desvio com relação ao esperado). Inconsistências: discrepâncias com relação aos nomes ou códigos utilizados. Falta de qualidade dos dados resultado sem qualidade após a mineração!

2 Principais Tarefas de Pré-processamento Principais Tarefas de Pré-processamento Limpeza de dados: Preenchimento de valores ausentes. Suavização (smoothing) de ruídos (ltro da média). Identicação e/ou remoção de valores aberrantes (outliers). Tratamento de inconsistências. Integração de dados: Integração de diversas bases de dados ou arquivos. Transformação de dados: Normalização e agregação. Redução de dados: Obtenção de uma representação reduzida do conjunto de dados (redução em volume). Discretização de dados: Redução de dados particularmente importante para atributos contínuos. Pré-processamento de Dados Limpeza de Dados Técnicas de limpeza de dados são utilizadas para: Preencher valores ausentes. Identicar outliers e suavizar ruídos. Corrigir dados inconsistentes.

3 Ausência de Valores de Atributos Valores de atributos (dados) nem sempre estão disponíveis. Exemplo: vários registros de uma base de dados de vendas não possuem valores para o atributo salário do consumidor. A ausência de dados pode ser resultado de: Mau funcionamento de equipamento. Inconsistência com outros dados armazenados e, portanto, apagado. Dado não inserido devido a falta de entendimento. Dado foi considerado sem importância no momento do armazenamento. Como Lidar com os Valores Ausentes de Atributos? Ignorar o registro (instância): usualmente utilizado quando o atributo classe possui valor desconhecido. É recomendado quando a instância contém muitos valores de atributos desconhecidos. Preencher os valores ausentes manualmente: tedioso + inviável? Usar uma constante global para preencher os valores ausentes: desconhecido. Usar a média dos valores do atributo para preencher os valores ausentes. Usar a média dos valores das instâncias pertencentes à mesma classe da instância que possui o valor ausente. Utilizar o valor mais provável para preencher o valor ausente: inferência a partir da fórmula de Bayes ou árvores de decisão. Ruídos Como Lidar com os Ruídos? Ruído: é um erro aleatório ou um valor aberrante (outlier). Valores errôneos de atributos podem ocorrer devido a: Defeito no instrumento de coleta de dados. Problemas na transmissão de dados. Limitações tecnológicas. Inconsistências nas convenções de nomes. Técnicas para remoção de ruídos: Suavização. Regressão. Técnicas para identicação de valores aberrantes: Agrupamento (Clusterização). Inspeção manual auxiliada por computador.

4 Técnicas para Remoção de Ruídos Suavização: a partir de dados ordenados, a suavização de um valor ocorre a partir de uma consulta em sua vizinhança. Os valores ordenados devem ser distribuídos em caixas (bins). A suavização ocorre dentro de cada bin suavização local. Exemplo: atributo preço (ordenado): Técnicas para Remoção de Ruídos Regressão: os dados podem ser suavizados ajustando-os a uma função (p. ex.: regressão linear). y Regressão linear: uma variável pode ser utilizada para predizer a outra. Y1 4, 8, 15, 21, 21, 24, 25, 28, 34. Particionamento em bins: 4, 8, 15 21, 21, 24 25, 28, 34 Suavização pela média: 9, 9, 9 22, 22, 22 29, 29, 29 Suavização pela fronteira: 4, 4, 15 21, 21, 24 25, 25, 34 Outras alternativas de suavização: mediana,... Y1 X1 y = x + 1 x Regressão múltipla:uma variável pode ser modelada como uma função linear de um vetor multidimensional de variáveis. Técnicas para Identicação de Valores Aberrantes Técnicas para Identicação de Valores Aberrantes Clusterização: valores aberrantes são aqueles que cam fora dos clusters. Utilização de um método computacional para ajudar a encontrar valores aberrantes. Por inspeção manual, verica-se quais valores são realmente aberrantes, excluindo-os da base de dados.

5 Dados Inconsistentes Pré-processamento de Dados Erros no momento da inserção de dados. Erros provenientes da integração de diferentes bases de dados: Mesmo atributo contendo diferentes codicações. Duplicação de instâncias. Correção: Manual ou ferramentas computacionais. Integração de Dados Integração de Dados Questões a serem consideradas durante a integração: Integração de dados: combina dados de múltiplas fontes em um única fonte de forma coerente. As fontes podem ser bases de dados, cubos ou arquivos de texto. Problema da identicação de entidades: identicação das mesmas entidades do mundo real a partir de múltiplas fontes de dados. P. ex.: Como um analista saberá se customer_id em uma base de dados e cust_number em outra base de dados correspondem ao mesmo atributo? Uso de metadados.

6 Integração de Dados Pré-processamento de Dados Questões a serem consideradas durante a integração: Redundância: dados redundantes ocorrem com freqüência quando integramos dados de múltiplas fontes. O mesmo atributo pode ter nomes diferentes em bases de dados distintas. Um atributo pode ter sido derivado de outro atributo em outra tabela. Detecção de redundâncias: análise de correlação. Duplicação de instâncias. Transformação de Dados Normalização de Dados Objetivo: colocar os dados de forma apropriada para a mineração. A transformação de dados envolve: Suavização: para remoção de ruídos. Agregação: operações de sumarização dos dados. Generalização: dados primitivos são substituídos por conceitos de ordem superior utilizando-se uma hierarquia de conceitos. Ex.: atributo Rua conceitos de ordem superior: Cidade ou País. Normalização: ajuste de escala. Construção de atributos: novos atributos são construídos e adicionados ao conjunto já existente. Objetivo: Colocar os valores numa faixa pré-especicada, p. ex.:, entre 0 e 1. Importante para algoritmos de classicação envolvendo redes neurais ou cálculos de distâncias (k-nn). Métodos de normalização: Normalização min-max. Normalização z-score. Normalização por escala decimal.

7 Normalização min-max Normalização z-score Transformação linear nos dados originais. v = v mina (new_maxa new_mina) + new_mina maxa mina onde: mina: valor mínimo do atributo A. maxa: valor máximo do atributo A. new_mina: novo valor mínimo do atributo A. new_maxa: novo valor máximo do atributo A. v: valor original do atributo A. Valores do atributo são normalizados com base na média e no desvio padrão do atributo. onde: v = v meda desv_pada v: valor original do atributo A. meda: média do atributo A. desv_pada: desvio-padrão do atributo A. Normalização por Escala Decimal Pré-processamento de Dados Normalização movendo-se o ponto decimal dos valores do atributo. v = v 10 j onde j é o menor inteiro tal que Max( v ) < 1. Exemplo: Atributo A contendo valores entre 986 e 917. A normalização é realizada dividindo-se os valores do atributo por 1000 (j = 3), de modo que 986/1000 < 1.

8 Redução de Dados Estratégias de Redução de Dados Por que fazer a redução de dados? Repositórios podem conter uma quantidade absurda de dados. Exceder a capacidade de processamento dos programas de mineração de dados. Tempo de processamento muito longo. Objetivo: Obter uma representação reduzida do conjunto de dados (diminuir o volume) mantendo a integridade dos dados originais. Agregação em cubo de dados. Redução de dimensão. Compressão de dados. Redução de casos. Discretização e construção de hierarquias conceituais. Agregação em Cubo de Dados Redução de Dimensão Operações de agregação são aplicadas aos dados na construção dos cubos de dados. Podemos ter diversos níveis de agregação em cubos de dados. Quanto maior o nível de agregação, menor o volume de dados resultante. Bases de dados podem conter muitos atributos, alguns desses sendo irrelevantes ou redundantes para a tarefa de mineração de dados. Ex.: Classicar consumidor (comprador ou não comprador de um novo CD). Quais atributos devem ser considerados? Telefone? Idade? Gosto musical? Seleção de atributos!!!

9 Seleção de Atributos Compressão de Dados Seleção de atributos feita manualmente (baseada em conhecimento de especialistas) pode ser inviável devido: Tempo consumido nessa tarefa. Comportamento dos dados não ser bem conhecido. Vários métodos de seleção de atributos foram propostos. Deixar de fora atributos relevantes ou manter atributos irrelevantes pode implicar na descoberta de padrões de baixa qualidade. Dados são codicados ou transformados para se obter uma representação reduzida dos dados originais. Dados Dados originais Comprimidos Sem perda Aproximação dos dados originais Com perda Compressão de Dados Sem perdas: Diversos algoritmos para compressão de dados. Desvantagem: manipulação dos dados é muito limitada sem a expansão dos mesmos. Com perdas: Transformada Wavelet Discreta (Discrete Wavelet Transform - DWT): Representação esparsa dos dados. Análise de Componentes Principais (Principal Components Analysis - PCA): Combinação de atributos gerando um novo conjunto (menor) de variáveis. Compressão de Dados Transformada Wavelet Discreta É uma técnica de processamento de sinais que quando aplicada a um vetor X, transforma-o em um vetor numérico de coecientes de wavelet. No nosso contexto, o vetor n-dimensional X = {x1, x2,..., xn} contém os valores dos n atributos para uma instância da base de dados. Os vetores X e X têm o mesmo comprimento. Como essa técnica pode ser útil para redução da base de dados original se os dados transformados têm a mesma dimensão dos dados originais? Os dados transformados podem ser truncados. Armazena-se apenas uma fração dos dados (os maiores coecientes de wavelet). Todos os demais coecientes são mapeados para zero. Representação esparsa dos dados.

10 Redução de Casos Regressão Linear Redução do volume de dados por meio de uma representação econômica dos mesmos. Métodos paramétricos: Supõem que os dados se ajustam a um modelo. Armazenam apenas os parâmetros do modelo (outliers também podem ser armazenados). Exemplos: Regressão linear (simples e múltipla). Métodos não-paramétricos: Não estimam modelos. Exemplos: Histogramas, clusterização e amostragem. Y = α + βx Dois parâmetros, α e β denem a reta. Eles são estimados a partir dos dados que temos em mãos (Y1, Y2,..., X1, X2,... ). Em geral, utiliza-se o método dos mínimos quadrados para ajustar a curva. Histogramas Clusterização Divide o dados em subconjuntos disjuntos. A redução de dados: faixa de valores representada num único subconjunto. Os dados são particionados em grupos (clusters). Armazena-se apenas a representação de cada cluster.

11 Amostragem Discretização Um grande conjunto de dados pode ser representado por um subconjunto menor obtido por amostragem. Tipos de amostragem: Amostragem aleatória simples sem reposição. Amostragem aleatória simples com reposição. Amostragem por conglomerado. Amostragem estraticada. Reduz o número de valores de um dado atributo contínuo pela divisão da amplitude do atributo em intervalos. Os rótulos dos intevalos substituem os valores originais do atributo. Alguns algoritmos de classicação só trabalham com atributos discretos. Discretização Métodos Não Supervisionados Métodos Supervisionados Utilizam informações referentes às classes das instâncias da base de dados durante o processo de discretização de um atributo. Métodos Não Supervisionados Consideram somente os valores do atributo a ser discretizado. Partição em Intervalos Iguais Divide a faixa de valores de um atributo em k intervalos iguais (de mesma amplitude), atribuindo a cada intervalo um rótulo. Partição em Intervalos com Freqüências Iguais Divide os valores de um atributo contínuo em k partições, de modo que, considerando m instâncias na base de dados, cada partição deve conter m/k valores adjacentes (possivelmente duplicados). O parâmetro k deve ser informado pelo usuário dos métodos. Desvantagem: as fronteiras escolhidas para particionar os dados em intervalos podem colocar juntas muitas instâncias pertencentes a diferentes classes, afetando a precisão do classicador.

12 Métodos Supervisionados Perguntas? Algoritmo de discretização 1R. O objetivo é dividir o domínio de cada atributo contínuo em partições puras, ou seja, partições que sejam caracterizadas predominantemente por uma das classes da base de dados. Métodos estatísticos: ChiMerge e StatDisc. Métodos baseados em entropia: Heurística recursiva de minimização de entropia. FIM