TCE Informática Pré-Processamento de Dados Prof. Marcelo Ribeiro

Transcrição

1 TCE Informática Pré-Processamento de Dados Prof. Marcelo Ribeiro

2

3 Informática PRÉ-PROCESSAMENTO DE DADOS EM DATA MINING Técnicas de pré-processamento e transformação de dados são aplicadas para aumentar a qualidade e o poder de expressão dos dados a serem minerados. Dados duplicados, corrompidos ou ausentes podem gerar cálculos estatísticos desnivelados e incorretos. IMPORTÂNCIA Uma mineração de boa qualidade exige dados de boa qualidade, por este motivo, a fase de pré-processamento consome boa parte do tempo (~70%) dedicado ao Processo de Descoberta de Conhecimento em Banco de Dados (KDD - Knowledge Discovery in Databases). Coerência, precisão, confiabilidade, agregação de valor, interpretabilidade e acessibilidade atribuem valores aos dados a serem processados. KDD (Processo de Descoberta de Conhecimento em Banco de Dados) constitui uma etapa de pré-processamento e compreende a aplicação de várias técnicas para captação, organização, tratamento e a preparação dos dados. 3

4 Comumente considerado o passo mais importante no processo de Mineração de Dados (Data Mining) e Aprendizado de Máquina (Machine Learning), é uma etapa fundamental no processo de KDD. Todos os blocos de dados deverão ser transformados para a forma numérica e valores discrepantes, nulos e equivocadamente duplicados serão descartados, para que não ocorram desníveis negativistas nos valores analisados. PRINCIPAIS FUNÇÕES Limpeza dos Dados: informações ausentes, inconsistentes ou incoerentes, contidas na base de dados devem ser corrigidas de forma a não comprometer a qualidade dos modelos de conhecimento a serem extraídos ao final do processo de KDD. Esta etapa abrange qualquer tratamento realizado sobre os dados selecionados de forma a assegurar a qualidade, integridade e veracidade dos fatos por eles representados. 4

5 Pré-Processamento de Dados Prof. Marcelo Ribeiro Seleção e Construção de Atributos: Atributos (variáveis ou campos) desnecessários causam ruídos (modificações dos valores originais), interferindo no resultado final e isto pode ser evitado com a aplicação de técnicas de Seleção de Atributos. O objetivo é escolher um subconjunto de atributos ou criar atributos que substituam um conjunto destes a fim de reduzir a dimensão e a complexidade do banco de dados, além de reduzir também o tempo de processamento necessário para a extração de conhecimento. Discretização: alguns algoritmos de mineração de dados, especialmente de classificação, requerem que os dados estejam na forma de atributos categorizados. Assim, muitas vezes é necessário transformar um atributo contínuo em categórico (que indica uma categoria, por exemplo sexo, nacionalidade). Discretização implica em dividir, particionar um todo em partes com menor complexidade, com a finalidade de facilitar os cálculos. Transformação de Variáveis: é um ajuste necessário para evitar que alguns atributos, por apresentarem uma escala de valores discrepante dos demais, influenciem de forma tendenciosa determinados métodos de Mineração de Dados. Para realizar esta tarefa é aplicada uma transformação de valores a todos os atributos de modo que cada atributo esteja entre uma estreita faixa de valores; entre -1 e 1, por exemplo. 5

6 Binarização: algoritmos utilizados para descoberta de padrões de associação necessitam que os dados estejam na forma de atributos binários. Assim, muitas vezes tanto os atributos contínuos quanto os discretos necessitam ser transformados em um ou mais atributos binários. MINERAÇÃO DOS DADOS BINÁRIOS (CONVERSÃO PARA GRÁFICOS) IMPORTÂNCIA DO PRÉ-PROCESSAMENTO DE DADOS EM DATA MINING Aumentar a qualidade e o poder de expressão dos dados em Data Mining. Coerência, precisão, confiabilidade, agregação de valor, interpretabilidade e acessibilidade atribuem valores aos dados a serem processados. Aplicada uma transformação de valores a todos os atributos de modo que cada atributo esteja entre uma estreita faixa de valores (ex.: -1 e 1). Algoritmos utilizados para descoberta de padrões de associação necessitam que os dados estejam na forma binária. 6

7 Pré-Processamento de Dados Prof. Marcelo Ribeiro 7