DATA MINING. Prof. Fulvio Cristofoli. Mineração De Dados.

Transcrição

1 DATA MINING Mineração De Dados

2 Conceito As organizações perseguem inteligência. Nessa perseguição, elas processam informação, formulam planos e aspirações, interpretam ambientes, geram estratégias e decisões, monitoram experiências e recebem aprendizado dessas experiências e imitam as outras organizações, na medida em que elas fazem o mesmo. James C. March

3 Conceito DATA MINING Mineração de Dados É uma tecnologia usada para revelar informação estratégica escondida em grandes massas de dados. Define o processo automatizado de captura e análise de enormes conjuntos de dados, para então extrair um significado.

4 Conceito DATA MINING ou Mineração de Dados é o processo de extração de informação de grandes bancos de dados. Data Mining é a técnica t que define o processo automatizado de captura e análise de conjuntos de dados visando a extração de significados ocultos.

5 Finalidade Vários setores da economia podem ser beneficiados através da utilização do processo DATA MINING, entre eles, o financeiro, o comercial, o industrial e o de marketing, além dos setores de saúdes e outras aplicações não menos significativas.

6 Como Funciona? Os dados são extraídos dos sistemas de informação após limpeza e transformação são carregados em um Data Warehouse (Repositório ou Armazém de Dados).

7 Técnicas O cérebro humano, comprovadamente, consegue fazer até 8 comparações ao mesmo tempo. A função do Data Mining é justamente ampliar esta comparação para INFINITO e tornar isso visível ao olho humano. Data Mining basicamente é aplicação de técnicas estatísticas, muitas vezes complexas e que precisam ser analisadas por técnicos especializados.

8 Técnicas Análise de Clusters Esta técnica agrupa informações homogêneas de grupos heterogêneos entre os demais e aponta o item que melhor representa cada grupo, permitindo, desta forma, que consigamos perceber a característica de cada grupo.

9 Técnicas Regressão As técnicas de regressão auxiliam a prever o futuro, baseado no passado. Para isso utiliza-se de dados históricos. Existem várias técnicas de regressão e deve-se utilizar a mais adequada em cada caso.

10 Técnicas Árvore de Decisão Nesta técnica você escolhe a variável que quer avaliar e o software procura as mais correlacionadas e monta a árvore com várias ramificações. As árvores de decisão são meios de representar resultados de Data Mining na forma de árvore, e que lembram um gráfico organizacional horizontal.

11 Técnicas Redes Neurais As redes neurais tentam construir representações internas de modelos ou padrões achados nos dados. Taxa de Câmbio Dias corridos Previsões estatisticas usuais Ajuste exponencial de 2a. ordem Ajuste exponencial de 3a. ordem Autoregressão O que aconteceu O que a ANN previu Passado (200 dias) Futuro (60 dias) HOJE USO DE UMA REDE NEURAL PARA PREVER TAXAS DE CÂMBIO As redes neurais procurar estabelecer um modelo matemático no computador, que simule o comportamento do cérebro humano, com base no pouco que se conhece sobre ele. Esse modelo é posteriormente transformado em um programa (em c e assembly, com linux). Seu uso requer computadores muito rápidos (ou supercomputadores) e alimentação constante de dados recentes.

12 Técnicas Estatísticas sticas Descritivas As estatísticas descritivas são usadas para, como diz o nome, descrever itens, como por exemplo, tamanho da população, média de idade e outros mais. Estas técnicas são muito úteis, porém se você tiver um técnico que possa se utilizar destas técnicas e de outras mais, como por exemplo, análise de discriminantes, as muitas técnicas de ajustes de curvas, análises de variância, testes de hipóteses, cálculos de probabilidades e outros mais. Você poderá tirar um proveito muito maior que somente com as técnicas exclusivas de pacotes de Data Mining. Ao comprar um software de Data Mining certifique-se se ele lhe dá flexibilidade de parametrização e possibilidade de uso de todas as técnicas estatísticas, principalmente as de estatística clássica

13 Exemplos de Aplicações Área de Vendas Identificar padrões de comportamento dos consumidores Encontrar características dos consumidores de acordo com a região demográfica Prever quais consumidores serão atingidos nas campanhas de marketing Finanças Detectar padrões de fraudes no uso dos cartões de crédito Identificar os consumidores que estão tendendo a mudar a companhia do cartão de crédito Identificar regras de estocagem a partir dos dados do mercado Encontrar correlações escondidas nas bases de dados Seguros e Planos de Saúde Determinar quais procedimentos médicos são requisitados ao mesmo tempo Prever quais consumidores comprarão novas apólices Identificar comportamentos fraudulentos

14 Exemplos de Aplicações Transporte Determinar a distribuição dos horários entre os vários caminhos Analisar padrões de sobrecarga Detecção de notas fiscais fraudulentas. Medicina Caracterizar o comportamento dos pacientes para prever novas consultas Identificar terapias de sucessos para diferentes doenças Setor Bancário Estudo do comportamento do uso de cartões de crédito para determinados grupos de clientes Detecção de cartões de crédito roubados Estudo do comportamento de usários de cartões de crédito roubados Identificação de clientes fiéis

15 Data Mining O Data Mining possibilita: Agilidade Confiabilidade Preservação dos Dados Comparação

16 Interesses O interesse por Data Mining, em particular em dependências funcionais, tem aumentado, principalmente por causa da alta demanda em transformar grandes quantidades de dados em informações úteis.

17 Mercado Descoberta pelo mercado brasileiro, as ferramentas de mineração de dados são produzidas e comercializadas no exterior principalmente nos Estados Unidos e Europa, onde as empresas jáj perceberam claramente os benefícios e o retorno financeiro que o emprego desta tecnologia traz para os seus negócios.

18 Referências Bibliográficas AMARAL,F.C.N. Data Mining: Técnicas e Aplicações para o Marketing Direto. São Paulo: Editora Berkeley, BUSSAB,W.O., MORETTIN,P.A. Estatística Básica. 5.ed. São Paulo: Editora Saraiva, BUSSAB,W.O., MIAZAKI,É.S. ANDRADE,D.F. Introdução à Análise de Agrupamentos. São Paulo: 9 Simpósio Nacional de Probabilidade e Estatística, BERRY,M.J.A., LINOFF,G. Data Mining Techniques For Marketing, Sales and Customer Support. 2a. ed. New York: John Wiley & Sons, Inc., CARVALHO,L.A.V. Datamining A Mineração de Dados no Marketing, Medicina, Economia, Engenharia e Administração. São Paulo: Editora Érica, DINIZ,C.A.R., NETOF.L. Data Mining: Uma Introdução. São Paulo: XIV Simpósio Nacional de Probabilidade e Estatística. IME-USP, FERNADEZ,G. Data Mining Using SAS Applications. New York: Editora Chapman & Hall/CRC, HAN, J., KAMBER, M.. Data Mining: Concepts and Techniques. San Francisco: Morgan Kaufmann Publishers, KLÖSGEN,W., ZYTKOW, J.M.. Handbook of Data Mining and Knowledge Discovery. New York: Oxford University Press, Inc., MANLY,B.F.J. Multivariate Statistical Methods: a Primer. 3.ed. New York: Chapman & Hall, 2005.