MINERAÇÃO DE DADOS 1
|
|
- Ayrton Mota Faria
- 7 Há anos
- Visualizações:
Transcrição
1 MINERAÇÃO DE DADOS 1
2 CONCEITOS BÁSICOS CONHECIMENTO INFORMAÇÃO DADO 2
3 CONCEITOS BÁSICOS DADOS Os dados são elementos brutos, sem significado, desvinculados da realidade. São, segundo Davenport (1998, p. 19), "observações sobre o estado do mundo". São símbolos e imagens que não dissipam nossas incertezas. Eles constituem a matéria-prima da informação. Dados sem qualidade levam a informações e decisões da mesma natureza. Sendo o dado considerado a matéria-prima para a informação: o que são informações? 3
4 CONCEITOS BÁSICOS INFORMAÇÕES As informações são dados com significado. "São dados dotados de relevância e propósito" (Drucker apud Davenport, 1998, p.18). Elas são o resultado do encontro de uma situação de decisão com um conjunto de dados, ou seja, são dados contextualizados que visam a fornecer uma solução para determinada situação de decisão (MacDonough apud Lussato, 1991). A informação pode assim ser considerada como dados processados e contextualizados, mas para Sveiby (1998) a informação também é considerada como "desprovida de significado e de pouco valor", e Malhotra (1993) a considera como "a matériaprima para se obter conhecimento". 4
5 CONHECIMENTO CONCEITOS BÁSICOS Para Davenport (1998, p.19), o "conhecimento é a informação mais valiosa (...) é valiosa precisamente porque alguém deu à informação um contexto, um significado, uma interpretação (...)". O conhecimento pode então ser considerado como a informação processada pelos indivíduos. O valor agregado à informação depende dos conhecimentos anteriores desses indivíduos. Assim sendo, adquirimos conhecimento por meio do uso da informação nas nossas ações. Desta forma, o conhecimento não pode ser desvinculado do indivíduo; ele está estritamente relacionado com a percepção do mesmo, que codifica, decodifica, distorce e usa a informação de acordo com suas características pessoais, ou seja, de acordo com seus modelos mentais ou necessidade. 5
6 CONCEITOS BÁSICOS Exemplo Um carro BMW, último tipo, conversível, zero quilômetro, totalmente destruído em um acidente no qual o motorista bateu em uma árvore centenária derrubando-a pode ser codificado, decodificado e distorcido das seguintes maneiras. Algumas pessoas serão levadas a decodificar as informações baseadas em seus valores materiais: "Logo um carro tão caro! Será que ele está segurado? 6
7 CONCEITOS BÁSICOS Exemplo Enquanto outras pessoas, com valores humanos mais aguçados, terão seu foco no ser humano: "Será que o acidente resultou em feridos?" Outras pessoas com interesses ecológicos ainda terão suas atenções voltadas ao destino da árvore centenária: "Logo nesta árvore! Não poderia ter sido em uma outra?". 7
8 MAIS UM INGREDIENTE NA CONCEPÇÃO DA UTILIZAÇÃO DA INFORMAÇÃO 8
9 UM NOVO CONCEITO DADOS DADOS CONTEXTO INFORMAÇÃO INFORMAÇÃO EXPERIÊNCIA CONHECIMENTO CONHECIMENTO HABILIDADE COMPETÊNCIA 9
10 TOMADA DE DECISÕES Cadeia do Processo Decisório Decisão Competência Conhecimento Informação BI : OLAP, CRM, DATAWAREHOUSE, DATA MINING, etc; ERP, Sistemas Individuais Dados 10
11 HISTÓRICO Era da Inteligência Era das aplicações Era dos bancos de dados
12 A IMPORTÂNCIA DA INFORMAÇÃO 12
13 DUPLO PAGAMENTO O consumidor paga duas vezes por cada compra: A primeira com dinheiro e a segunda ao fornecer informação que vale dinheiro. Por exemplo, se o freguês pagar com cartão de crédito, é claro, que muita coisa é revelada. Agora o freguês também está fornecendo: (1) nome, (2) endereço e CEP, (3) informação sobre crédito, (4) base para inferir na renda familiar, e muitas coisas mais. A pergunta essencial que paira no ar é: Quem possui os dados sobre o freguês? E quando custa. 13
14 DUPLO PAGAMENTO O consumidor paga duas vezes por cada compra: A primeira com dinheiro e a segunda ao fornecer informação que vale dinheiro. Por exemplo, se o freguês pagar com cartão de crédito, é claro, que muita coisa é revelada. Agora o freguês também está fornecendo: (1) nome, (2) endereço e CEP, (3) informação sobre crédito, (4) base para inferir na renda familiar, e muitas coisas mais. A pergunta essencial que paira no ar é: Quem possui os dados sobre o freguês? E quando custa. 14
15 O PODER DA INFORMAÇÃO O maior capital das empresas não são mais os seus colaboradores. Mas sim, as suas informações. As informações passaram a ser os resultados de todas as ações operacionais que fazem a empresa funcionar. 15
16 OBTENDO INFORMAÇÕES Quais informações poderíamos obter em uma simples Nota Fiscal e que cruzamentos poderíamos fazer? 16
17 UMA NOTA FISCAL 17
18 UMA NOTA FISCAL 18
19 O QUE É MAIS IMPORTANTE? A INFORMAÇÃO! 19
20 REFLEXÃO... ADMINISTRAR BEM UM NEGÓCIO É ADMINISTRAR SEU FUTURO; E ADMINISTRAR SEU FUTURO É ADMINISTRAR INFORMAÇÕES ( Marion Harper Jr.) 20
21 REFLEXÃO O mundo não está interessado nas tempestades que você enfrentou, quer apenas saber se você trouxe o navio William Mac Fee E como você acha que as organizações pensam? 21
22 ... Não estamos aqui para prever o futuro,mas sim para criar a certeza de tê-lo Peter Ferdinand Drucker E com quais ferramentas? 22
23 ESPÉCIES DE ORGANIZAÇÕES AS QUE FAZEM AS COISAS ACONTECEREM. AS QUE OBSERVAM AS COISAS ACONTECEREM. AS QUE PERGUNTAM O QUE ACONTECEU. 23
24 REFLEXÃO DIGA-ME, POR FAVOR, QUE CAMINHO DEVO TOMAR PARA SAIR DAQUI?, perguntou Alice. ISTO DEPENDE DE PARA ONDE VOCÊ QUER IR, disse o gato. NÃO FAZ DIFERENÇA PARA MIM, retrucou Alice. ENTÃO, NÃO FAZ DIFERENÇA QUE CAMINHO VOCÊ TOMA, respondeu-lhe o gato. ALICE NO PAÍS DAS MARAVILHAS Lewis Carroll 24
25 ... Comentários? 25
26 NECESSIDADES DE UM GESTOR 26
27 NECESSIDADE DO GESTOR INFORMAÇÃO ANÁLISE DECISÃO AÇÃO VELOCIDADE RESULTADOS 27
28 Informação NECESSIDADE DO GESTOR QUANTO MAIOR A QUANTIDADE E QUALIDADE DAS INFORMAÇÕES DISPONÍVEIS, MAIS FÁCIL ACHARMOS ONDE ATUAR PARA ALCANÇARMOS NOSSOS OBJETIVOS. Análise QUANTO MAIS FÁCIL PUDERMOS MANIPULAR TAIS INFORMAÇÕES, PERMITINDO ESTUDAR CENÁRIOS POR DIFERENTES PERSPECTIVAS, MAIS CLARAS, FÁCEIS E FIÉIS SERÃO NOSSAS CONCLUSÕES. 28
29 NECESSIDADE DO GESTOR Decisão CONCLUSÕES EMBASADAS EM DADOS REAIS NOS LEVAM A TOMAR DECISÕES ASSERTIVAS, NA DIREÇÃO EXATA DE NOSSOS OBJETIVOS. Ação TAIS DECISÕES DEVEM SER IMPLANTADAS DE MANEIRA RÁPIDA E ABRANGENTE, SENDO TRANSFORMADAS EM AÇÕES. 29
30 NECESSIDADE DO GESTOR Velocidade AÇÕES QUE POR SUA VEZ DEVEM SER PROCESSADAS RAPIDAMENTE, COM QUALIDADE, EM QUANTIDADE E ABRANGÊNCIA. Resultados SÓ ASSIM CHEGAMOS AOS RESULTADOS POSITIVOS QUE BUSCAMOS. NÃO POR MÁGICA E SIM COMO CONSEQÜÊNCIA LÓGICA E NORMAL DE UM TRABALHO REALIZADO. 30
31 NECESSIDADES DO USUÁRIO 31
32 NECESSIDADES DO USUÁRIO Quero toda a Informação..." Informação Integrada Processo de Business Análise Retorno Gerado pelo Computador Medias Importantes Experiência out in 32
33 REFLEXÃO INFORMAÇÃO NÃO É FONTE DE PODER, É FONTE DE GESTÃO 33
34 NECESSIDADES CORPORATIVAS INFORMAÇÕES CONHECIMENTO Foco em Resultados BASE DE Métrica dos objetivos Estratégicos 34
35 Data Mining Mineração de Dados 35
36 Mineração de Dados 36
37 Mineração de Dados - Justificativa O volume de dados duplica a cada ano! 37
38 DM - MOTIVAÇÃO Os recursos de análise de dados tradicionais são inviáveis para acompanhar esta evolução e velocidade da Tecnologia da Informação em busca de conhecimento. Morrendo de sede por conhecimento em um oceano de dados 38
39 DATA MINING O que é? Mineração de dados (descoberta de conhecimento em bases de dados): Extração de informação interessante (nãotrivial, implícita, previamente desconhecida e potencialmente útil) dos dados armazenados em grandes massas de dados conhecimento para tomada de decisão. 39
40 DATA MINING KDD Knowledge Discovery in Database Descoberta de Conhecimento em Banco de Dados 40
41 DATA MINING KDD é o processo, não trivial, de extração de informações, implícitas, previamente desconhecidas e potencialmente úteis, a partir dos dados armazenados em um banco de dados [Frawley, Piatetsky-Shapiro & Matheus,1991] 41
42 DATA MINING Como identificar conhecimento em uma grande massa de dados: Padrões ( X acontece se...) Exceções (isto é diferente de... por causa de...) Tendências (ao longo do tempo, Y deve acontecer...) Correlações (se M acontece, N também deve acontecer) 42
43 DATA MINING O que é? Nomes alternativos: Descoberta (mineração) de conhecimento em banco de dados (KDD - Knowledge Discovery in Database ), extração de conhecimento, análise de dados/padrões, business intelligence, etc. O que não é data mining? Processamento de consultas dedutivo. Sistemas especialistas ou pequenos programas estatísticos ou de aprendizado de máquina. 43
44 DATA MINING - MOTIVAÇÃO Problema da explosão de dados Processo de tomada de decisão exige análise de grandes massas de dados Solução: Data Warehousing e Data Mining Data warehousing: Visão multidimensional dos dados para processamento OLAP Data mining: Extração de conhecimento interessante (regras, padrões, restrições) dos dados em grandes bases de dados. 44
45 DATA MINING - APLICAÇÕES Análise de dados e suporte a decisões Análise de mercado Marketing sob demanda, relação entre clientes, análise e segmentação de mercado, análise cruzada de dados, etc. Análise de risco Previsão, controle de qualidade, análise competitiva, análise de seguros Detecção de fraude Outras Aplicações Mineração de texto (news group, , documentos XML) 45
46 DM ANÁLISE DE MERCADO Quais são as fontes de dados para Análise de Mercado? Transações de cartões de crédito, cartões de fidelidade, cupons de desconto, serviços de televendas, estudos de comportamento (questionários públicos, web, etc.) Marketing sob demanda Descobrir grupos de modelos de clientes que compartilham as mesmas características: interesses, hábitos de compras, etc. Determinar padrões de compras. Análise cruzada de dados. Associações/corelações entre vendas de produtos Previsão baseada nas associações determinadas 46
47 DM ANÁLISE DE MERCADO Preferências do Cliente Data mining pode mostrar que tipos de clientes compram que tipos de produtos (clustering ou classificação). Identificação das necessidades dos clientes Melhores produtos para diferentes clientes; Modelos de predição para descobrir que fatores vão atrair novos clientes Informações sumárias Relatórios multidimensionais e estatísticos 47
48 DATA MINING ANÁLISE DE RISCOS Planejamento de finanças e orçamento Análise e predição de fluxo de caixa Análise de contingência para provisão de bens Análise de séries temporais Planejamento de recursos: Resume e compara os recursos e os gastos Competição: Monitorar concorrentes e direções de mercado Agrupar clientes em classes e elaborar métodos para ajustar preços competitivos com os concorrentes do mercado 48
49 DM DETECCÃO DE FRAUDES Aplicações Largamente usada em serviços de saúde, cartões de créditos, telecomunicações (fraude de ligações telefônicas), etc. Técnicas Dados históricos para construir modelos de comportamento fraudulentos e usar mineração de dados para identificar instâncias similares Exemplos Seguro de automóveis: detecta um grupo de pessoas que são potenciais coletores de sinistros Lavagem de dinheiro: detecta transações suspeitas de dinheiro Seguro de saúde: detecta pacientes profissionais e grupo de outores usados para receber seguro destes pacientes 49
50 DM DETECCÃO DE FRAUDES Detecção inapropriada de tratamento médico Comissão de Seguro de Saúde da Austrália identificou que em muitos casos os tratamentos não eram necessários (economia de $1milhão/ano). Detecção de fraudes telefônicas Modelo de ligações telefônicas: destino da ligação, duração, hora do dia, dia da semana. Análise de padrões que desviam do padrão esperado. 50
51 DM - DESCOBERTA DO CONHECIMENTO EM BD (KDD) INTERPRETAÇÃO/ AVALIAÇÃO CONHECIMENTO DATA MINING? PADRÕES TRANSFORMAÇÃO PRÉ-PROCESSAMENTO SELEÇÃO DADO PROCESSADO DADO TRANSFORMADO FAYYAD 1996 DADOS DADO ANALISADO 51
52 DM - DESCOBERTA DO CONHECIMENTO EM BD (KDD) 1 - SELEÇÃO 2 - PRÉ-PROCESSAMENTO (Limpeza + Enriquecimento) 3 - TRANSFORMAÇÃO 4 - MINERAÇÃO 5 - INTERPRETAÇÃO 4 5 Conhecimento 1 2 Dados Pré-processados 3 Dados Transformados Regras e Padrões Dados Dados Selecionados 52
53 DM - ETAPAS DO PROCESSO DE KDD Conhecer o domínio da aplicação. Conhecimento relevante e metas da aplicação Criar a base de dados alvo: seleção de dados Limpeza dos dados e pré-processamento: (até 60% do esforço!) Transformação dos dados: Contemplar propriedades importantes e dimensões. Escolha das funções do data mining sumarização, classificação, associação, clustering. Escolha dos algortimos de mineração Data mining: busca dos padrões de interesse Avaliação dos padrões descobertos e apresentação do conhecimento visualização, transformação, remoção de padrões redundantes, etc. Uso do conhecimento descoberto 53
54 DM - ETAPAS DO PROCESSO DE KDD Lógica Condicional Descoberta Afinidades e Associações Tendências e Variações Data Mining Modelagem de Prognóstico Resultado do Prognóstico Previsão Análise Prévia Detecção de Desvio Análise de Ligações 54
55 ARQUITETURA DE UM SISTEMA DE DATA MINING Graphical user interface Pattern evaluation Data cleaning & data integration Data mining engine Database or data warehouse server Databases Data Warehouse Filtering Knowledge-base 55
56 ALGUMAS TÉCNICAS DE MINERAÇÃO DE DADOS 56
57 TÉCNICAS DE MINERAÇÃO DE DADOS Classificação Descoberta de Regras de Associação Clustering 57
58 Mineração de Dados - Classificação Usamos o Indutor, como por exemplo uma Árvore de decisão (ID3, C4.5), para indicar classes para estes dados. Assumimos que dados desconhecidos próximos de dados conhecidos terão a mesma classe dos dados conhecidos. O processo pode ser avaliado se usarmos dados com classes conhecidas, fizermos a sua classificação e compararmos os resultados previstos com os obtidos. 58
59 Mineração de Dados - Classificação Classificação - REGRAS Regras possuem: antecedentes (condições) e conseqüentes (classe): SE COND1 E COND2 E... ENTÃO CLASSE(A) Condições relacionam valores dos atributos: Atributos : Cliente, Data Vencimento, Pagamento, Valor,... Relações: <, >, =,... 59
60 Mineração de Dados - Classificação Classificação REGRAS - Exemplo SE 06:00hs< hora_sinistro < 08:30hs E oficina oficinas_suspeitas E prêmio_seguro < R$ 2300 E registro_policial = NÃO E custo_sinistro > 2,4 prêmio_seguro ENTÃO FRAUDE 60
61 Mineração de Dados - Classificação Classificação - Exemplo Sexo País Idade Comprar M França 25 sim M Inglaterra 21 sim F Franca 23 sim F Inglaterra 34 sim F França 30 não M Alemanha 21 não M Alemanha 20 não F Alemanha 18 não F França 34 não M França 55 não 61
62 Mineração de Dados - Classificação Classificação SE (país = Alemanha ) ENTÃO (comprar= não ) Se (país = Inglaterra ) ENTÃO (comprar = sim ) SE (país = França E idade 25) ENTÃO (comprar = sim ) SE (país = França E idade > 25) ENTÃO (comprar = não ) 62
63 Mineração de Dados - Classificação Algoritmo ID3 [Quinlan 86] Passos para construção de uma árvore de decisão: 1. Seleciona um atributo como sendo o nodo raiz ; 2. Arcos são criados para todos os diferentes valores do atributo selecionado no passo 1; 3. Se todos os exemplos de treinamento sobre uma folha pertencerem a uma mesma classe, esta folha recebe o nome da classe. Se todas as folhas possuem uma classe, o algoritmo termina; 4. Senão, o nodo é determinado com um atributo que não ocorra no trajeto da raiz, e arcos são criados para todos os valores. O algoritmo retorna ao passo 3. 63
64 Mineração de Dados - Classificação Exemplo ID Salário Idade Tipo Emprego Classe Autônomo B Indústria B Pesquisa C Autônomo C Pesquisa B Indústria B Autônomo A Autônomo A Indústria B Árvore de Decisão ou Árvore de Classificação Salário B Idade T.Empr. C Ind.,Pesq. Autônomo Regras de Classificação (Sal 5.000) Classe = B B A (Sal 5.000) (Idade 40) Classe = C (Sal 5.000) (Idade 40) (TEmpr = Autônomo) Classe = A (Sal 5.000) (Idade 40) ((TEmpr = Indústria) (TEmpr = Pesquisa)) Classe = B 64
65 Mineração de Dados - Classificação Algoritmo ID3: restrições O algoritmo ID3 não contempla todos os casos: Quando atributos forem numéricos? Esquemas de discretização. Identificação de categorias discretas em atributos numéricos (particionamento do atributo). Quando dados estiverem incompletos? Usar classe faltando. Substituir valores inexistentes (pré-processamento). Complexidade da árvore resultante Pruning (poda) Outros algoritmos: C4.5 / J4.8 65
66 Mineração de Dados Associação 66
67 Mineração de Dados - Associação Descoberta de Regras de Associação Regras de associação ou regras associativas têm a forma {X 1, X 2,..., X n } Y significando que se encontrarmos todos os itens X 1, X 2,..., X n numa transação, então temos uma boa chance de encontrar também Y. (Freitas,2000) 67
68 Mineração de Dados - Associação Precisamos de métricas que indiquem: Significância em uma associação: ela pode existir mas ser muito rara em uma base de dados (ex. Compra cerveja e fraldas). Suporte X Λ Y : número de casos que contém X e Y dividido pelo número total de registros. Confiança em uma associação: o antecedente pode ocorrer várias vezes na base de dados mas nem sempre com o mesmo conseqüente associado. Confiança X Λ Y : número de registros que contém X e Y dividido pelo número de registros que contém X. (Freitas,2000) 68
69 Mineração de Dados - Associação Descoberta de Regras de Associação dada a regra de associação X Y X implica Y se X então Y se compra X então compra Y, define-se (Freitas,2000) suporte = confiança = Número de registros com X e Y Número total de registros Número de registros com X e Y Número de registros com X Grau de Certeza 69
70 Mineração de Dados - Associação Tarefa é descobrir todas a regras de associação com suporte ao suporte mínimo (minsup) e confiança confiança mínima (minconf), definidas pelo usuário. (Freitas,2000) 70
71 Mineração de Dados - Associação Descoberta de Regras de Associação Cada registro corresponde a uma transação de um cliente, com itens assumindo valores binários (sim/não), indicando se o cliente comprou ou não o respectivo item. num leite café cerveja pão manteiga arroz feijão 1 não sim não sim sim não não 2 sim não sim sim sim não não 3 não sim não sim sim não não 4 sim sim não sim sim não não 5 não não sim não não não não 6 não não não não sim não não 7 não não não sim não não não 8 não não não não não não sim 9 não não não não não sim sim 10 não não não não não sim não (FREITAS & LAVINGTON 98) 71
72 Mineração de Dados - Associação Descoberta de Regras de Associação SE (café) ENTÃO (pão) SE (café) ENTÃO (manteiga) SE (pão) ENTÃO (manteiga) SE (manteiga) ENTÃO (pão) SE (café E pão) ENTÃO (manteiga) SE (café E manteiga) ENTÃO (manteiga) SE (café) ENTÃO (manteiga E manteiga) sup=0.3 conf.=1 sup=0.3 conf.=1 sup=0.4 conf.=0.8 sup=0.4 conf.=0.8 sup=0.3 conf.=1 sup=0.3 conf.=1 sup=0.3 conf.=1 (Freitas, 2000) 72
73 Mineração de Dados - Associação Algoritmos de regras de Associação AIS Apriori Apriori-Hybrid MiRABIT SETM Apriori -TID Dense Miner 73
74 TÉCNICAS DE MINERAÇÃO DE DADOS Algoritmo Apriori (1) Dado um limiar de suporte minsup, no primeiro passo encontre os itens que aparecem ao menos numa fração das transações igual a minsup. Este conjunto é chamado L 1, dos itens freqüentes. (2)Os pares dos itens em L 1 se tornam pares candidatos C 2 para o segundo passo. Os pares em C 2 cuja contagem alcançar minsup são os pares freqüentes L 2. (3) As trincas candidatas C 3 são aqueles conjuntos {A, B, C} tais que todos os {A, B}, {A, C} e {B, C} estão em L 2. No terceiro passo, conte a ocorrência das trincas em C 3 ; aquelas cuja contagem alcançar minconf são as trincas freqüentes, L 3. (4) Proceda da mesma forma para tuplas de ordem mais elevada, até os conjuntos se tornarem vazios. L i são os conjuntos freqüentes de tamanho i; C i+1 é o conjunto de tamanho i+1 tal que cada subconjunto de tamanho i está em L i. 74
75 TÉCNICAS DE MINERAÇÃO DE DADOS Algoritmo Apriori Conjunto de itens suporte {leite} 2 {café} 3 {cerveja} 2 {pão} 5 {manteiga} 5 {arroz} 2 {feijão} 2 C 1 L1 será os itens de C1 com suporte >= 3 (0,3) Conjunto de itens suporte {café} 3 {pão} 5 {manteiga} 5 L 1 75
76 TÉCNICAS DE MINERAÇÃO DE DADOS Algoritmo Apriori C 2, L 2 Os pares dos itens de L1 tornam-se Candidatos para o C2 Conjunto de itens suporte {café, pão} 3 {café, manteiga} 3 {pão, manteiga} 4 Conjunto de itens suporte {café, pão, manteiga} 3 C 3, L 3 76
77 TÉCNICAS DE MINERAÇÃO DE DADOS Algoritmo Apriori Regras candidatas com dois itens com o seu grau de certeza(confiança): Conjunto de itens: {café, pão} Se café Então pão conf = 1,0 Se pão Então café conf = 0,6 Conjunto de itens: {café, manteiga} Se café Então manteiga conf = 1,0 Se manteiga Então café conf = 0,6 Conjunto de itens: {pão, manteiga} Se pão Então manteiga conf = 0,8 Se manteiga Então pão conf = 0,8 77
78 TÉCNICAS DE MINERAÇÃO DE DADOS Algoritmo Apriori Regras candidatas com três itens com o seu valor de certeza: Conjunto de itens: {café, manteiga, pão} Se café, manteiga Então pão conf = 1,0 Se café, pão Então manteiga conf = 1,0 Se manteiga, pão Então café conf = 0,75 Se café Então manteiga, pão conf = 1,0 Se manteiga Então café, pão conf = 0,6 Se pão Então café, manteiga conf = 0,6 78
79 Mineração de Dados - Associação Descoberta de Regras de Associação Padrões descobertos, minsup = 0,3 e minconf = 0,8: Se café Então pão conf = 1,0 Se café Então manteiga conf = 1,0 Se pão Então manteiga conf = 0,8 Se manteiga Então pão conf = 0,8 Se café, manteiga Então pão conf = 1,0 Se café, pão Então manteiga conf = 1,0 Se café Então manteiga, pão conf = 1,0 79
80 Mineração de Dados Clustering Agrupamento 80
81 Mineração de Dados - Clustering Cluster É o resultado da identificação de um conjunto finito de categorias (ou grupos - clusters) que contêm objetos similares. Grupos esses que não são previamente definidos. 81
82 Mineração de Dados - Clustering Análise de Cluster Esta técnica agrupa informações homogêneas de grupos heterogêneos entre os demais e aponta o item que melhor representa cada grupo, permitindo, desta forma, que consigamos perceber a característica de cada grupo. Instintivamente as pessoas visualizam os dados segmentados em grupos discretos, como por exemplo, tipos de plantas ou animais. Na criação desses grupos discretos pode-se notar a similaridade dos objetos em cada grupo. GTI (2002) - Deborah R. Carvalho 82
83 Mineração de Dados - Clustering Análise de Cluster Marketing: ajuda na descoberta de grupos distintos de clientes, e uso deste conhecimento para criar campanhas dirigidas; Uso de terras: identificação de áreas de uso similar a partir de uma base de observação via satélite; Seguros: identificação de grupos de assegurados com alto custo de sinistro; Planejamento urbano: identificação de grupos de casa de acordo com seu tipo, valor e localização geográfica; Estudos sobre clientes: identificação dos tipos de clientes em função de pagamentos de duplicatas Meu Caso. 83
84 Mineração de Dados - Clustering O que é bom Clustering: Um bom método de agrupamento (clustering) deve produzir clusters de qualidade com: Alta similaridade intra-classe; Baixa similaridade inter-classes. A qualidade do resultado de um processo de clustering depende da medida de similaridade, do método utilizado e de sua implementação; A qualidade um um processo de clustering também deve ser avaliada pela sua habilidade de descobrir alguns ou todos os padrões escondidos (hidden patterns). 84
85 Mineração de Dados - Clustering Medida da qualidade do cluster Métrica de similaridade / dissimilaridade: expressa em termos de função de distância d(i, j) Existe uma função de qualidade que é uma medida da adequação de um cluster; Existem definições de funções de distância que são diferentes para variáveis intervalares, booleanas, categóricas e proporções; Pesos devem ser associados às variáveis baseados na aplicação e na semântica dos dados; É difícil definir suficientemente similar, pois tipicamente esta avaliação é subjetiva. 85
86 86 Similaridade entre objetos: distâncias q q p p q q j x i x j x i x j x i x j i d )... ( ), ( Distância típica: de Minkowski; Onde i = (x i1, x i2,, x ip ) e j = (x j1, x j2,, x jp ) são vetores p-dimensionais e q é um inteiro positivo. Mineração de Dados - Clustering
87 87 Similaridade entre objetos: distâncias q =1: distância de Manhattan: q =2: distância euclidiana:... ), ( p p j x i x j x i x j x i x j i d )... ( ), ( p p j x i x j x i x j x i x j i d Mineração de Dados - Clustering
88 Mineração de Dados - Clustering O método k-means (k-médias) Dado k, o algoritmo k-means é implementado em quatro passos: 1. Partição dos objetos em k conjuntos não vazios; 2. Cálculo de pontos semente como os centróides (médias) dos clusters das partições correntes; 3. Assinalação de cada objeto ao cluster (centróide) mais próximo de acordo com a função de distância; 4. Retorno ao passo 2 até que não haja mais alterações de assinalação. 88
89 Mineração de Dados - Clustering O método k-means (k-médias) - Exemplo
90 Estudo de Caso Extração de conhecimento na base de clientes da Organização Arnon de Mello 90
91 Estudo de Caso - OAM Ferramentas Observadas Bayesialab KnowledgeMiner Miner3D Mineset 3.2 PolyAnalyst Weka WizRule WizWhy XpertRule 91
92 Estudo de Caso - OAM INTERPRETAÇÃO/ AVALIAÇÃO CONHECIMENTO DATA MINING? PADRÕES TRANSFORMAÇÃO PRÉ-PROCESSAMENTO SELEÇÃO DADOS SQL Server DADO ANALISADO DADO PROCESSADO DADO TRANSFORMADO Planilha EXCEL Filtros para os atributos: Cliente,Vencimento,Baixa, Valor FAYYAD
93 Estudo de Caso - OAM 93
94 Estudo de Caso - OAM 94
95 MineSet - Tools Estudo de Caso - OAM 95
96 Estudo de Caso - OAM 96
97 Estudo de Caso - OAM Histograma Cliente X Clientes por quantidade de transações financeiras (Nº de Duplicatas) Cerca de 75% da carteira pagam até 21 dias de atraso Cliente Tipo A pagam entre 0 e 30 dias de atraso 97
98 Estudo de Caso - OAM Dispersão 98
99 Estudo de Caso - OAM Dispersão O cliente paga com mais de 360 dias de atraso e seu volume é de R$ Requer providências imediatas. 99
100 Estudo de Caso - OAM Mapa 100
101 Estudo de Caso - OAM Classificação 101
102 Estudo de Caso - OAM Classificação Indutor: Àrvore de decisão 102
103 Classificação 103
104 Estudo de Caso - OAM Associação 104
105 Estudo de Caso - OAM O cliente se mantém na faixa de atraso em ( ) Regra: Se for cliente paga com mais de 240 dias de atraso 105
106 Estudo de Caso - OAM Regra1: Se for cliente paga até 30 dias de atraso Regra2: Se for cliente paga no prazo (atraso = 0) 106
107 Estudo de Caso - OAM Clustering 107
108 Estudo de Caso - OAM Clustering 108
109 Estudo de Caso - OAM Clustering 109
110 Estudo de Caso - OAM Clustering 110
Inteligência Artificial
Inteligência Artificial Descoberta de Conhecimento em Bases de Dados Mineração de Dados Descobertas de regras de associação Descoberta de Conhecimento em Bases de Dados DCBD (Descoberta de Conhecimento
Leia maisMineração de Dados e Aprendizado de Máquinas. Rodrigo Leite Durães.
Mineração de Dados e Aprendizado de Máquinas. Rodrigo Leite Durães. O que é mineração de dados Mineração de Dados é um passo no processo de KDD que consiste na aplicação de análise de dados e algoritmos
Leia maisRoteiro. PCC142 / BCC444 - Mineração de Dados. Cenário
Roteiro PCC142 / BCC444 - Mineração de Luiz Henrique de Campos Merschmann Departamento de Computação Universidade Federal de Ouro Preto luizhenrique@iceb.ufop.br www.decom.ufop.br/luiz Introdução Tarefas
Leia maisInteligência Artificial
UFRGS 2 Inteligência Artificial Técnicas de Mineração de Dados Árvores de Decisão Regras de Associação Árvores de Decisão As árvores de decisão (AD) são ferramentas poderosas para classificação cuja maior
Leia maisInteligência nos Negócios (Business Inteligente)
Inteligência nos Negócios (Business Inteligente) Sistemas de Informação Sistemas de Apoio a Decisão Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 5) Fundamentação da disciplina Analise de dados Decisões
Leia maisTópicos Especiais em Informática Fatec Indaiatuba 13/07/2017
Inteligência de Negócios Fatec Indaiatuba Prof. Piva Compreender as definições e conceitos básicos da Mineração de Dados (MD) Entender o processo KDD (Knowledge Discovery Data) e MD Descrever as etapas
Leia maisAprendizado de Máquina (Machine Learning)
Ciência da Computação (Machine Learning) Aula 14 Regras de Associação Max Pereira Regras de Associação Motivação O que é geralmente comprado junto com o produto x? Que pares de produtos são comprados juntos?
Leia maisKDD E MINERAÇÃO DE DADOS
KDD E MINERAÇÃO DE DADOS O Processo de KDD: Visão Geral Prof. Ronaldo R. Goldschmidt ronaldo@de9.ime.eb.br rribeiro@univercidade.br geocities.yahoo.com.br/ronaldo_goldschmidt CARACTERIZAÇÃO ÁREAS DE ORIGEM
Leia maisKDD E MINERAÇÃO DE DADOS
KDD E MINERAÇÃO DE DADOS O Processo de KDD: Visão Geral Prof. Ronaldo R. Goldschmidt Instituto Militar de Engenharia Seção de Engenharia de Computação (SE/8) ronaldo.rgold@ime.eb.br / ronaldo.rgold@gmail.com
Leia maisData Mining. O Processo de KDD. Mauricio Reis
1 Data Mining O Processo de KDD Mauricio Reis prof_uva@mreis.info http://mreis.info/uva-2016-9-datamining 2 ROTEIRO 1. Definição 2. Aplicação KDD problema recursos resultados 3. Área de origem 4. Histórico
Leia maisAssociações & Freqüentes
Associações & Análises de Itens Freqüentes Eduardo R. Hruschka Baseado no curso de Gregory Piatetsky-Shapiro, disponível no sítio http://www.kdnuggets.com Visão Geral: Transações Itens freqüentes Regras
Leia maisKDD, Mineração de Dados e Algoritmo Apriori
Universidade Federal de São Carlos - UFSCar Departamento de Computação - DC Programa de Pós-Graduação em Ciência da Computação - PPGCC KDD, Mineração de Dados e Algoritmo Apriori Aluno: Rodrigo Moura J.
Leia maisMineração de Dados em Biologia Molecular
Mineração de Dados em Biologia Molecular Análise de associação Principais tópicos Análise de associação Itens frequentes Conjunto de itens frequentes de associação Avaliação de regras de associação Docente:
Leia maisData Mining. Rodrigo Leite Durães
Rodrigo Leite Durães rodrigo_l_d@yahoo.com.br Processo de mineração de dados e descoberta de informações relevantes em grandes volumes de dados. "... processo não-trivial de identificar, em dados, padrões
Leia maisMineração de Dados para Detecção de Padrões de Mudança de Cobertura da Terra. Padrões e processos em Dinâmica de uso e Cobertura da Terra
Mineração de Dados para Detecção de Padrões de Mudança de Cobertura da Terra Padrões e processos em Dinâmica de uso e Cobertura da Terra Introdução 1 2 3 4 Capacidade de Armazenamento X Análise e Interpretação
Leia maisInteligência nos Negócios (Business Inteligente)
Inteligência nos Negócios (Business Inteligente) Sistemas de Informação Sistemas de Apoio a Decisão Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 5) Fundamentação da disciplina Analise de dados Decisões
Leia maisInteligência nos Negócios (Business Inteligente)
Inteligência nos Negócios (Business Inteligente) Sistemas de Informação Sistemas de Apoio a Decisão Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 7) Fundamentação da disciplina Analise de dados Decisões
Leia maisProf. Daniela Barreiro Claro
O volume de dados está crescendo sem parar Gigabytes, Petabytes, etc. Dificuldade na descoberta do conhecimento Dados disponíveis x Análise dos Dados Dados disponíveis Analisar e compreender os dados 2
Leia maisInteligência nos Negócios (Business Inteligente)
Inteligência nos Negócios (Business Inteligente) Sistemas de Informação Sistemas de Apoio a Decisão Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 7) Fundamentação da disciplina Analise de dados Decisões
Leia maisMineração de Dados. Arthur Emanuel de O. Carosia Cristina Dutra de Aguiar Ciferri
Mineração de Dados Arthur Emanuel de O. Carosia Cristina Dutra de Aguiar Ciferri 1 Motivação Aumento da capacidade de processamento e de armazenamento de dados; Baixo custo; Grande quantidade de dados
Leia mais2 Mineração de Dados Processo de Busca de Conhecimento (KDD) 2 Mineração de Dados
2 Mineração de Dados 2 Mineração de Dados A mineração de dados, ou data mining, é uma das principais etapas do processo de busca de conhecimento. Este conceito é utilizado para identificar técnicas avançadas
Leia maisDescoberta de Conhecimento em Bancos de Dados - KDD
Descoberta de Conhecimento em Bancos de Dados - KDD Professor: Rosalvo Ferreira de Oliveira Neto Disciplina: Inteligência Artificial Tópicos 1. Definições 2. Fases do processo 3. Exemplo do DMC 4. Avaliação
Leia maisGESTÃO DE DADOS NAS ORGANIZAÇÕES. Prof. Robson Almeida
GESTÃO DE DADOS NAS ORGANIZAÇÕES Prof. Robson Almeida INFRA-ESTRUTURA DE SISTEMAS DE INFORMAÇÃO 3 CONCEITOS Bit: Menor unidade de dados; dígito binário (0,1) Byte: Grupo de bits que representa um único
Leia maisMineração de Dados. Eduardo Raul Hruschka. Baseado no curso de Gregory Piatetsky-Shapiro, disponível no sítio
Mineração de Dados Eduardo Raul Hruschka Baseado no curso de Gregory Piatetsky-Shapiro, disponível no sítio http://www.kdnuggets.com Visão Geral: Introdução: motivação, aplicações, conceitos básicos. Agrupamento
Leia maisEvandro Deliberal Aula 01
Evandro Deliberal evandro@deljoe.com.br https://www.linkedin.com/in/evandrodeliberal http://www.deljoe.com.br/professor Aula 01 Agenda DATA MINING. Data mining Motivações Grande disponibilidade de dados
Leia maisAula 03. Evandro Deliberal
Aula 03 Evandro Deliberal evandro@deljoe.com.br https://www.linkedin.com/in/evandrodeliberal Data Warehouse; Ambiente de Data Warehouse; Processos e ferramentas envolvidas; Arquiteturas de DW; Granularidade;
Leia maisIntrodução ao Data Mining (Mineração de Dados)
Introdução ao Data Mining (Mineração de Dados) Quem é da área de TI, provavelmente já ouviu sobre Data Mining, mesmo que não saiba o que é. É uma das últimas modas relacionados à BD. Para se ter uma noção
Leia maisAgenda. Conceitos Iniciais. Modelos de aprendizado. Oportunidades e casos de uso. Ferramentas. Desafios
Machine Learning Agenda Conceitos Iniciais Modelos de aprendizado Oportunidades e casos de uso Ferramentas Desafios Ronald Bertele Bacharelado em Ciências da Computação - UCS MBA em Gestão de Negócios
Leia maisDisciplina: SIG. Assunto: SIG
Disciplina: SIG Aula 1 Assunto: SIG Prof Ms Keilla Lopes Mestre em Administração pela UFBA Especialista em Gestão Empresarial pela UEFS Graduada em Administração pela UEFS Contatos: E-mail: keillalopes@ig.com.br
Leia maisJOGOS DE EMPRESAS. MBA Administração e Gestão de Negócios. Valdick Sales Mestre
JOGOS DE EMPRESAS MBA Administração e Gestão de Negócios Valdick Sales Mestre 1 APRESENTAÇÃO Valdick sales Graduado em Ciência da Computação pela UFPE. Pós-Graduado em Redes e Banco de dados pela UFPB.
Leia maisUniversidade Federal do Paraná
Universidade Federal do Paraná Mineração de Dados e Aprendizado de Máquinas. Aurora Trinidad Ramírez Pozo Roteiro Overview a Descoberta de Conhecimento em Bases de Dados Descoberta de Conhecimento em Bancos
Leia maisProf. Martius Vicente Rodriguez y Rodriguez, DSc.
Prof. Martius Vicente Rodriguez y Rodriguez, DSc. 1 AGENDA 1. A MUDANÇA DO AMBIENTE DE NEGÓCIOS 2. PESSOAS PROCESSOS TIC 3. GESTÃO DA MUDANÇA NA ÁREA DE TIC 4. CRM CLIENTES 5. KDD BI INTELIGÊNCIA DOS NEGÓCIOS
Leia maisMaterial Complementar - BI. Grinaldo Lopes de Oliveira Curso Superior de Tecnologia em Análise e Desenvolvimento de Sistemas
Material Complementar - BI Grinaldo Lopes de Oliveira (grinaldo@gmail.com) Curso Superior de Tecnologia em Análise e Desenvolvimento de Sistemas Business Intelligence - Conceito Coleta de dados a partir
Leia maisAprendizado de Máquina (Machine Learning)
Ciência da Computação (Machine Learning) Aula 01 Motivação, áreas de aplicação e fundamentos Max Pereira Nem todo conhecimento tem o mesmo valor. O que torna determinado conhecimento mais importante que
Leia maisExtração de Conhecimento & Mineração de Dados
Extração de Conhecimento & Mineração de Dados Nesta apresentação é dada uma breve introdução à Extração de Conhecimento e Mineração de Dados José Augusto Baranauskas Departamento de Física e Matemática
Leia maisExemplo: vendas casadas Sei que quem compra A também compra B. Mineração de Dados. Técnicas de Associação. prof. Luis Otavio Alvares
Mineração de Dados Técnicas de Associação Exemplo: vendas casadas Sei que quem compra A também compra B. Apresentação adaptada do material do livro: Introduction to Data Mining Tan, Steinbach e Kumar PRODUTO
Leia mais7 Congresso de Pós-Graduação MODELAGEM DE BASE DE CONHECIMENTO PARA TAREFA DE CLASSIFICAÇÃO EM MINERAÇÃO DE DADOS
7 Congresso de Pós-Graduação MODELAGEM DE BASE DE CONHECIMENTO PARA TAREFA DE CLASSIFICAÇÃO EM MINERAÇÃO DE DADOS Autor(es) LIDIA MARTINS DA SILVA Orientador(es) ANA ESTELA ANTUNES DA SILVA 1. Introdução
Leia maisMetodologia de Desenvolvimento de Sistemas Informação
Instituto Superior Politécnico de Ciências e Tecnologia Metodologia de Desenvolvimento de Sistemas Informação Prof Pedro Vunge http://pedrovunge.com I Semestre de 2019 Capítulo 2 TECNOLOGIAS PARA DATA
Leia maisTÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE
TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE Engenharia de Computação Professor: Rosalvo Ferreira de Oliveira Neto O processo de descoberta do conhecimento - KDD Roteiro Introdução Definição Etapas Desafios
Leia maisDESCOBERTA DO CONHECIMENTO COM O USO DE TEXT MINING APLICADA AO SAC TEXT MINING. Aluno José Lino Uber. Orientador Paulo Roberto Dias
DESCOBERTA DO CONHECIMENTO COM O USO DE TEXT MINING APLICADA AO SAC TEXT MINING Aluno José Lino Uber Orientador Paulo Roberto Dias Dezembro/2004 Roteiro Introdução Objetivo Conceitos Motivação / Tipos
Leia maisDATA MINING. Prof. Fulvio Cristofoli. Mineração De Dados.
DATA MINING Mineração De Dados fulviocristofoli@uol.com.br www.fulviocristofoli.com.br Conceito As organizações perseguem inteligência. Nessa perseguição, elas processam informação, formulam planos e aspirações,
Leia maisRegras Rudimentarias
Regras Regras Rudimentarias 1R: aprende uma regra por atributo atribuí a classe mais freqüente taxa de erro: proporção de instâncias que não pertence a classe majoritária escolhe o atributo com menor taxa
Leia maisBanco de Dados Data Mining Data Warehouse Big Data
Universidade Estadual de Mato Grosso do Sul Curso de Computação, Licenciatura Banco de Dados Data Mining Data Warehouse Big Data Prof. José Gonçalves Dias Neto profneto_ti@hotmail.com Data Mining: Introdução
Leia maisIntrodução à Mineração de Dados com Aplicações em Ciências Espaciais
Introdução à Mineração de Dados com Aplicações em Ciências Espaciais Escola de Verão do Laboratório Associado de Computação e Matemática Aplicada Rafael Santos Dia 3: 1 /54 Programa Dia 1: Apresentação
Leia maisIntrodução à Descoberta de Conhecimento e Mineração de Dados. Rodrigo Leite Durães.
Introdução à Descoberta de Conhecimento e Mineração de Dados Rodrigo Leite Durães. 1 Introdução 2 3 Introdução: por que Data Mining? O problema da explosão da quantidade de dados (data explosion): Ferramentas
Leia maisAula 6 Mineração Streams Representação dos Dados. Profa. Elaine Faria UFU
Aula 6 Mineração Streams Representação dos Dados Profa. Elaine Faria UFU - 2017 Agradecimentos Este material é baseado No livro Tan et al, 2006 Nos slides do prof. Andre C. P. L. F. Carvalho Agradecimentos
Leia maisClustering: k-means e Agglomerative
Tópicos Avançados em Avaliação de Desempenho de Sistemas Jackson Nunes Marco Eugênio Araújo Outubro de 2014 1 Sumário Contextualização Classificação Agrupamento (Clustering) Cenários de Aplicação Clustering
Leia maisSEFAZ INFORMÁTICA Data Mining Prof. Márcio Hunecke
SEFAZ INFORMÁTICA Data Mining Prof. Márcio Hunecke www.acasadoconcurseiro.com.br Informática DATA MINING Data mining (ou mineração de dados) é o processo de extrair informação válida, previamente desconhecida
Leia maisAplicações de Sistemas Inteligentes
Aplicações de Sistemas Inteligentes Germano C. Vasconcelos Centro de Informática - UFPE 14/6/2010 1 Roteiro Inteligência Computacional Aplicações Mineração de Dados Métodos Exemplo em Análise de Crédito
Leia maisSBC - Sistemas Baseados em Conhecimento
Siglas, Símbolos, Abreviaturas DW - Data Warehouse KDD Knowledge Discovery in Database MD Mineração de Dados OLAP - On-line analytical processing SBC - Sistemas Baseados em Conhecimento 1. INTRODUÇÃO O
Leia maisAprendizagem de Máquina. Prof. Júlio Cesar Nievola PPGIA - PUCPR
Aprendizagem de Máquina Prof. Júlio Cesar Nievola PPGIA - PUCPR Introdução Justificativa Recente progresso em algoritmos e teoria Disponibilidade crescente de dados online Poder computacional disponível
Leia maisMicrosoft Innovation Center
Microsoft Innovation Center Mineração de Dados (Data Mining) André Montevecchi andre@montevecchi.com.br Introdução Objetivo BI e Mineração de Dados Aplicações Exemplos e Cases Algoritmos para Mineração
Leia mais10 FORMAS ESTATÍSTICA MODELAGEM PARA USAR
10 FORMAS PARA USAR MODELAGEM ESTATÍSTICA Introdução Conheça um pouco mais sobre algumas modelagens estatísticas e como você pode implantar dentro da sua organização A análise preditiva é capaz de descobrir
Leia maisMineração de Dados - Contextualização. Fonte: Prof. Fabrício J. Barth -
Mineração de Dados - Contextualização Fonte: Prof. Fabrício J. Barth - http://fbarth.net.br/ Mineração de Dados - Contextualização Uso da informação Síntese do conhecimento; Manter, disseminar, organizar,
Leia maisAprendizado de Máquina (Machine Learning)
Ciência da Computação (Machine Learning) Aula 02 Representação dos dados Pré-processamento Max Pereira Tipo de Dados Os atributos usados para descrever objetos de dados podem ser de diferentes tipos: Quantitativos
Leia maisData Mining: Conceitos e Técnicas
Data Mining: Conceitos e Técnicas DM, DW e OLAP Data Warehousing e OLAP para Data Mining O que é data warehouse? De data warehousing para data mining Data Warehousing e OLAP para Data Mining Data Warehouse:
Leia maisMinerando regras de associação
Minerando regras de associação Proposto por Rakesh Agrawal em 1993. É o modelo de mineração de dados mais estudado pela comunidade de banco de dados. Utiliza dados categóricos. Não há bons algoritmos para
Leia maisTCE Informática Pré-Processamento de Dados Prof. Marcelo Ribeiro
TCE Informática Pré-Processamento de Dados Prof. Marcelo Ribeiro www.acasadoconcurseiro.com.br Informática PRÉ-PROCESSAMENTO DE DADOS EM DATA MINING Técnicas de pré-processamento e transformação de dados
Leia maisANALYTICS: Dados e Atenção
ANALYTICS: Dados e Atenção O CONCEITO DE ANALYTICS NA INTERNET DAS COISAS BASEIA-SE NA CONSTANTE GERAÇÃO DE DADOS Por Nazareno Andrade Deyvison Bruno, Icaro Ramires, Joabe Pinheiro 1 Agenda Informações
Leia maisAprendizagem de Máquinas
Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação Aprendizagem de Máquinas DCA0121 Inteligência Artificial Aplicada Heitor Medeiros 1 Aprendizagem de Máquinas
Leia maisClassificação e Predição de Dados - Profits Consulting - Consultoria Empresarial - Serviços SAP- CRM Si
Classificação e Predição de Dados - Profits Consulting - Consultoria Empresarial - Serviços SAP- CRM Si Classificação de Dados Os modelos de classificação de dados são preditivos, pois desempenham inferências
Leia maisUniversidade de São Paulo Instituto de Ciências Matemáticas e de Computação
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Francisco A. Rodrigues Departamento de Matemática Aplicada e Estatística - SME Conceitos básicos Classificação não-supervisionada:
Leia maisIntegração de Mineração de Dados com SGBD Detecção de Agrupamentos
Integração de Mineração de Dados com SGBD Detecção de Agrupamentos Centro de Matemática Computação e Cognição-UFABC Jéssica Andressa de Souza Pós-Graduação em Ciência da Computação Sistemas de Banco de
Leia maisFundamentos da Inteligência de Negócios: Gerenciamento da Informação e de Bancos de Dados by Prentice Hall
Fundamentos da Inteligência de Negócios: Gerenciamento da Informação e de Bancos de Dados 5.1 2007 by Prentice Hall A Abordagem de Banco de Dados para Gerenciamento de Dados Banco de dados: conjunto de
Leia maisBUSINESS INTELLIGENCE BI FERNANDO ESCOBAR, PMP, MSC.
BUSINESS INTELLIGENCE BI FERNANDO ESCOBAR, PMP, MSC. Estrutura dos Módulos Conceitos; Componentes; ETL; Data Warehouse; Modelo Multidimensional; Mineração de Dados; Visualização e Análise Exploratória
Leia maisMINERAÇÃO DE DADOS EDUCACIONAIS: UM ESTUDO DE CASO APLICADO AO PROCESSO SELETIVO DO IFSULDEMINAS CÂMPUS MUZAMBINHO
5ª Jornada Científica e Tecnológica e 2º Simpósio de Pós-Graduação do IFSULDEMINAS 06 a 09 de novembro de 2013, Inconfidentes/MG MINERAÇÃO DE DADOS EDUCACIONAIS: UM ESTUDO DE CASO APLICADO AO PROCESSO
Leia maisAprendizado de Máquina
Aprendizado de Máquina Fabrício Olivetti de França Universidade Federal do ABC Tópicos 1. Introdução 1 Introdução Aprendizado de Máquina Extração de conhecimento. Automatização de tarefas. Tomada de Decisões.
Leia maisRedes Neurais (Inteligência Artificial)
Redes Neurais (Inteligência Artificial) Aula 16 Aprendizado Não-Supervisionado Edirlei Soares de Lima Formas de Aprendizado Aprendizado Supervisionado Árvores de Decisão. K-Nearest
Leia maisINF 1771 Inteligência Artificial
Edirlei Soares de Lima INF 1771 Inteligência Artificial Aula 18 Aprendizado Não-Supervisionado Formas de Aprendizado Aprendizado Supervisionado Árvores de Decisão. K-Nearest Neighbor
Leia maisUniversidade Federal de Mato Grosso - UFMT Probabilidade e Estatística
Universidade Federal de Mato Grosso - UFMT Probabilidade e Estatística 1 Introdução Definição: Estatística é um conjunto de conceitos e métodos científicos para coleta, organização, descrição, análise
Leia maisMinerando Padrões Sequenciais para Bases de Dados de Lojas Virtuais
Universidade Federal de Ouro Preto Instituto de Ciências Exatas e Biológicas Departamento de Computação Minerando Padrões Sequenciais para Bases de Dados de Lojas Virtuais Cecília Henriques Devêza ceciliadeveza@gmail.com
Leia maisDescoberta de conhecimento em textos - Análise semântica. Diogo Cardoso Eduardo Camilo Inácio Eduardo Monteiro Dellandréa Guilherme Gomes
Descoberta de conhecimento em textos - Análise semântica Diogo Cardoso Eduardo Camilo Inácio Eduardo Monteiro Dellandréa Guilherme Gomes Introdução Diversidade de textos não padronizados; Emails, artigos,
Leia maisDescoberta de conhecimento em redes sociais e bases de dados públicas
Descoberta de conhecimento em redes sociais e bases de dados públicas Trabalho de Formatura Supervisionado Bacharelado em Ciência da Computação - IME USP Aluna: Fernanda de Camargo Magano Orientadora:
Leia maisAprendizado de Máquinas
Aprendizado de Máquinas Objetivo A área de aprendizado de máquina preocupa-se em construir programas que automaticamente melhorem seu desempenho com a experiência. Conceito AM estuda métodos computacionais
Leia maisArquitetura de um Ambiente de Data Warehousing
Arquitetura de um Ambiente de Data Warehousing Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Arquitetura Típica usuário usuário... usuário
Leia maisAprendizado de Máquina (Machine Learning)
Ciência da Computação Aprendizado de Máquina (Machine Learning) Aula 09 Árvores de Decisão Max Pereira Classificação É a tarefa de organizar objetos em uma entre diversas categorias pré-definidas. Exemplos
Leia maisAula 13: Regras de Associação. Rafael Izbicki
Mineração de Dados Aula 13: Regras de Associação Rafael Izbicki 1 / 6 O Problema Imagine que temos um banco de dados em que cada linha representa a ida de uma pessoa a um supermercado, e cada coluna representa
Leia maisA Inteligência Artificial no Auxílio de Tomadas de Decisão
A Inteligência Artificial no Auxílio de Tomadas de Decisão Introdução A globalização está fazendo com que as organizações tenham que ajustar-se à nova economia, precisando adequar seus custos e aumentar
Leia maisAula 02. Evandro Deliberal
Aula 02 Evandro Deliberal evandro@deljoe.com.br https://www.linkedin.com/in/evandrodeliberal Data Warehouse; Ambiente de Data Warehouse; Processos e ferramentas envolvidas; Arquiteturas de DW; Granularidade;
Leia maisClassificação: Árvores de Decisão e k-nn. Eduardo Raul Hruschka
Classificação: Árvores de Decisão e k-nn Eduardo Raul Hruschka Árvores de Decisão Métodos para aproximar funções discretas, representadas por meio de uma árvore de decisão; Árvores de decisão podem ser
Leia maisArquitetura de um Ambiente de Data Warehousing
Arquitetura de um Ambiente de Data Warehousing Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri OLAP: Fonte: Arquitetura Vaisman, A., Zimányi,
Leia maisIntrodução ao Data Mining. Sumário
Introdução ao Data Mining Instituto Nacional de Estatística 20-24 de Abril de 2009 Módulo 1 - Data Warehousing e Data Mining - André Falcão (afalcao@di.fc.ul.pt) Graça Gaspar (gg@di.fc.ul.pt) Sumário Data-mining
Leia maisAprendizado de Máquinas. Introdução à Aprendizado Não- Supervisionado
Universidade Federal do Paraná (UFPR) Departamento de Informática (DInf) Aprendizado de Máquinas Introdução à Aprendizado Não- Supervisionado David Menotti, Ph.D. http://web.inf.ufpr.br/menotti Objetivos
Leia maisKDD E MINERAÇÃO DE DADOS:
KDD E MINERAÇÃO DE DADOS: Prof. Ronaldo R. Goldschmidt Instituto Militar de Engenharia Seção de Engenharia de Computação (SE/8) ronaldo.rgold@ime.eb.br / ronaldo.rgold@gmail.com Coleta de dados em vários
Leia maisProfissinais que desejam adquirir ou aprimorar seus conhecimentos em modelagem de dados, analytics e estatística aplicada
MBA ANALYTICS OBJETIVOS Na era da informação, as empresas capturam e armazenam muitos dados, e existe a real necessidade da aplicação de técnicas adequadas para a rápida tomada de decisão com base nas
Leia maisAmbiente de Data Warehouse Para Imagens Médicas Baseado Em Similaridade
Universidade de São Paulo - USP Instituto de Ciências Matemáticas e de Computação - ICMC Programa de Pós-Graduação em Ciências da Computação e Matemática Computacional Ambiente de Data Warehouse Para Imagens
Leia maisAula 02: Conceitos Fundamentais
Aula 02: Conceitos Fundamentais Profa. Ms. Rosângela da Silva Nunes 1 de 26 Roteiro 1. Por que mineração de dados 2. O que é Mineração de dados 3. Processo 4. Que tipo de dados podem ser minerados 5. Que
Leia maisPor que atributos irrelevantes são um problema Quais tipos de algoritmos de aprendizado são afetados Abordagens automáticas
Por que atributos irrelevantes são um problema Quais tipos de algoritmos de aprendizado são afetados Abordagens automáticas Wrapper Filtros Muitos algoritmos de AM são projetados de modo a selecionar os
Leia maisClassificação: Árvores de Decisão e k-nn. Eduardo Raul Hruschka
Classificação: Árvores de Decisão e k-nn Eduardo Raul Hruschka Agenda: Conceitos de Classificação Técnicas de Classificação One Rule (1R) Naive Bayes (com seleção de atributos) Árvores de Decisão K-Vizinhos
Leia maisPÓS-GRADUAÇÃO LATO SENSU. Curso: Banco de Dados. Disciplina: Laboratório de Data Warehouse e Business Intelligence Professor: Fernando Zaidan
PÓS-GRADUAÇÃO LATO SENSU Curso: Banco de Dados Disciplina: Laboratório de Data Warehouse e Business Intelligence Professor: Fernando Zaidan Unidade 31 2016 Crédito dos Slides: Clever Junior 2 História
Leia maisMINERAÇÃO DE DADOS EM REDES COMPLEXAS
MINERAÇÃO DE DADOS EM REDES COMPLEXAS Prof. Ronaldo R. Goldschmidt Instituto Militar de Engenharia Seção de Engenharia de Computação (SE/8) ronaldo.rgold@ime.eb.br / ronaldo.rgold@gmail.com ROTEIRO 1.
Leia maisAprendizado indutivo. Marcelo K. Albertini. 17 de Abril de 2014
Aprendizado indutivo Marcelo K. Albertini 17 de Abril de 2014 2/22 Aprendizado indutivo O que é? Porque é difícil? Como podemos resolver problemas de indução? 3/22 Aprendizado supervisionado Temos: exemplos
Leia maisMineração de dados: Por que? O que é? O processo de descoberta de conhecimento. Tarefas de mineração: preditivas, descritivas
Mineração de dados: Por que? O que é? O processo de descoberta de conhecimento Tarefas de mineração: preditivas, descritivas Ponto de vista comercial Quantidades gigantescas de dados são coletados e armazenados
Leia maisFigura 1: Metodologia de Reconhecimentos de Padrões desenvolvida na UFC
Uma Solução para o GISSA: Análise Comparativa entre Algoritmos de Aprendizagem de Máquina Aplicados em um Dataset Relacionado ao Óbito Infantil Joyce Quintino Alves (1) ; Cristiano Lima da Silva (2); Antônio
Leia maisInteligência nos Negócios (Business Inteligente)
Inteligência nos Negócios (Business Inteligente) Sistemas de Informação Sistemas de Apoio a Decisão Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 3) Fundamentação da disciplina Analise de dados Decisões
Leia maisB A N C O D E D A D O S G E O G R Á F I C O S M A R C O N I D E A R R U D A P E R E I R A
Mineração de Dados Espaciais B A N C O D E D A D O S G E O G R Á F I C O S M A R C O N I D E A R R U D A P E R E I R A Roteiro 2 Introdução Mineração de Dados Estado da Arte Artigo apresentado Conclusão
Leia maisVÁ ALÉM DO BI TRADICIONAL ADICIONANDO PODER ANALÍTICO... MARIANA FONTANEZI ESTATÍSTICA
Business Inteligence & Analytics VÁ ALÉM DO BI TRADICIONAL ADICIONANDO PODER ANALÍTICO... MARIANA FONTANEZI ESTATÍSTICA Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas
Leia maisAlgoritmos Genéticos em Mineração de Dados. Descoberta de Conhecimento. Descoberta do Conhecimento em Bancos de Dados
Algoritmos Genéticos em Mineração de Dados Descoberta de Conhecimento Descoberta do Conhecimento em Bancos de Dados Processo interativo e iterativo para identificar padrões válidos, novos, potencialmente
Leia maisArquitetura de um Ambiente de Data Warehousing
Arquitetura de um Ambiente de Data Warehousing Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Arquitetura Típica usuário usuário... usuário
Leia mais2COP229 Inteligência Computacional. Aula 3. Clusterização.
Aula 3 Clusterização Sumário (Clusterização) - Introdução - Aprendizado Não Supervisionado - Aprendizado Supervisionado - Introdução: Clusterização - Etapas para o processo de Clusterização - Distância
Leia mais