Prof. Daniela Barreiro Claro

Save this PDF as:
 WORD  PNG  TXT  JPG

Tamanho: px
Começar a partir da página:

Download "Prof. Daniela Barreiro Claro"

Transcrição

1

2 O volume de dados está crescendo sem parar Gigabytes, Petabytes, etc. Dificuldade na descoberta do conhecimento Dados disponíveis x Análise dos Dados Dados disponíveis Analisar e compreender os dados 2

3 Processo de Descoberta do Conhecimento utilizando os dados armazenados Segundo Fayyad 1996, KDD é: The nontrivial process of identifying valid, novel, potentially useful and ultimately understandable patterns in data KDD envolve algumas etapas: Seleção, pré-processamento, transformação, interpretação/avaliação e conhecimento 3

4 4

5 1. Conhecimento do dominio 2. Criação de um conjunto de dados 3. Pré-Processamento e Transformação 4. Escolha da Técnica de DM 5. Escolha do algoritmo de DM 6. Interpretação e avaliação dos padrões encontrados 7. Descoberta do conhecimento 5

6 Algumas etapas do KDD podem ser visualizadas como um Data Warehouse (DW) 6

7 Tres macros etapas Pre- Processamento Data Cleaning Data Integration Data Transformation Data Reduction Data Mining Técnicas de MD Algoritmos de MD Pos-Processamento Análise e Avaliação dos padrões encontrados 7

8 Os dados do mundo real, normalmente tem as seguintes características: Incompleto Faltam valores de atributos, atributos são agregados Errados Contém erros; atributos com valores não esperados Inconsistentes Contem discrepâncias entre os itens de dados; alguns atributos que representam um conceito, podem ter nomes distintos em bases distintas. Grande massa de dados Grande número de dados torna o processo de mineração muito lento 8

9 Na etapa de pré-processamento pode-se evidenciar 4 fases: Data Cleaning Limpar os dados Completar os dados que estão faltando Resolve inconsistencias Suaviza os erros Elimina ou minimiza as discrepancias entre os dados Se os dados estão sujos, consequentemente os resultados obtidos não serão confiáveis. 9

10 Data Integration Integra os dados de diversas bases, cubos de dados, arquivos, etc Alguns atributos que representam um conceito podem ter nomes distintos em bases distintas Ex. IdCliente, ClienteID, Cli_ID, Alguns atributos podem ser inferidos por outros Ex. Salário annual, quantidade total Muitas vezes o processo de integração gera redundâncias. Nestes casos, a fase de Data Cleaning deve ser reexecutada para eliminar as redundâncias geradas por esta fase 10

11 Data Transformation Esta fase envolve dois procedimentos principais Agregação Combinação de dois ou mais objetos em um único Ex. Agregar os 365 dias em 12 meses Mudança de escala Conjunto de dados menores requerem menos memoria e tempo de processamento Quantidades agregadas, como médias e totais tem menos variabilidade do que objetos individuais Desvantagem Perda de detalhes interessantes 11

12 Data Transformation Normalização ou padronização Conjunto inteiro de valores tem uma determinada propriedade Se variaveis diferentes devem ser combinadas, é necessário transformar para evitar que valores grandes dominem os resultados Ex. Duas variáveis: idade e renda Diferença dos valores da variável renda é muito maior (milhares de dolares) que os valores referentes à idade (menos de 130) 12

13 Data Reduction Reduz a representação dos dados em termos de volume, ainda que produza o mesmo resultado analitico (ou similar). Estratégias Agregaçao construção de um cubo de dados Selecao de atributos eliminação de atributos irrelevantes por meio de uma análise de correlação Redução de dimensão Discretização dos dados 13

14 Data Reduction Redução de dimensão Dimensão considera o numero de atributos Pode eliminar características irrelevantes e reduzir o ruído Pode gerar um modelo mais compreensível Pode reduzir os dados ou muitas vezes examiná-los aos pares ou aos trios. Muitas vezes é usado para a junçao de atributos gerando novos atributos, ou seja, uma combinação de atributo antigos Discretização dos dados Transformação de um atributo continuo em um atributo categorizado (discretização) ou em atributos binários(binarização) 14

15 É uma das etapas do processo de KDD Dois macro objetivos Prediction Description Prediction Algumas variáveis ou atributos em um BD que prediz valores de variáveis futuras ou não conhecidas Description Descoberta de padrões que descrevem os dados 15

16 Data Mining Prediction Description Classification Regression Clustering Summarization Association 16

17 Analisa um conjunto de dados de treinamento (i.e. a classe resultado é conhecida) Constrói uma árvore de decisão para cada classe baseada nas características dos dados Regras de classificação podem ser utilizadas para: Classificar dados futuros Desenvolver um melhor entendimento das classes na base de dados 17

18 Consiste em 4 etapas: 1. Divisão dos dados de treinamento e dos dados de teste 2. Analise da escolha do atributo de classificação Verifica os atributos mais relevantes 3. Constrói a árvore de classificação (decision tree) 4. Testa a eficiência da classificação usando o conjunto de dados de teste 18

19 19

20 20

21 Representa uma função que prediz um número Pode-se prever a altura de uma criança dada a sua idade por meio do algoritmo de regressão Regressão linear é a mais simples de utilização Exemplos de algoritmos GLM _ Generalized Linear Model Baseado em técnica estatística SVM Support Vector Machines Suporta regressão linear e não-linear 21

22 Mapear o dado para uma das categorias das classes (cluster/grupo) As classes são determinadas pelos dados (diferente da classificação onde as classes são pré-definidas) Algoritmo mais utilizado: K-means Determina o número de clusters (k) Valores selecionados aleatoriamente e colocados dentro de cada cluster; representando os centros de cada cluster Cada ponto (valor) é associado a um cluster que ele é mais similar (proximo) close to Proximidade é determinada pela menor distancia de um ponto (valor) ao centro do cluster Ex. Semelhança entre cossenos. 22

23 Quando todos os pontos forem analisados, o centro de cada cluster é recalculado baseado nos pontos dentro do cluster Novos clusters sao formados baseado nos novos centros O processo se repete até que nenhum ponto (valor) seja mais realocado ou seja fique no seu cluster ou o usuario define o número finito de iterações 23

24 Dado os dados: A1(2,10) A2(2,5),A3(8,4), A4(5,8), A5(7,5),A6(6,4), A7(1,2), A8(4,9) Distancia Euclidiana entre estes dados Considere os seeds(centros) A1, A4, A7 24

25 d(a,b) denota a distancia Euclidiana entre a e b Seed1=A1=(2,10); seed2=a4=(5,8), seed3=a7=(1,2) Pode ser obtida via a matrix dada ou d(a,b)=sqrt((x b -x a ) 2 +(y b -y a ) 2 ) 25

26 S O L U Ç Ã O 26

27 Pontos CentroID 1a Itetação Novos centroid S O L U Ç Ã O 27

28 28

29 Analisa dados que normalmente ocorrem juntos, sugerindo uma associação entre eles. Considerando o dado d1 -> d2 Uma regra de associação define que se um dado d1 ocorre, é frequente que o dado d2 também ocorra. Ex. Se cliente compra pão, é frequente que compre manteiga Algoritmo mais utilizado: A priori 29

30 Medidas de Suporte e Confiança Suporte É a probabilidade que a transação contém A B (frequencia da implicação) Confiança Probabilidade que a transação que contém A, também contenha B (rigidez da implicação) 30

31 Conceitos principais Conjunto de elementos frequentes: conjunto de itens que tem suporte mínimo (L i para cada i th conjunto de elementos). Propriedade do Apriori: Qualquer subconjunto de itens frequentes deve ser frequente. Operação de Junção: Encontrar L k, um conjunto de itens candidatos k gerado pela junção L k -1 com ele mesmo. 31

32 32

33 Apriori propriedade 33

34 E as associações? Estes conjuntos de dados frequentes serão utilizados para gerar regras de associação que satisfaçam ambos suporte minimo e confiança mínima Considerando S={2,3,5} analisa todos os subconjuntos não vazios {2,3}, {2,5}, {3,5}, {2}, {3}, {5} Analise a confiança entre o conjunto S e os subconjuntos; Regra {2,3,5}/{2,3} = 2/2=100% Regra {2,3,5}/{2,5} = 2/3=67% - rejeitado due to confiança 70% 34

35 Considere o banco de dados ao lado, consistindo de 9 transações Suporte mínimo é quantidade de ocorrências = 2 (min_sup = 2/9 = 22 %) Confiança mínima é 70%. Conjunto de dados k Regras encontradas: Regra 1: I1 I5 I2 Regra 2: I2 I5 I1 Regra 3: I5 I1 I2 35

Extração de Conhecimento & Mineração de Dados

Extração de Conhecimento & Mineração de Dados Extração de Conhecimento & Mineração de Dados Nesta apresentação é dada uma breve introdução à Extração de Conhecimento e Mineração de Dados José Augusto Baranauskas Departamento de Física e Matemática

Leia mais

Mineração de Dados para Detecção de Padrões de Mudança de Cobertura da Terra. Padrões e processos em Dinâmica de uso e Cobertura da Terra

Mineração de Dados para Detecção de Padrões de Mudança de Cobertura da Terra. Padrões e processos em Dinâmica de uso e Cobertura da Terra Mineração de Dados para Detecção de Padrões de Mudança de Cobertura da Terra Padrões e processos em Dinâmica de uso e Cobertura da Terra Introdução 1 2 3 4 Capacidade de Armazenamento X Análise e Interpretação

Leia mais

Mineração de Dados em Biologia Molecular

Mineração de Dados em Biologia Molecular Mineração de Dados em Biologia Molecular Análise de associação Principais tópicos Análise de associação Itens frequentes Conjunto de itens frequentes de associação Avaliação de regras de associação Docente:

Leia mais

KDD E MINERAÇÃO DE DADOS

KDD E MINERAÇÃO DE DADOS KDD E MINERAÇÃO DE DADOS Etapas do Processo de KDD Livro: Data Mining Conceitos, técnicas, algoritmos, Orientações e aplicações Ronaldo Goldschmidt, Eduardo Bezerra, Emmanuel Passos KDD Knowledge Discovery

Leia mais

Inteligência Artificial

Inteligência Artificial UFRGS 2 Inteligência Artificial Técnicas de Mineração de Dados Árvores de Decisão Regras de Associação Árvores de Decisão As árvores de decisão (AD) são ferramentas poderosas para classificação cuja maior

Leia mais

Mineração de Dados em Biologia Molecular

Mineração de Dados em Biologia Molecular Mineração de Dados em Biologia Molecular Principais tópicos André C. P. L. F. de Carvalho Monitor: Valéria Carvalho Métodos baseados em distância Aprendizado baseado em instâncias Conceitos básicos KNN

Leia mais

MINERAÇÃO DE DADOS APLICADA. Pedro Henrique Bragioni Las Casas pedro.lascasas@dcc.ufmg.br

MINERAÇÃO DE DADOS APLICADA. Pedro Henrique Bragioni Las Casas pedro.lascasas@dcc.ufmg.br MINERAÇÃO DE DADOS APLICADA Pedro Henrique Bragioni Las Casas pedro.lascasas@dcc.ufmg.br Processo Weka uma Ferramenta Livre para Data Mining O que é Weka? Weka é um Software livre do tipo open source para

Leia mais

INF 1771 Inteligência Artificial

INF 1771 Inteligência Artificial Edirlei Soares de Lima INF 1771 Inteligência Artificial Aula 18 Aprendizado Não-Supervisionado Formas de Aprendizado Aprendizado Supervisionado Árvores de Decisão. K-Nearest Neighbor

Leia mais

SBC - Sistemas Baseados em Conhecimento

SBC - Sistemas Baseados em Conhecimento Siglas, Símbolos, Abreviaturas DW - Data Warehouse KDD Knowledge Discovery in Database MD Mineração de Dados OLAP - On-line analytical processing SBC - Sistemas Baseados em Conhecimento 1. INTRODUÇÃO O

Leia mais

Mineração de padrões frequentes

Mineração de padrões frequentes Mineração de padrões frequentes Fabrício J. Barth fabricio.barth@gmail.com Setembro de 2016 Objetivos Os objetivos desta aula são: Apresentar e discutir métodos para identificar associações úteis em grandes

Leia mais

INSTITUTO TECNOLÓGICO DE AERONÁUTICA DIVISÃO DE ENGENHARIA ELETRÔNICA LABORATÓRIO DE GUERRA ELETRÔNICA

INSTITUTO TECNOLÓGICO DE AERONÁUTICA DIVISÃO DE ENGENHARIA ELETRÔNICA LABORATÓRIO DE GUERRA ELETRÔNICA INSTITUTO TECNOLÓGICO DE AERONÁUTICA DIVISÃO DE ENGENHARIA ELETRÔNICA LABORATÓRIO DE GUERRA ELETRÔNICA CURSO DE ESPECIALIZAÇÃO EM ANÁLISE DE AMBIENTE ELETROMAGNÉTICO CEAAE /2008 DISCIPLINA EE-09: Inteligência

Leia mais

Inteligência Artificial

Inteligência Artificial Universidade Federal de Campina Grande Departamento de Sistemas e Computação Pós-Graduação em Ciência da Computação Inteligência Artificial Aprendizagem Outras Técnicas Prof. a Joseana Macêdo Fechine Régis

Leia mais

Aula 02: Conceitos Fundamentais

Aula 02: Conceitos Fundamentais Aula 02: Conceitos Fundamentais Profa. Ms. Rosângela da Silva Nunes 1 de 26 Roteiro 1. Por que mineração de dados 2. O que é Mineração de dados 3. Processo 4. Que tipo de dados podem ser minerados 5. Que

Leia mais

Mineração de Dados e Aprendizado de Máquinas. Rodrigo Leite Durães.

Mineração de Dados e Aprendizado de Máquinas. Rodrigo Leite Durães. Mineração de Dados e Aprendizado de Máquinas. Rodrigo Leite Durães. O que é mineração de dados Mineração de Dados é um passo no processo de KDD que consiste na aplicação de análise de dados e algoritmos

Leia mais

Data Mining. O Processo de KDD. Mauricio Reis

Data Mining. O Processo de KDD. Mauricio Reis 1 Data Mining O Processo de KDD Mauricio Reis prof_uva@mreis.info http://mreis.info/uva-2016-9-datamining 2 ROTEIRO 1. Definição 2. Aplicação KDD problema recursos resultados 3. Área de origem 4. Histórico

Leia mais

Data Mining: Conceitos e Técnicas

Data Mining: Conceitos e Técnicas Data Mining: Conceitos e Técnicas DM, DW e OLAP Data Warehousing e OLAP para Data Mining O que é data warehouse? De data warehousing para data mining Data Warehousing e OLAP para Data Mining Data Warehouse:

Leia mais

Clustering: K-means and Aglomerative

Clustering: K-means and Aglomerative Universidade Federal de Pernambuco UFPE Centro de Informática Cin Pós-graduação em Ciência da Computação U F P E Clustering: K-means and Aglomerative Equipe: Hugo, Jeandro, Rhudney e Tiago Professores:

Leia mais

Data Mining. Rodrigo Leite Durães

Data Mining. Rodrigo Leite Durães Data Mining Rodrigo Leite Durães Introdução Aplicação de processos de análise inteligentes visando manipulação automática de quantidades imensas de dados Larga aplicação nos mais variados ramos da indústria,

Leia mais

Inteligência nos Negócios (Business Inteligente)

Inteligência nos Negócios (Business Inteligente) Inteligência nos Negócios (Business Inteligente) Sistemas de Informação Sistemas de Apoio a Decisão Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 5) Fundamentação da disciplina Analise de dados Decisões

Leia mais

MINERAÇÃO DE DADOS. Thiago Marzagão CLUSTERIZAÇÃO. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1 / 9

MINERAÇÃO DE DADOS. Thiago Marzagão CLUSTERIZAÇÃO. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1 / 9 MINERAÇÃO DE DADOS Thiago Marzagão marzagao.1@osu.edu CLUSTERIZAÇÃO Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1 / 9 regressão/classificação vs clusterização Regressão/classificação: temos x 1, x 2,...,

Leia mais

Extração de Conhecimento & Mineração de Dados

Extração de Conhecimento & Mineração de Dados Extração de Conhecimento & Mineração de Dados Nesta apresentação é dada uma breve introdução à Extração de Conhecimento e Mineração de Dados José Augusto Baranauskas Departamento de Física e Matemática

Leia mais

Metodologia Aplicada a Computação.

Metodologia Aplicada a Computação. Metodologia Aplicada a Computação gaudenciothais@gmail.com Pré-processamento de dados Técnicas utilizadas para melhorar a qualidade dos dados; Eliminam ou minimizam os problemas como ruídos, valores incorretos,

Leia mais

INF 1771 Inteligência Artificial

INF 1771 Inteligência Artificial INF 1771 Inteligência Artificial Aula 13 K-Nearest Neighbor (KNN) 2016.1 Prof. Augusto Baffa Formas de Aprendizado Aprendizado Supervisionado Árvores de Decisão. K-Nearest Neighbor

Leia mais

Redes Neurais não Supervisionadas: SOM

Redes Neurais não Supervisionadas: SOM Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação Redes Neurais não Supervisionadas: SOM DCA0121 Inteligência Artificial Aplicada Heitor Medeiros 1 Tópicos

Leia mais

Weka. Universidade de Waikato - Nova Zelândia. Coleção de algoritmos de aprendizado de máquina para resolução de problemas de Data Mining

Weka. Universidade de Waikato - Nova Zelândia. Coleção de algoritmos de aprendizado de máquina para resolução de problemas de Data Mining Weka Universidade de Waikato - Nova Zelândia Coleção de algoritmos de aprendizado de máquina para resolução de problemas de Data Mining implementado em Java open source software http://www.cs.waikato.ac.nz/ml/weka/

Leia mais

Campus Capivari Análise e Desenvolvimento de Sistemas (ADS) Prof. André Luís Belini /

Campus Capivari Análise e Desenvolvimento de Sistemas (ADS) Prof. André Luís Belini   / Campus Capivari Análise e Desenvolvimento de Sistemas (ADS) Prof. André Luís Belini E-mail: prof.andre.luis.belini@gmail.com / andre.belini@ifsp.edu.br MATÉRIA: SIG Aula N : 06 Tema: Fundamentos da inteligência

Leia mais

Otimização da Paleta de Cores

Otimização da Paleta de Cores Otimização da Paleta de Cores Resumo O objetivo deste artigo é apresentar a técnica de otimização da paleta de cores utilizada no MSX Viewer 5 para encontrar a melhor paleta de cores do MSX 2 e do v9990,

Leia mais

Introdução à Mineração de Dados com Aplicações em Ciências Espaciais

Introdução à Mineração de Dados com Aplicações em Ciências Espaciais Introdução à Mineração de Dados com Aplicações em Ciências Espaciais Escola de Verão do Laboratório Associado de Computação e Matemática Aplicada Rafael Santos Dia 3: 1 /54 Programa Dia 1: Apresentação

Leia mais

Aprendizado de Máquina (Machine Learning)

Aprendizado de Máquina (Machine Learning) Ciência da Computação (Machine Learning) Aula 14 Regras de Associação Max Pereira Regras de Associação Motivação O que é geralmente comprado junto com o produto x? Que pares de produtos são comprados juntos?

Leia mais

Tabelas Hash. informação, a partir do conhecimento de sua chave. Hashing é uma maneira de organizar dados que:

Tabelas Hash. informação, a partir do conhecimento de sua chave. Hashing é uma maneira de organizar dados que: Tabelas Hash Tabelas Hash O uso de listas ou árvores para organizar informações é interessante e produz bons resultados. Porem, em nenhuma dessas estruturas se obtém o acesso direto a alguma informação,

Leia mais

3 Extração de Regras Simbólicas a partir de Máquinas de Vetores Suporte 3.1 Introdução

3 Extração de Regras Simbólicas a partir de Máquinas de Vetores Suporte 3.1 Introdução 3 Extração de Regras Simbólicas a partir de Máquinas de Vetores Suporte 3.1 Introdução Como já mencionado na seção 1.1, as SVMs geram, da mesma forma que redes neurais (RN), um "modelo caixa preta" de

Leia mais

Estudo de Caso. Índice. Descrição da Área. Daniel Gomes Dosualdo Solange Oliveira Rezende

Estudo de Caso. Índice. Descrição da Área. Daniel Gomes Dosualdo Solange Oliveira Rezende Estudo de Caso Daniel Gomes Dosualdo Solange Oliveira Rezende Índice Descrição da Área Identificação do Problema Descrição do Conjunto de Dados Pré-Processamento Extração de Padrões Pós-Processamento Disponibilização

Leia mais

UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica

UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica REDES NEURAIS ARTIFICIAIS MÁQUINA DE VETOR DE SUPORTE (SUPPORT VECTOR MACHINES) Prof. Dr. André A. P. Biscaro 1º Semestre de 2017 Introdução Poderosa metodologia para resolver problemas de aprendizagem

Leia mais

Reconhecimento de Padrões

Reconhecimento de Padrões Reconhecimento de Padrões André Tavares da Silva andre.silva@udesc.br Roteiro da aula Conceitos básicos sobre reconhecimento de padrões Visão geral sobre aprendizado no projeto de classificadores Seleção

Leia mais

Banco de Dados. Banco de Dados

Banco de Dados. Banco de Dados Banco de Dados Banco de Dados Data Warehouse: banco de dados contendo dados extraídos do ambiente de produção da empresa, que foram selecionados e depurados, tendo sido otimizados para processamento de

Leia mais

INF Fundamentos da Computação Gráfica Professor: Marcelo Gattass Aluno: Rogério Pinheiro de Souza

INF Fundamentos da Computação Gráfica Professor: Marcelo Gattass Aluno: Rogério Pinheiro de Souza INF2608 - Fundamentos da Computação Gráfica Professor: Marcelo Gattass Aluno: Rogério Pinheiro de Souza Trabalho 02 Visualização de Imagens Sísmicas e Detecção Automática de Horizonte Resumo Este trabalho

Leia mais

BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING Asterio K. Tanaka

BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING Asterio K. Tanaka BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING Asterio K. Tanaka http://www.uniriotec.br/~tanaka/tin0036 tanaka@uniriotec.br Introdução a Data Mining Árvores de Decisão Categorização de Dados Parte II Rogério

Leia mais

Regras de Associação. José Augusto Baranauskas Departamento de Física e Matemática FFCLRP-USP

Regras de Associação. José Augusto Baranauskas Departamento de Física e Matemática FFCLRP-USP Regras de Associação A compra de um produto quando um outro produto é comprado representa uma Regra de Associação Regras de Associação são frequentemente utilizadas para apoiar campanhas de marketing e

Leia mais

FACULDADE CAMPO LIMPO PAULISTA (FACCAMP) COORDENADORIA DE EXTENSÃO E PESQUISA CURSO DE PÓS-GRADUAÇÃO LATO SENSU EM MINERAÇÃO E CIÊNCIA DOS DADOS

FACULDADE CAMPO LIMPO PAULISTA (FACCAMP) COORDENADORIA DE EXTENSÃO E PESQUISA CURSO DE PÓS-GRADUAÇÃO LATO SENSU EM MINERAÇÃO E CIÊNCIA DOS DADOS FACULDADE CAMPO LIMPO PAULISTA (FACCAMP) COORDENADORIA DE EXTENSÃO E PESQUISA CURSO DE PÓS-GRADUAÇÃO LATO SENSU EM MINERAÇÃO E CIÊNCIA DOS DADOS PROJETO PEDAGÓGICO CAMPO LIMPO PAULISTA 2015 1. Público

Leia mais

Aplicação de Regras de Associação para Mineração de Dados em uma Empresa do Setor Varejista Visando Auxiliar na Gestão de Vendas

Aplicação de Regras de Associação para Mineração de Dados em uma Empresa do Setor Varejista Visando Auxiliar na Gestão de Vendas Aplicação de Regras de Associação para Mineração de Dados em uma Empresa do Setor Varejista Visando Auxiliar na Gestão de Vendas Mateus Luiz Gamba 1, Giana da Silva Bernardino 2 1 Universidade Federal

Leia mais

Data Mining. Rodrigo Leite Durães

Data Mining. Rodrigo Leite Durães Rodrigo Leite Durães rodrigo_l_d@yahoo.com.br Processo de mineração de dados e descoberta de informações relevantes em grandes volumes de dados. "... processo não-trivial de identificar, em dados, padrões

Leia mais

INFOIMAGEM 2002. Princípios. Essenciais do. Data Mining. Sergio Navega. Intelliwise Research and Training http://www.intelliwise.

INFOIMAGEM 2002. Princípios. Essenciais do. Data Mining. Sergio Navega. Intelliwise Research and Training http://www.intelliwise. INFOIMAGEM 2002 Princípios Essenciais do Data Mining Sergio Navega Intelliwise Research and Training http://www.intelliwise.com/snavega Conteúdo A Pirâmide do Conhecimento O Processo de Data Mining DM

Leia mais

INF 1771 Inteligência Artificial

INF 1771 Inteligência Artificial INF 1771 Inteligência Artificial Aula 14 Support Vector Machines (SVM) 2016.1 Prof. Augusto Baffa Formas de Aprendizado Aprendizado Supervisionado Árvores de Decisão. K-Nearest

Leia mais

Classificação supervisionada baseada em árvore geradora mínima

Classificação supervisionada baseada em árvore geradora mínima Classificação supervisionada baseada em árvore geradora mínima Letícia Cavalari Pinheiro 1,3 Renato Martins Assunção 2 1 Introdução Classificação supervisionada é um dos problemas mais estudados na área

Leia mais

KDD. Fases limpeza etc. Datamining OBJETIVOS PRIMÁRIOS. Conceitos o que é?

KDD. Fases limpeza etc. Datamining OBJETIVOS PRIMÁRIOS. Conceitos o que é? KDD Conceitos o que é? Fases limpeza etc Datamining OBJETIVOS PRIMÁRIOS TAREFAS PRIMÁRIAS Classificação Regressão Clusterização OBJETIVOS PRIMÁRIOS NA PRÁTICA SÃO DESCRIÇÃO E PREDIÇÃO Descrição Wizrule

Leia mais

UTFPR - Universidade Tecnológica Federal do Paraná. Processamento e otimização de consultas

UTFPR - Universidade Tecnológica Federal do Paraná. Processamento e otimização de consultas UTFPR - Universidade Tecnológica Federal do Paraná Processamento e otimização de consultas Leyza Baldo Dorini 04/Nov/2009 Programação da aula Introdução: processamento e otimização de consultas Etapas:

Leia mais

Fundamentos de Teste de Software

Fundamentos de Teste de Software Núcleo de Excelência em Testes de Sistemas Fundamentos de Teste de Software Módulo 2- Teste Estático e Teste Dinâmico Aula 5 Técnicas de Especificação SUMÁRIO INTRODUÇÃO... 3 TÉCNICAS PARA PROJETO DE CASOS

Leia mais

Informática. Data Warehouse. Professor Julio Alves.

Informática. Data Warehouse. Professor Julio Alves. Informática Data Warehouse Professor Julio Alves www.acasadoconcurseiro.com.br Informática 1. DATA WAREHOUSE Executivos tomadores de decisão (diretores, gerentes, analistas, etc) necessitam de ferramentas

Leia mais

Universidade Tecnológica Federal do Paraná UTFPR Programa de Pós-Graduação em Computação Aplicada Disciplina de Mineração de Dados

Universidade Tecnológica Federal do Paraná UTFPR Programa de Pós-Graduação em Computação Aplicada Disciplina de Mineração de Dados Universidade Tecnológica Federal do Paraná UTFPR Programa de Pós-Graduação em Computação Aplicada Disciplina de Mineração de Dados Prof. Celso Kaestner Poker Hand Data Set Aluno: Joyce Schaidt Versão:

Leia mais

INSTITUTO SUPERIOR TÉCNICO Sistemas de Apoio à Decisão

INSTITUTO SUPERIOR TÉCNICO Sistemas de Apoio à Decisão Número: Nome: -------------------------------------------------------------------------------------------------------------- INSTITUTO SUPERIOR TÉCNICO Sistemas de Apoio à Decisão Exame: 2 Solution 25

Leia mais

Computadores, Algoritmos e Linguagens

Computadores, Algoritmos e Linguagens Computadores, Algoritmos e Linguagens INF 1025 - Introdução à Programação Pontifícia Universidade Católica Departamento de Informática Modelo de um Computador 1 CPU: Unidade Central de Processamento Principal

Leia mais

E-Faces - Um classificador capaz de analisar imagens e classificá-las como faces ou não faces utilizando o método Eigenfaces

E-Faces - Um classificador capaz de analisar imagens e classificá-las como faces ou não faces utilizando o método Eigenfaces E-Faces - Um classificador capaz de analisar imagens e classificá-las como faces ou não faces utilizando o método Eigenfaces Éder Augusto Penharbel, Erdiane L. G. Wutzke, Murilo dos S. Silva, Reinaldo

Leia mais

Tópicos em Mineração de Dados

Tópicos em Mineração de Dados Tópicos em Mineração de Dados Descoberta de agrupamentos Método k-médias 1. Introdução A descoberta de agrupamentos é uma tarefa descritiva que procura agrupar dados utilizando a similaridade dos valores

Leia mais

Processamento da Consulta. Processamento da Consulta

Processamento da Consulta. Processamento da Consulta Processamento da Consulta Equipe 05 Adriano Vasconcelos Denise Glaucia Jose Maria Marcigleicy Processamento da Consulta Refere-se ao conjunto de atividades envolvidas na extra de dados de um banco de dados.

Leia mais

Algoritmos de Substituição de Páginas. Igor Gustavo Hoelscher Renan Arend Rogério Corrêa Medeiros

Algoritmos de Substituição de Páginas. Igor Gustavo Hoelscher Renan Arend Rogério Corrêa Medeiros Algoritmos de Substituição de Páginas Igor Gustavo Hoelscher Renan Arend Rogério Corrêa Medeiros 2 Introdução No momento em que ocorre uma page fault o sistema operacional precisa escolher uma página a

Leia mais

> Princípios de Contagem e Enumeração Computacional 1/10

> Princípios de Contagem e Enumeração Computacional 1/10 Princípios de Contagem e Enumeração Computacional > Princípios de Contagem e Enumeração Computacional 1/10 De quantas maneiras podemos selecionar um subconjunto de r objetos de um conjunto de n objetos?

Leia mais

MINERAÇÃO DE DADOS 1

MINERAÇÃO DE DADOS 1 MINERAÇÃO DE DADOS 1 CONCEITOS BÁSICOS CONHECIMENTO INFORMAÇÃO DADO 2 CONCEITOS BÁSICOS DADOS Os dados são elementos brutos, sem significado, desvinculados da realidade. São, segundo Davenport (1998, p.

Leia mais

Sumário. RObust Clustering using links ROCK. Thiago F. Covões. Motivação. Motivação. Links. Market basket analys. Motivação

Sumário. RObust Clustering using links ROCK. Thiago F. Covões. Motivação. Motivação. Links. Market basket analys. Motivação Sumário RObust Clustering using links ROCK Thiago F. Covões Motivação Links Função de qualidade Algoritmo Vantagens/Desvantagens SCC5895Análise de Agrupamento de Dados 1 2 Motivação Atributos categóricos/nominais/discretos

Leia mais

Bancos de Dados IV. Data Warehouse Conceitos. Rogério Costa

Bancos de Dados IV. Data Warehouse Conceitos. Rogério Costa Bancos de Dados IV Data Warehouse Conceitos Rogério Costa rogcosta@inf.puc-rio.br 1 Data Warehouse - O que é? Conjunto de dados orientados por assunto, integrado, variável com o tempo e nãovolátil Orientado

Leia mais

17/10/2012. dados? Processo. Doutorado em Engenharia de Produção Michel J. Anzanello. Doutorado EP - 2. Doutorado EP - 3.

17/10/2012. dados? Processo. Doutorado em Engenharia de Produção Michel J. Anzanello. Doutorado EP - 2. Doutorado EP - 3. Definição de Data Mining (DM) Mineração de Dados (Data Mining) Doutorado em Engenharia de Produção Michel J. Anzanello Processo de explorar grandes quantidades de dados à procura de padrões consistentes

Leia mais

Aula 13: Regras de Associação. Rafael Izbicki

Aula 13: Regras de Associação. Rafael Izbicki Mineração de Dados Aula 13: Regras de Associação Rafael Izbicki 1 / 6 O Problema Imagine que temos um banco de dados em que cada linha representa a ida de uma pessoa a um supermercado, e cada coluna representa

Leia mais

Memória. Memória Cache

Memória. Memória Cache Memória Memória Cache Revisão - Memória Principal Memória que armazena os dados e programas em linguagem de máquina em execução corrente Razoavelmente barata Tempo de acesso da ordem de nano-segundos a

Leia mais

4 Construção dos Classificadores

4 Construção dos Classificadores 4 Construção dos Classificadores 4.1. Modelagem O aprendizado supervisionado contém a etapa de modelagem, nessa etapa definimos quais serão as características encaminhadas ao classificador para o treinamento.

Leia mais

Minerando regras de associação

Minerando regras de associação Minerando regras de associação Proposto por Rakesh Agrawal em 1993. É o modelo de mineração de dados mais estudado pela comunidade de banco de dados. Utiliza dados categóricos. Não há bons algoritmos para

Leia mais

Recursividade. Objetivos do módulo. O que é recursividade

Recursividade. Objetivos do módulo. O que é recursividade Recursividade Objetivos do módulo Discutir o conceito de recursividade Mostrar exemplos de situações onde recursividade é importante Discutir a diferença entre recursividade e iteração O que é recursividade

Leia mais

4 Testes e experimentos realizados 4.1. Implementação e banco de dados

4 Testes e experimentos realizados 4.1. Implementação e banco de dados 32 4 Testes e experimentos realizados 4.1. Implementação e banco de dados Devido à própria natureza dos sites de redes sociais, é normal que a maior parte deles possua uma grande quantidade de usuários

Leia mais

Curso: Banco de Dados I. Conceitos Iniciais

Curso: Banco de Dados I. Conceitos Iniciais Curso: Conceitos Iniciais Discussão inicial O que são Bancos de Dados? Quais os programas de Bancos de Dados mais conhecidos no mercado? Quais as vantagens do uso de Bancos de Dados nas empresas? Como

Leia mais

INSTITUTO SUPERIOR TÉCNICO Sistemas de Apoio à Decisão

INSTITUTO SUPERIOR TÉCNICO Sistemas de Apoio à Decisão Número: Nome: -------------------------------------------------------------------------------------------------------------- INSTITUTO SUPERIOR TÉCNICO Sistemas de Apoio à Decisão Exame: 6 January 207

Leia mais

Sistemas de Informações Gerenciais Prof. Esp. André Luís Belini Bacharel em Sistemas de Informações MBA em Gestão Estratégica de Negócios

Sistemas de Informações Gerenciais Prof. Esp. André Luís Belini Bacharel em Sistemas de Informações MBA em Gestão Estratégica de Negócios Sistemas de Informações Gerenciais Prof. Esp. André Luís Belini Bacharel em Sistemas de Informações MBA em Gestão Estratégica de Negócios Capítulo 5 (pág. 136 - PLT) Fundamentos da Inteligência de Negócios:

Leia mais

Conceitos Básicos. Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri

Conceitos Básicos. Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Conceitos Básicos Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Data Warehousing Engloba arquiteturas, algoritmos e ferramentas que possibilitam

Leia mais

Introdução à teoria de Data Warehouse. Prof. Rodrigo Leite Durães

Introdução à teoria de Data Warehouse. Prof. Rodrigo Leite Durães Introdução à teoria de Data Warehouse Prof. Rodrigo Leite Durães rodrigo_l_d@yahoo.com.br Organizações: necessidade de INFORMAÇÃO para tomada de decisões Exemplos: FACULDADE - abertura de mais vagas para

Leia mais

Agregação de Algoritmos de Aprendizado de Máquina (AM) Professor: Eduardo R. Hruschka Estagiário PAE: Luiz F. S. Coletta

Agregação de Algoritmos de Aprendizado de Máquina (AM) Professor: Eduardo R. Hruschka Estagiário PAE: Luiz F. S. Coletta Agregação de Algoritmos de Aprendizado de Máquina (AM) Professor: Eduardo R. Hruschka Estagiário PAE: Luiz F. S. Coletta (luizfsc@icmc.usp.br) Sumário 1. Motivação 2. Bagging 3. Random Forest 4. Boosting

Leia mais

PRÁTICA 8. A Distância Euclidiana entre dois vetores n-dimensionais x e y é definida como o escalar: d = norm(x y)

PRÁTICA 8. A Distância Euclidiana entre dois vetores n-dimensionais x e y é definida como o escalar: d = norm(x y) PRÁTICA 8 1) Medidas de Distância. A Distância Euclidiana entre dois vetores n-dimensionais e y é definida como o escalar: d 1 2 2 [( y ) + + ( y ) ] 2 e (, y) = y = y = 1 1 L n n esta epressão é a Norma

Leia mais

Mineração de Dados. Dados Escalar Cardinalidade Porque pré-processar dados?

Mineração de Dados. Dados Escalar Cardinalidade Porque pré-processar dados? Mineração de Dados Pré-Processamento de Dados 1 Sumário Dados Escalar Cardinalidade Porque pré-processar dados? Limpeza de Dados Integração e Transformação Redução de Dados Discretização 2 1 Dados Medidas

Leia mais

Linguagens Formais e Autômatos

Linguagens Formais e Autômatos Linguagens Formais e Autômatos Conversão de Expressões Regulares (ER) para Autômatos Finitos Determinísticos (AFD) Cristiano Lehrer, M.Sc. Introdução A construção sistemática de um Autômato Finito para

Leia mais

Aula 01. Prof. Diemesleno Souza Carvalho

Aula 01. Prof. Diemesleno Souza Carvalho Mineração de Dados Aula 01 Prof. Diemesleno Souza Carvalho diemesleno@iftm.edu.br http://www.diemesleno.com.br Na aula passada vimos... Na aula passada vimos... - Apresentação da disciplina; - Informações

Leia mais

Aula 7 Medidas de Distância. Profa. Elaine Faria UFU

Aula 7 Medidas de Distância. Profa. Elaine Faria UFU Aula 7 Medidas de Distância Profa. Elaine Faria UFU - 2017 Agradecimentos Este material é baseado No livro Tan et al, 2006 Nos slides do prof Andre C. P. L. F. Carvalho Agradecimentos Ao professor André

Leia mais

Hashing: conceitos. Hashing

Hashing: conceitos. Hashing Hashing: conceitos hashing é uma técnica conhecida como espalhamento, mapeamento ou randomização que tenta distribuir dados em posições aleatórias de uma tabela (array) associa cada objeto (de um determinado

Leia mais

Plano. Aspectos Relevantes de HMMs. Teoria de HMMs. Introdução aos Modelos Escondidos de Markov

Plano. Aspectos Relevantes de HMMs. Teoria de HMMs. Introdução aos Modelos Escondidos de Markov Plano Esta apresentação é para pessoas sem conhecimento prévio de HMMs Introdução aos Modelos Escondidos de Markov 2004 Objetivos: Ensinar alguma coisa, não tudo (Visão geral, sem muitos detalhes). Tentar

Leia mais

Motivação. Análise de Dados. BD x DW OLTP. Data Warehouse. Revisão Quais as diferenças entre as tecnologias de BD e DW? OLAP Modelos Multidimensionais

Motivação. Análise de Dados. BD x DW OLTP. Data Warehouse. Revisão Quais as diferenças entre as tecnologias de BD e DW? OLAP Modelos Multidimensionais Data Warehouse Análise de Dados Motivação Revisão Quais as diferenças entre as tecnologias de BD e? Modelos Multidimensionais BD x OLTP dados volume dados granularidade dados atualização dados uso Característica

Leia mais

Sistemas Baseados em Conhecimento

Sistemas Baseados em Conhecimento Sistemas Baseados em Conhecimento Profa. Josiane M. P. Ferreira Baseado no capítulo 2 do livro Sistemas Inteligentes Fundamentos de Aplicações, organizadção: Solange Oliveira Rezende, ed. Manole, 2005.

Leia mais

Lista de Exercícios Programação Inteira. x 2 0 e inteiros.

Lista de Exercícios Programação Inteira. x 2 0 e inteiros. Lista de Exercícios Programação Inteira ) Resolva os problemas a seguir usando o método B&B a) Max z = 5 x + y s.a x + y x + y 5 b) Max z = x + y s.a x + y 0 x + y 5 c) Max z = x + y s.a x + 9y 6 8 x +

Leia mais

Um Wrapper para Seleção de Eletrodos em Interfaces Cérebro Computador Baseadas em Imaginação de Movimento

Um Wrapper para Seleção de Eletrodos em Interfaces Cérebro Computador Baseadas em Imaginação de Movimento Um Wrapper para Seleção de Eletrodos em Interfaces Cérebro Computador Baseadas em Imaginação de Movimento Maria B Kersanach Luisa F S Uribe Thiago B S Costa Romis Attux 2015-2016 Interface Cérebro Computador:

Leia mais

A procura da melhor partição em Classificação Hierárquica: A abordagem SEP/COP

A procura da melhor partição em Classificação Hierárquica: A abordagem SEP/COP A procura da melhor partição em Classificação Hierárquica: A abordagem SEP/COP Lúcia Sousa Escola Superior de Tecnologia e Gestão, Instituto Politécnico de Viseu Fernanda Sousa Faculdade de Engenharia

Leia mais

Motivação Por que estudar?

Motivação Por que estudar? Aula 04 Imagens Diogo Pinheiro Fernandes Pedrosa Universidade Federal Rural do Semiárido Departamento de Ciências Exatas e Naturais Curso de Ciência da Computação Motivação Por que estudar? Imagens digitais

Leia mais

INTELIGÊNCIA ARTIFICIAL Data Mining (DM): um pouco de prática. (1) Data Mining Conceitos apresentados por

INTELIGÊNCIA ARTIFICIAL Data Mining (DM): um pouco de prática. (1) Data Mining Conceitos apresentados por INTELIGÊNCIA ARTIFICIAL Data Mining (DM): um pouco de prática (1) Data Mining Conceitos apresentados por 1 2 (2) ANÁLISE DE AGRUPAMENTOS Conceitos apresentados por. 3 LEMBRE-SE que PROBLEMA em IA Uma busca

Leia mais

CONCEITOS BÁSICOS E MODELO DE PROJETO

CONCEITOS BÁSICOS E MODELO DE PROJETO CONCEITOS BÁSICOS E MODELO DE PROJETO Projeto Detalhado de Software (PDS) Profa. Cynthia Pinheiro Na aula passada... Abstração Arquitetura Padrões de Projeto Separação por interesses (por afinidades) Modularidade

Leia mais

Inteligência Artificial

Inteligência Artificial Inteligência Artificial Aula 6 Algoritmos Genéticos M.e Guylerme Velasco Roteiro Introdução Otimização Algoritmos Genéticos Representação Seleção Operadores Geneticos Aplicação Caixeiro Viajante Introdução

Leia mais

Faculdade Dom Bosco de Porto Alegre Sistema de Informação. Bruno Inácio Cardoso. Rotas Seguras Através da Mineração de Dados em Redes Sociais

Faculdade Dom Bosco de Porto Alegre Sistema de Informação. Bruno Inácio Cardoso. Rotas Seguras Através da Mineração de Dados em Redes Sociais Faculdade Dom Bosco de Porto Alegre Sistema de Informação Bruno Inácio Cardoso Rotas Seguras Através da Mineração de Dados em Redes Sociais Porto Alegre 06/2017 Bruno Inácio Cardoso Rotas Seguras Através

Leia mais

Uso de Índices na Otimização e Processamento de Consultas. Otimização e Processamento de Consultas. Otimização e Processamento de Consultas

Uso de Índices na Otimização e Processamento de Consultas. Otimização e Processamento de Consultas. Otimização e Processamento de Consultas usuário processador de E/S gerador de respostas Uso de Índices na Otimização e Processamento de Consultas Profa. Dra. Cristina Dutra de Aguiar Ciferri analisador controle de autorização verificador de

Leia mais

Paradigmas de Aprendizagem

Paradigmas de Aprendizagem Universidade Federal do Espírito Santo Centro de Ciências Agrárias CCA UFES Departamento de Computação Paradigmas de Aprendizagem Redes Neurais Artificiais Site: http://jeiks.net E-mail: jacsonrcsilva@gmail.com

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Aprendizagem Não Supervisionada Alessandro L. Koerich Mestrado/Doutorado em Informática (PPGIa) Pontifícia Universidade Católica do Paraná (PUCPR) Mestrado/Doutorado em Informática

Leia mais

Curso de Especialização em Análise de Ambiente Eletromagnético (CEAAE-2008) DISCIPLINA EE-09 Inteligência Artificial. Prof.

Curso de Especialização em Análise de Ambiente Eletromagnético (CEAAE-2008) DISCIPLINA EE-09 Inteligência Artificial. Prof. Curso de Especialização em Análise de Ambiente Eletromagnético (CEAAE-2008) DISCIPLINA EE-09 Inteligência Artificial Prof. Adilson Cunha PROJETO FINAL Aluno: 1 Ten Av ELISEU ZEDNIK FERREIRA DATA: 15/09/2008

Leia mais

Computação Gráfica - 09

Computação Gráfica - 09 Universidade Federal do Vale do São Francisco Curso de Engenharia da Computação Computação Gráfica - 9 jorge.cavalcanti@univasf.edu.br www.univasf.edu.br/~jorge.cavalcanti www.twitter.com/jorgecav Objetos

Leia mais

Aula 8 - Reconhecimento e Interpretação. Prof. Adilson Gonzaga

Aula 8 - Reconhecimento e Interpretação. Prof. Adilson Gonzaga Aula 8 - Reconhecimento e Interpretação Prof. Adilson Gonzaga Elementos de Visão Computacional: Visão Computacional Processamento de Baio Nível Processamento de Nível Intermediário Processamento de Alto

Leia mais

Sérgio Luisir Díscola Junior

Sérgio Luisir Díscola Junior Capítulo-3: Estoque Livro: The Data Warehouse Toolkit - Guia completo para modelagem dimensional Autor: Ralph Kimball / Margy Ross Sérgio Luisir Díscola Junior Introdução Cadeia de valores Modelo de DW

Leia mais

/HYDQWDUÃDOJXQVÃWHPDVÃUHODWDUÃH[SHULrQFLDVÃHPÃWRUQRÃGHVVHVÃWHPDVÃGHEDWrORVÃDSRQWDGRÃ VXDÃGLPHQVmRÃHÃSRVVLELOLGDGHVÃGHÃWUDEDOKRVÃEXVFDÃGHÃXPÃGLDJQyVWLFRÃSDUDÃFRPSUHHQGHUÃ RÃFRPSOH[RÃGHQWURÃGHÃXPDÃUHDOLGDGHÃUHVJDWDQGRÃRÃFRWLGLDQRÃLQtFLRÃGDÃSUREOHPDWL]DomR

Leia mais

Documento de Requisitos SISTEMA DE APOIO À ESCRITA (SAPES)

Documento de Requisitos SISTEMA DE APOIO À ESCRITA (SAPES) 1. Introdução 1.1 Propósito Documento de Requisitos SISTEMA DE APOIO À ESCRITA (SAPES) O propósito deste documento de especificação de requisitos é definir os requisitos do sistema SAPES - Sistema de Apoio

Leia mais

3 Técnicas de agrupamento

3 Técnicas de agrupamento 3 Técnicas de agrupamento Com o advento da internet a quantidade de informação disponível aumentou consideravelmente e com isso, tornou-se necessário uma forma automática de organizar e classificar esta

Leia mais

Aprendizado de Máquina

Aprendizado de Máquina Aprendizado de Máquina André C. P. L. F. de Carvalho Posdoutorando: Isvani Frias-Blanco ICMC-USP Agrupamento de dados Tópicos Agrupamento de dados Dificuldades em agrupamento Algoritmos de agrupamento

Leia mais