Aprendizagem de Dados Simbólicos e/ou Numéricos
|
|
- Ana Clara Osório Marques
- 5 Há anos
- Visualizações:
Transcrição
1 Aprendizagem de Dados Simbólicos e/ou Numéricos Francisco de A.T. de Carvalo Francisco de A.T. de Carvalo,
2 Agrupamento (Clustering Métodos usados para a construção de grupos de objetos com base nas semelanças e diferenças entre os mesmos de tal maneira que os grupos obtidos são os mais omogêneos e bem separados possíveis. Duas grandes classes de problemas em classificação classificação não supervisionada classificação supervisionada Francisco de A.T. de Carvalo,
3 Agrupamento (Clustering Classificação não supervisionada se propõe a encontrar classes omogêneas a partir de um conjunto de indivíduos Objetivo: os indivíduos semelantes devem pertencer a mesma classe É um objetivo intuitivo mas não é uma definição precisa da noção de classe Francisco de A.T. de Carvalo, 3
4 Agrupamento (Clustering Agrupar para que? Existe classes naturais e o desafio é encontra-las Deseja-se construir as classes segundo estruturas classificatórias (impostas Encontrar classes úteis para o usuário Simplificação dos dados Geração de Hipóteses Predição com base nos grupos formados Francisco de A.T. de Carvalo, 4
5 Agrupamento (Clustering O que é um grupo? Não existe uma única definição satisfatória Coesão interna Isolamento externo Francisco de A.T. de Carvalo, 5
6 Agrupamento (Clustering (a (b (c (d a Grupos coesos e isolados b Grupos isolados mas não coesos c Grupos coesos com vários pontos intermediários d Não existência de grupos naturais Francisco de A.T. de Carvalo, 6
7 Principais Etapas a aquisição dos dados Seleção das observações (indivíduos, objetos, casos, itens Seleção das variáveis (caracteres, descritores e das correspondentes escalas 3 Construção da Tabela de Dados b Pré-processamento dos dados Mudança de escala Normalização 3 Extração de caracteres Francisco de A.T. de Carvalo, 7
8 Principais Etapas c Construção da Tabela de Dados d Cálculo da Proximidade Escola de um Índice de Proximidade Construção da Matriz de Proximidades e Seleção de um Algoritmo de Formação de Grupos em função do tipo de agrupamento desejado f Análise e Interpretação dos Resultados Francisco de A.T. de Carvalo, 8
9 Conceitos Básicos Indivíduo Ω: conjunto das indivíduos (população, amostra ω Ω : indivíduo (especimen ou grupo de indivíduos (espécie Variáveis A cada característica (escolida pelo usuário ou por um especialista, pode-se associar uma ou mais variáveis: Y i : Ω ω i D i Y ( ω D i : Domínio da variável y i Francisco de A.T. de Carvalo, 9
10 Conceitos Básicos As variáveis podem ser quantitativas contínuas (ex, Peso, Altura discretas (ex, numero de antenas, número de filos qualitativas (ex, sexo, grau de instrução binárias (ex, presença de asas com escala nominal (ex, sexo (masculino, feminino ordinal (ex, Grau de instrução{primário, segundário, superior} intervalar (ex, grau celsius proporcional (ex, grau kelvin, idade Francisco de A.T. de Carvalo,
11 Tabela de Dados N objetos ou individuos Ω={ω,, ω i,, ω N } p descritores Y={Y,, Y j,, Y p } A cada objeto ω i de Ω é associado j x i,..., xi,..., representando as p medidas um vetor de descrição ( p x A cada variável ou parametro Y j é j j x,..., x,..., x ( j associado um vetor i N i w w i w N Y x xi x N Y j j x j x i j x N Y p p x p x i p x N que representa o conjunto de valores observados de Ω sobre Y j Francisco de A.T. de Carvalo,
12 Tabela de Dados Tipos de Tabelas quantitativas qualitativas binárias eterogêneas Exemplo: Nome Cobertura do Cavidades do Temperatura Fertilização Corpo Coração do Corpo mamífero pelos 4 regulada interna pássaro penas 4 regulada interna réptil pele seca 4 imperfeitas não regulada interna anfíbio pele úmida 3 não regulada externa peixe escamas não regulada externa Francisco de A.T. de Carvalo,
13 Índices de proximidade Índices de Proximidade Similaridade Dissimilaridade Índice de Similaridade É uma função s : Ω Ω ( ω, ω a b s( ω, ω a R b + Francisco de A.T. de Carvalo, 3
14 Índices de proximidade Índice de Similaridade tal que s ω, ω = s( ω, ω, ( ω, ω Ω Ω s ( a b b a a b ( ωa, ωa = s( ωb, ωb = smax ( ω, ω Ω Ω, a b com ω a > ω s( ω, ω, b a b Quanto mais próximo dois indivíduos mais elevado é o valor da medida de similaridade entre eles Francisco de A.T. de Carvalo, 4
15 Índices de proximidade Índice de Dissimilaridade É uma função d : Ω Ω ( ω, ω a b d( ω, ω a R b + Francisco de A.T. de Carvalo, 5
16 Índices de proximidade Índice de Dissimilaridade tal que d ω, ω = d( ω, ω, ( ω, ω Ω Ω ( a b b a a b d( ω a, ωa =, ωa Ω d( ωa, ωb = smax s( ωa, ωb Quanto mais próximos dois indivíduos menor é o valor da medida de dissimilaridade entre eles Francisco de A.T. de Carvalo, 6
17 Francisco de A.T. de Carvalo, 7 Índices de proximidade, ( (, ( = = λ ω ω ω ω λ λ p j b j a j b a y y d Exemplos de Índices de Proximidade a Tabelas de variáveis quantitativas b Tabelas de variáveis binárias ω a ω b x y z w (Jaccard, ( z y x x s b a + + = ω ω
18 Índices de proximidade Outros aspectos relativos aos índices de proximidade Escala das Variáveis Correlação entre as Variáveis Descrições eterogêneas (Variáveis de diferentes tipos Índices de proximidade entre padrões descritos por strings ou árvores Índices de proximidade dependentes do contexto Índices de proximidade conceptual Francisco de A.T. de Carvalo, 8
19 Classificação Hierárquica / Estruturas classificatórias Cobertura Partição e 5 e 4 e e 5 e 4 e 3 e e e e l =, L, K K = Ω U l= P l tem -se P l 3 l, m =, L, K e l então P l P m = m Francisco de A.T. de Carvalo, 9
20 Classificação Hierárquica / Estruturas Classificatórias Hierarquia Piramide e 5 e 4 e 3 e e Ω H e Ω então {} e H 3, H tem -se : ou 3, H H, Francisco de A.T. de Carvalo, tem -se = ou 4Existe uma ordemθ tal que é um intervalo deθ H
21 Classificação Hierárquica 3/ Métodos de Agrupamento Em Taxinomia Numérica distingue-se três grupos de métodos Técnicas de Otimização Objetivo: obter uma partição. Número de grupos fornecido pelo usuário Técnicas ierárquicas Objetivo: obter uma ierarquia (ou uma pirâmide Pode-se obter uma partição cortando-se a ierarquia em um determinado nível. Francisco de A.T. de Carvalo,
22 Classificação Hierárquica 4/ Métodos de Agrupamento Técnicas de Cobertura Objetivo: obter grupos que eventualmente podem partilar indivíduos. Outros Aspectos Relativos aos Métodos de Agrupamento Métodos Aglomerativos versus Métodos Divisivos Métodos Monotéticos versus Métodos Politeticos Francisco de A.T. de Carvalo,
23 Classificação Hierárquica 5/ Outros Aspectos Relativos aos Métodos de Agrupamento Agrupamento Hard versus Agrupamento Fuzzy Métodos Incrementais versus Métodos não Incrementais Métodos Paramétricos versus Métodos não Paramétricos Métodos Geométricos versus Métodos não Geométricos Francisco de A.T. de Carvalo, 3
24 Classificação Hierárquica 6/ Classificação Hierarquica Diagrama de Venn Dendograma Francisco de A.T. de Carvalo, 4
25 Classificação Hierárquica 7/ Métodos Hierárquicos Aglomerativos Parte-se de uma tabela de dados e calcula-se uma distância entre os individuos de Ω Os métodos ascendentes ierárquicos tem por objetivo a construção de uma sequencia de partições encaixadas camada ierarquia. A representação gráfica dessas ierarquias é realisada por uma arvore ierarquica ou dendrograma. e e e5 e3 e4 P 5={e5,e3,e4} P 4={e3,e4} Francisco de A.T. de Carvalo, 5
26 Classificação Hierárquica 8/ Métodos Hierárquicos Aglomerativos Hierarquia H Hierarquia com indice (H,f e 5 e 4 e 3 e e e e e5 e4 e3 E H e E então {} e H 3, H tem -se : ou f : H R + ( ( f ( = seesomente se, H e card( = f ( < f ( Francisco de A.T. de Carvalo, 6
27 Classificação Hierárquica 9/ Obtenção de um índice de dissimilaridade à partir de uma Hierarquia com Índice Pode-se associar a uma ierarquia com índice (H,f um índice de dissimilaridade σ: Ω Ω R + da seguinte maneira σ(ω k, ω l = Min H {f( ω k e ω l } (é a altura do nó mais baixo que contém ω k e ω l Francisco de A.T. de Carvalo, 7
28 Classificação Hierárquica / Índice de Agregação entre grupos de indivíduos Para construir uma Hierarquia é necessário um índice de proximidade entre grupos Um índice de agregação entre de grupos de indivíduos é uma função tal que δ : P( Ω P( Ω R (, δ( +,,, P( Ω, δ( P( Ω, δ(,, = δ(, Francisco de A.T. de Carvalo, 8
29 Classificação Hierárquica / Índice de Agregação entre grupos de indivíduos Relação entre f e δ f é um indice sobre a ierarquia H, δ é um indice de agregação entre classes, H, f ( = (, δ Observação Para garantir que uma ierarquia com índice não apresente inversões, pode-se definir f da seguinte maneira:, H, f ( = Max{ f (, f (, f ( } Francisco de A.T. de Carvalo, 9
30 Classificação Hierárquica / Principais Índice de Agregação utilizados Os índices de agregação geralmente são construídos a partir do índice de dissimilaridade entre os indivíduos de Ω escolido pelo usuário Índice da ligação simples ou do vizino mais próximo Francisco de A.T. de Carvalo, 3
31 Classificação Hierárquica 3/ Índice da ligação simples ou do vizino mais próximo δ(, = Min d( ωi, ω j ω i j ω Fórmula de recorrência δ(, = = Min{ δ(, ( δ(, + δ(, δ(, δ(,, δ(, } = Francisco de A.T. de Carvalo, 3
32 Classificação Hierárquica 4/ Índice da ligação completa ou do vizino mais longe δ(, = Max d( ωi, ω j ω i j ω Fórmula de recorrência δ(, = = Max{ δ(, ( δ(, + δ(, + δ(, δ(,, δ(, } = Francisco de A.T. de Carvalo, 3
33 Francisco de A.T. de Carvalo, 33 Classificação Hierárquica 5/ Índice da média das distâncias Fórmula de recorrência ω ω ω ω = δ j i j i, d(, (, (, ( d(, ( j i j i δ + + δ + = = ω ω = δ ω ω
34 Classificação Hierárquica 6/ Índice de agregação dos centros de gravidade ( G(,G( δ(, = d Fórmula de recorrência δ(, ( + = δ(, + δ(, + + δ(, Francisco de A.T. de Carvalo, 34
35 Francisco de A.T. de Carvalo, 35 Classificação Hierárquica 7/ Índice de minimização do aumento da variância (Ward Fórmula de recorrência (,G( G( d, ( + = δ, (, (, (, ( δ + + δ δ = δ
36 Classificação Hierárquica 8/ Fórmula geral de recorrência de Lance e Williams δ(, + β δ(, = α + γ δ(, δ(, + α δ(, δ(, + Método Single Link Complet Link UPGMA UPGMC Ward / / / / / ( + ( + ( + ( + ( + ( + ( + + ( + ( + + ( + + α α β γ / Francisco de A.T. de Carvalo, 36
37 Classificação Hierárquica 9/ Inversão e Monotonicidade Para que não ocorra inversão no dendograma é necessário que a fórmula de recorrência do índice de agregação seja monotonica, isto é, δ(, δ(, Considere a fórmula geral de recorrência: δ(, + β δ(, = α + γ δ(, δ(, + α δ(, δ(, + Francisco de A.T. de Carvalo, 37
38 Classificação Hierárquica / Inversão e Monotonicidade Se α, α, α + α + β e γ Min( α, α então a fórmula de recorrência é monotonica Observação: dos métodos apresentados anteriormente apenas o UPGMC não é monotonico Francisco de A.T. de Carvalo, 38
39 Classificação Hierárquica / Algoritmo Geral de Agrupamento Hierárquico Aglomerativo Passo : Iniciar o agrupamento formado por grupos unitários Passo : Encontre, no agrupamento corrente, o par de grupos de dissimilaridade mínima Passo 3: Construa um novo grupo pela fusão desse par de grupos de dissimilaridade mínima Francisco de A.T. de Carvalo, 39
40 Classificação Hierárquica / Algoritmo Geral de Agrupamento Hierárquico Aglomerativo Passo 4: Atualize a matriz de dissimilaridades: suprima as linas e as colunas correspondentes aos grupos fusionados e adicione uma lina e uma coluna correspondente as dissimilaridades entre o novo grupo e os grupos antigos Passo 5: Se todos os objetos estão grupados, pare; senão vá para o passo Francisco de A.T. de Carvalo, 4
41 Exemplo Classificação Hierárquica 3/ E:(Sono=Pouco,T=Carro,Conic=Sim,Alcool=Não,Sair=Não,Fo me=sim E:(Sono=Pouco,T=Carona,Conic=Não,Alcool=Não,Sair=Sim, Fome=Sim E3:(Sono=Sim,T=Carro,Conic=Não,Alcool=Sim,Sair=Sim,Fom e=não E4:(Sono=Sim,T=Outros,Conic=Sim,Alcool=Sim,Sair=Sim,Fo me=não Francisco de A.T. de Carvalo, 4
42 Exemplo Classificação Hierárquica 4/ Matriz de Dissimilaridades D = Francisco de A.T. de Carvalo, 4
43 Exemplo Classificação Hierárquica 5/ Passo : C={E}, C={E}, C3={E3}, C4={E4} Passo : dmin = C5= C3 C4 = {E3,E4} Passo 3: D = Francisco de A.T. de Carvalo, 43
44 Classificação Hierárquica 6/ Exemplo Passo 4: dmin = 3 C6= C C ={E,E} Passo5 D 5 = 6 Passo 6: dmin = 4 C7 = C5 C6 ={E,E,E3,E4} 4 C7 C6 C5 E E E3 Francisco de A.T. de Carvalo, E4 44
45 Classificação Hierárquica 7/ Métodos Hierárquicos Divisivos Métodos Politéticos x Métodos Monotéticos Algoritmo da divisão pela média das distâncias Passo Passo A = R e i A R = {, K,n } B = calcule d( i,a\{ i } = A j A j i d( i, j Francisco de A.T. de Carvalo, 45
46 Classificação Hierárquica 8/ Algoritmo da divisão pela média das distâncias Passo Encontre i' A tal que d( i',a\{ i' Faça A = A\{ i' } e B = B { i' } } = Max d( i,a\{ i i A } Passo 3 i A calcule d( i, A\ { i } d( i,b = Encontre i' A tal que d( i', A\ { i' } A d( i' j A j i,b d( i, j = B d( i, Max { d( i, A\ { i } i A B d( i,b } Francisco de A.T. de Carvalo, 46
47 Classificação Hierárquica 9/ Algoritmo da divisão pela média das distâncias Passo 4 Passo 5 Faça Se d( i', A\ { i' } d( i',b > A = A\ { i' } e B = B { i' } Re torne ao PASSO 3 Calcule dim( Q = Max d( Escola Q L = * tal dim( Q que dim( Q Passo 6: Pare quando todos os grupos forem unitários * j Q Q, R = Q Francisco de A.T. de Carvalo, * j, onde Q é * = e va Max para o dim( Q um grupo PASSO 47
48 Classificação Hierárquica 3/ Algoritmo da divisão pela média das distâncias Exemplo: agrupe os pontos Altura Peso Idade A B C D E F Francisco de A.T. de Carvalo, 48
49 Classificação Hierárquica 3/ Métodos Divisivos (Monotético Todas as variáveis são binárias Passo R = {, K,n } ( indivíduos Y = { y, K,y p } (var iáveis Francisco de A.T. de Carvalo, 49
50 Classificação Hierárquica 3/ Métodos Divisivos (Monotético Passo j calcule C( y j = k j c( y j,y k onde k c( y j,y k = a jk d jk b jk c jk e j a jk b jk c jk d jk Francisco de A.T. de Carvalo, 5
51 Classificação Hierárquica 33/ Métodos Divisivos (Monotético Passo Selecione t Faça tal que C( y = MaxC( A = { i y ( i = }, B = { i y ( i = } e Y = Y \{ y } t t Passo 3: Repita o passo para cada grupo Passo 4: O processo de separação continua até y Y j só restar grupos unitários ou as variáveis restantes são incapazes de separar os grupos ou não restam mais variáveis t y j t Francisco de A.T. de Carvalo, 5
52 Francisco de A.T. de Carvalo, 5 Classificação Hierárquica 34/ Métodos Divisivos (Monotético Exemplo H G F E D C B A
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Francisco A. Rodrigues Departamento de Matemática Aplicada e Estatística - SME Conceitos básicos Classificação não-supervisionada:
Leia maisAprendizado de Máquina
Aprendizado de Máquina André C. P. L. F. de Carvalho Posdoutorando: Isvani Frias-Blanco ICMC-USP Agrupamento de dados Tópicos Agrupamento de dados Dificuldades em agrupamento Algoritmos de agrupamento
Leia maisMineração de Dados em Biologia Molecular
Mineração de Dados em Biologia Molecular André C. P. L. F. de Carvalho Monitor: Valéria Carvalho Agrupamento de Dados Tópicos Agrupamento de dados Análise de cluster Dificuldades em agrupamento Algoritmos
Leia maisINF 1771 Inteligência Artificial
Edirlei Soares de Lima INF 1771 Inteligência Artificial Aula 18 Aprendizado Não-Supervisionado Formas de Aprendizado Aprendizado Supervisionado Árvores de Decisão. K-Nearest Neighbor
Leia maisRedes Neurais (Inteligência Artificial)
Redes Neurais (Inteligência Artificial) Aula 16 Aprendizado Não-Supervisionado Edirlei Soares de Lima Formas de Aprendizado Aprendizado Supervisionado Árvores de Decisão. K-Nearest
Leia maisAnálise de Agrupamento. Cluster Analysis
Análise de Agrupamento Cluster Analysis Objetivo Classificar objetos, itens ou indivíduos de acordo com as suas semelhanças. Os objetos semelhantes são alocados em um mesmo grupo e, portanto, aqueles que
Leia maisTrilha Learning Machine Cluster Analysis em 4 passos Marco Siqueira Campos
Trilha Learning Machine Cluster Analysis em 4 passos Marco Siqueira Campos Marco Siqueira Campos Sócio fundador Siqueira Campos Associados e sos-stat Estatístico UFRGS Certificado Data Science Specialization
Leia maisDescoberta de Conhecimento em Bases de Dados. Pesquisa de Clusters
Universidade Técnica de Lisboa INSTITUTO SUPERIOR DE ECONOMIA E GESTÃO Informática e Sistemas de Informação Aplicados em Economia Descoberta de Conhecimento em Bases de Dados. Pesquisa de Clusters Descoberta
Leia maisSEL-0339 Introdução à Visão Computacional. Aula 7 Reconhecimento de Objetos
Departamento de Engenharia Elétrica - EESC-USP SEL-0339 Introdução à Visão Computacional Aula 7 Reconhecimento de Objetos Prof. Dr. Marcelo Andrade da Costa Vieira Prof. Dr. Adilson Gonzaga mvieira@sc.usp.br
Leia mais4 Agrupamento de documentos
4 Agrupamento de documentos É a teoria que decide o que podemos observar. Albert Einstein Um dos métodos mais utilizados de mineração de dados descritiva é conhecido como análise de grupos 23. Com ele,
Leia mais2 Processo de Agrupamentos
20 2 Processo de Agrupamentos A análise de agrupamentos pode ser definida como o processo de determinação de k grupos em um conjunto de dados. Para entender o que isso significa, observe-se a Figura. Y
Leia maisClustering: k-means e Agglomerative
Tópicos Avançados em Avaliação de Desempenho de Sistemas Jackson Nunes Marco Eugênio Araújo Outubro de 2014 1 Sumário Contextualização Classificação Agrupamento (Clustering) Cenários de Aplicação Clustering
Leia maisAnálise de Agrupamento (Cluster analysis)
Análise de Agrupamento (Cluster analysis) Anderson Rodrigo da Silva 1 Exemplos de aplicações de análise de agrupamento Pesquisas de mercado Agrupamento de cidades-teste Bancos de germoplasma Caracterização
Leia maisMetodologia Aplicada a Computação.
Metodologia Aplicada a Computação gaudenciothais@gmail.com Pré-processamento de dados Técnicas utilizadas para melhorar a qualidade dos dados; Eliminam ou minimizam os problemas como ruídos, valores incorretos,
Leia maisAprendizagem de Máquina
Aprendizagem de Máquina Aprendizagem Não Supervisionada Alessandro L. Koerich Mestrado/Doutorado em Informática (PPGIa) Pontifícia Universidade Católica do Paraná (PUCPR) Mestrado/Doutorado em Informática
Leia maisAula 8 - Reconhecimento e Interpretação. Prof. Adilson Gonzaga
Aula 8 - Reconhecimento e Interpretação Prof. Adilson Gonzaga Elementos de Visão Computacional: Visão Computacional Processamento de Baio Nível Processamento de Nível Intermediário Processamento de Alto
Leia maisAprendizado de Máquina (Machine Learning)
Ciência da Computação (Machine Learning) Aula 02 Representação dos dados Pré-processamento Max Pereira Tipo de Dados Os atributos usados para descrever objetos de dados podem ser de diferentes tipos: Quantitativos
Leia maisAprendizagem de Dados Simbólicos e/ou Numéricos
Aprendizagem de Dados Simbólicos e/ou Numéricos Francisco de A.T. de Carvalho 1 Dados usuais 1/2 Ω = {1,, n} conjunto de indivíduos (população ou universo, amostra) As propriedades de cada indivíduo são
Leia maisEstatística: Aplicação ao Sensoriamento Remoto SER ANO Análise de Agrupamento
statística: plicação ao Sensoriamento Remoto SR 204 - NO 2017 nálise de grupamento amilo aleles Rennó camilo@dpi.inpe.br http://www.dpi.inpe.br/~camilo/estatistica/ nálise de grupamento (luster nalysis)
Leia maisSENSOMETRIA. Adilson dos Anjos. Curitiba, PR 21 de maio de Departamento de Estatística Universidade Federal do Paraná
SENSOMETRIA Adilson dos Anjos Departamento de Estatística Universidade Federal do Paraná aanjos@ufpr.br Curitiba, PR 21 de maio de 2015 1 / 7 SENSOMETRIA SEGMENTAÇÃO 2 / 7 Introdução Análise de agrupamentos->
Leia maisIntrodução às Redes Neurais Artificiais
Introdução às Redes Neurais Artificiais Clusterização: Conceitos Básicos Prof. João Marcos Meirelles da Silva www.professores.uff.br/jmarcos Departamento de Engenharia de Telecomunicações Escola de Engenharia
Leia maisAnálise Multivariada Aplicada à Contabilidade
Mestrado e Doutorado em Controladoria e Contabilidade Análise Multivariada Aplicada à Contabilidade Prof. Dr. Marcelo Botelho da Costa Moraes www.marcelobotelho.com mbotelho@usp.br Turma: 2º / 2016 1 Agenda
Leia maisLes-0773: ESTATÍSTICA APLICADA III ANÁLISE DE AGRUPAMENTO. Junho de 2017
Les-0773: ESTATÍSTICA APLICADA III ANÁLISE DE AGRUPAMENTO AULA 4 02/06/17 Prof a Lilian M. Lima Cunha Junho de 2017 DEFINIÇÃO Análise de conglomerados (Cluster Analysis) é uma das técnicas de análise multivariada
Leia maisOrganização. 1. Introdução 2. Medidas de Similaridade. hierárquicos, de partição) 4. Critérios numéricos para definir o número de clusters
Organização. Introdução 2. Medidas de Similaridade 3. Métodos de Agrupamento (métodos hierárquicos, de partição) 4. Critérios numéricos para definir o número de clusters Métodos de Partição Cada exemplo
Leia maisClustering. Prof. Rodrigo Leite Durães.
Clustering Prof. Rodrigo Leite Durães. rodrigo_l_d@yahoo.com.br O que é Análise de Agrupamentos? Cluster: um grupo de objetos Similares entre si quando no mesmo grupo Dissimilares em relação a objetos
Leia maisAula 7 Medidas de Distância. Profa. Elaine Faria UFU
Aula 7 Medidas de Distância Profa. Elaine Faria UFU - 2017 Agradecimentos Este material é baseado No livro Tan et al, 2006 Nos slides do prof Andre C. P. L. F. Carvalho Agradecimentos Ao professor André
Leia maisAprendizagem de Dados Simbólicos e/ou Numéricos
Aprendizagem de Dados Simbólicos e/ou Numéricos Francisco de A.T. de Carvalho Usuais / Notação Y: variável categórica (nominal ou ordinal) ou quantitativa discreta E {,, n} : conjunto de n itens Y(), E
Leia maisIA: Aprendizado IV. Professor Paulo Gurgel Pinheiro. 30 de Setembro de 2010
IA: Aprendizado IV Professor Paulo Gurgel Pinheiro MC906A - Inteligência Articial Instituto de Computação Universidade Estadual de Campinas - UNICAMP 30 de Setembro de 2010 1 / 75 http://www.ic.unicamp.br/
Leia maisMapas Auto-Organizáveis de Kohonen (SOM) SOM é uma rede neural artificial (Kohonen (1995))
Mapas Auto-Organizáveis de Kohonen (SOM) SOM é uma rede neural artificial (Kohonen (1995)) que realiza simultaneamente agrupamento e visualização SOM usa aprendizagem não supervisionada para mapear dados
Leia maisPrograma do Curso. Transformação de Dados. Sistemas Inteligentes Aplicados. Carlos Hall. Discretização de Variáveis Contínuas
Sistemas Inteligentes Aplicados Carlos Hall Programa do Curso Limpeza/Integração de Dados Transformação de Dados Discretização de Variáveis Contínuas Transformação de Variáveis Discretas em Contínuas Transformação
Leia maisAula 2: Resumo de Dados
Aula 2: Resumo de Dados Professor: José Luiz Padilha da Silva email: jlpadilha@ufpr.br Departamento de Estatística Universidade Federal do Paraná Curitiba, 2018 José Luiz Padilha da Silva (UFPR) ce003
Leia maisReconhecimento de Padrões
Reconhecimento de Padrões André Tavares da Silva andre.silva@udesc.br Roteiro da aula Conceitos básicos sobre reconhecimento de padrões Visão geral sobre aprendizado no projeto de classificadores Seleção
Leia maisSCC0173 Mineração de Dados Biológicos
SCC0173 Mineração de Dados Biológicos Preparação de Dados: Parte B Prof. Ricardo J. G. B. Campello SCC / ICMC / USP 1 Créditos O material a seguir consiste de adaptações e extensões: dos originais gentilmente
Leia maisPor que atributos irrelevantes são um problema Quais tipos de algoritmos de aprendizado são afetados Abordagens automáticas
Por que atributos irrelevantes são um problema Quais tipos de algoritmos de aprendizado são afetados Abordagens automáticas Wrapper Filtros Muitos algoritmos de AM são projetados de modo a selecionar os
Leia maisMÉTODOS MULTIVARIADOS. Rodrigo A. Scarpel
MÉTODOS MULTIVARIADOS Rodrigo A. Scarpel rodrigo@ita.br www.mec.ita.br/~rodrigo INTRODUÇÃO Semana Conteúdo Introdução aos métodos multivariados 1 Análise de componentes principais 2 Aplicações de análise
Leia maisAula 05. Análise Bidimensional. Stela Adami Vayego - DEST/UFPR 1
Aula 05 Análise Bidimensional Stela Adami Vayego - DEST/UFPR 1 Objetivo Explorar relações (similaridades) entre duas variáveis São 3 situações: (1) as duas variáveis são quantitativas; (2) as duas variáveis
Leia maisTópicos em Mineração de Dados
Tópicos em Mineração de Dados Descoberta de agrupamentos Método k-médias 1. Introdução A descoberta de agrupamentos é uma tarefa descritiva que procura agrupar dados utilizando a similaridade dos valores
Leia maisAprendizado de Supervisionado
Aprendizado de Supervisionado Fabrício Olivetti de França Universidade Federal do ABC Tópicos 1. Padronizando e Normalizando os Atributos 2. Tipos de Atributos 3. Representação Textual 1 Padronizando e
Leia maisMétodos de Agrupamento (Clustering) Aula 18
Métodos de Agrupamento (Clustering) Aula 18 Prof. Dr. Paulo A. V. de Miranda Instituto de Matemática e Estatística (IME), Universidade de São Paulo (USP) pmiranda@vision.ime.usp.br Existem duas classes
Leia maisDados Simbólicos. Universidade Federal de Pernambuco. CIn.ufpe.br
Dados Simbólicos Universidade Federal de Pernambuco CIn.ufpe.br Dados Simbólicos Dados simbólicos são informações complexas que são expressas por intervalos, conjuntos, frequências distribuições de probabilidade.
Leia maisAnálise de Clusters. Aplicações da formação de Grupos (Clustering)
Análise de Clusters Aplicações da formação de Grupos (Clustering) Ver e analisar vastas quantidades de dados biológicos como um todo pode ser difícil É mais fácil interpretar os dados se forem divididos
Leia maisAula 05. Análise Bidimensional. Stela Adami Vayego - DEST/UFPR 1
Aula 05 Análise Bidimensional Stela Adami Vayego - DEST/UFPR 1 Objetivo Explorar relações (similaridades) entre duas variáveis São 3 situações: (1) as duas variáveis são quantitativas; (2) as duas variáveis
Leia maisEstatística Descritiva
C E N T R O D E M A T E M Á T I C A, C O M P U T A Ç Ã O E C O G N I Ç Ã O UFABC Estatística Descritiva Centro de Matemática, Computação e Cognição March 17, 2013 Slide 1/52 1 Definições Básicas Estatística
Leia maisAula 03: Dados Profa. Ms. Rosângela da Silva Nunes
Aula 03: Dados Profa. Ms. Rosângela da Silva Nunes 1 de 29 Tipos de Conjuntos de dados Registro Tabela do BD Matriz de dados Document 1 Document 2 team coach pla y ball score game wi n lost timeout 3 0
Leia maisAnálise de dados multivariados I
Análise de dados multivariados I Tópico: Análise de Conglomerados ou Agrupamentos (ou ainda, Cluster Analysis) Bibliografia: R.A. Johnson, Applied Multivariate Statistical Analysis, Prentice Hall, 199
Leia maisCAD. 8 SETOR A AULAS 45-48
CAD. 8 SETOR A AULAS 45-48 48 ESTATÍSTICA STICA Prof. Suzart ESTATÍSTICA Elabora métodos para coleta, organização, descrição, análise e intepretação de dados. Experimentos não-determinísticos. Determinação
Leia mais1 Estatística Descritiva
1 Estatística Descritiva A estatística descritiva é parte da estatística que lida com a organização, resumo e apresentação de dados. Esta é feita por meio de: Tabelas; Gráficos; Medidas Descritivas (média,
Leia maisAlgoritmos de Agrupamento - Aprendizado Não Supervisionado
Algoritmos de Agrupamento - Aprendizado Não Supervisionado Fabrício Jailson Barth fabricio.barth@gmail.com Agosto de 2016 Sumário Introdução e Definições Aplicações Algoritmos de Agrupamento Agrupamento
Leia maisESTATÍSTICA COMPUTACIONAL AULA 1 RESUMO DE DADOS
RESUMO DE DADOS 1 TIPOS DE VARIÁVEIS Em estatística, uma variável é um atributo mensurável que tipicamente varia entre indivíduos de uma população. As variáveis podem ser classificadas em quantitativas
Leia maisRESUMO DE DADOS. Lucas Santana da Cunha Universidade Estadual de Londrina. 24 de abril de 2017
RESUMO DE DADOS Lucas Santana da Cunha lscunha@uel.br http://www.uel.br/pessoal/lscunha/ Universidade Estadual de Londrina 24 de abril de 2017 e gráficos Apresentação de dados A apresentação de dados estatísticos
Leia maisProfa. Lidia Rodella UFPE-CAA
Profa. Lidia Rodella UFPE-CAA O que é estatística? É conjunto de técnicas que permite, de forma sistemática, coletar, organizar, descrever, analisar e interpretar dados oriundos de estudos ou experimentos,
Leia mais3 Extração de Regras Simbólicas a partir de Máquinas de Vetores Suporte 3.1 Introdução
3 Extração de Regras Simbólicas a partir de Máquinas de Vetores Suporte 3.1 Introdução Como já mencionado na seção 1.1, as SVMs geram, da mesma forma que redes neurais (RN), um "modelo caixa preta" de
Leia maisANÁLISE DE AGRUPAMENTOS
ANÁLISE DE AGRUPAMENTOS Análise de Agrupamentos 2 Definição Consistem em encontrar grupos de objetos entre os objetos Categorizá-los ou agrupá-los Tipo de aprendizado não supervisionado Encontrar grupos
Leia maisCADERNO DE EXERCÍCIOS ALGORITMOS
J. EXERCÍCIOS SOBRE MODULARIZAÇÃO 77. Faça uma função que recebe um número inteiro por parâmetro e retorna verdadeiro se ele for par e falso se for ímpar. 78. Escreva um programa que leia o raio de um
Leia maisLista de exercícios 2 Recuperação de Informação Textual
Lista de exercícios 2 Recuperação de Informação Textual 2 de dezembro de 2015 0.1 O que é o modelo bag-of-words? Porque ele é uma simplificação? Dê um exemplo em que ele estaria incorreto. 0.2 O que é
Leia maisAprendizado de Máquina
Aprendizado de Máquina Introdução Luiz Eduardo S. Oliveira Universidade Federal do Paraná Departamento de Informática http://lesoliveira.net Luiz S. Oliveira (UFPR) Aprendizado de Máquina 1 / 19 Introdução
Leia maisDescrição do Método de Análise de Clusters
ANÁLISE DE CLUSTERS A análise de Clusters designa uma série de procedimentos estatísticos sofisticados que podem ser usados para classificar objectos e pessoas por observação das semelhanças e dissemelhanças
Leia maisMineração de Dados. Dados Escalar Cardinalidade Porque pré-processar dados?
Mineração de Dados Pré-Processamento de Dados 1 Sumário Dados Escalar Cardinalidade Porque pré-processar dados? Limpeza de Dados Integração e Transformação Redução de Dados Discretização 2 1 Dados Medidas
Leia maisClustering (k-means, SOM e hierárquicos)
Clustering (k-means, SOM e hierárquicos) André Tavares da Silva andre.silva@udesc.br (Capítulo 10 de Duda e Hart) Clustering Introdução e tipos Roteiro Agrupamentos hierárquicos AGNES, DIANA e Dendogram
Leia maisAula 7 RNA Redes Auto-Organizáveis de Kohonen
2COP229 Aula 7 RNA Redes Auto-Organizáveis de Kohonen 2COP229 Sumário 1- Introdução 2- Processo de Aprendizado Competitivo 3- Mapas auto-organizáveis de Kohonen (SOM) 4- Projeto Prático 1-Introdução 2COP229
Leia maisTIPOS DE VARIÁVEIS E RESUMO DE DADOS
TIPOS DE VARIÁVEIS E RESUMO DE DADOS Prof. Dr. Lucas Santana da Cunha email: lscunha@uel.br http://www.uel.br/pessoal/lscunha/ 26 de março de 2018 Londrina 1 / 32 Definição Tipos de variáveis Definição
Leia maisAnálise Descritiva de Dados
Análise Descritiva de Dados 1 Estatística estatística descritiva estatística inferencial 2 Estatística descritiva Envolve técnicas que permitem representar, mensurar e analisar um conjunto de dados 3 Estatística
Leia maisAula 6 Mineração Streams Representação dos Dados. Profa. Elaine Faria UFU
Aula 6 Mineração Streams Representação dos Dados Profa. Elaine Faria UFU - 2017 Agradecimentos Este material é baseado No livro Tan et al, 2006 Nos slides do prof. Andre C. P. L. F. Carvalho Agradecimentos
Leia maisCombinação de Classificadores (fusão)
Combinação de Classificadores (fusão) André Tavares da Silva andre.silva@udesc.br Livro da Kuncheva Roteiro Sistemas com múltiplos classificadores Fusão por voto majoritário voto majoritário ponderado
Leia maisEXERCÍCIOS: Estrutura Sequencial, IF (SE), ELSE (Senão)
EXERCÍCIOS: Estrutura Sequencial, IF (SE), ELSE (Senão) Exercício 1) Escreva um programa para ler um número o o Se o número é par, mostre na tela o texto "O número é par" Senão, mostre na tela o texto
Leia maisSEMINÁRIO DOS ARTIGOS:
SEMINÁRIO DOS ARTIGOS: Text Detection and Character Recognition in Scene Images with Unsupervised Feature Learning End-to-End Text Recognition with Convolutional Neural Networks Fernanda Maria Sirlene
Leia maisTIPOS DE VARIÁVEIS E RESUMO DE DADOS
TIPOS DE VARIÁVEIS E RESUMO DE DADOS Lucas Santana da Cunha lscunha@uel.br http://www.uel.br/pessoal/lscunha/ Universidade Estadual de Londrina 24 de abril de 2017 É o que está sendo medido em uma população,
Leia maisCombinação de Classificadores (seleção)
Combinação de Classificadores (seleção) André Tavares da Silva andre.silva@udesc.br Livro da Kuncheva Roteiro Seleção de classificadores Estimativa independente de decisão Estimativa dependente de decisão
Leia maisSensometria, Segmentação. Adilson dos Anjos
Segmentação Adilson dos Anjos Segmentação Objetivo O objetivo dessa aula é apresentar alguns métodos de Segmentação. As análises serão realizadas com uso do R; Pacotes utilizados nessa aula FactoMineR
Leia maisInteligência nos Negócios (Business Inteligente)
Inteligência nos Negócios (Business Inteligente) Sistemas de Informação Sistemas de Apoio a Decisão Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 7) Fundamentação da disciplina Analise de dados Decisões
Leia maisPRÁTICA 8. A Distância Euclidiana entre dois vetores n-dimensionais x e y é definida como o escalar: d = norm(x y)
PRÁTICA 8 1) Medidas de Distância. A Distância Euclidiana entre dois vetores n-dimensionais e y é definida como o escalar: d 1 2 2 [( y ) + + ( y ) ] 2 e (, y) = y = y = 1 1 L n n esta epressão é a Norma
Leia maisEstatística Computacional Profª Karine Sato da Silva
Estatística Computacional Profª Karine Sato da Silva karine.sato.silva@gmail.com Análise Exploratória dos Dados Com o advento da informática o mundo encheu-se de dados. Dados de funcionários, clientes,
Leia mais4 Estratégias de agrupamento e desempenho dos receptores
4 Estratégias de agrupamento e desempenho dos receptores O capítulo anterior apresentou exemplos de resultados de desempenho do receptor ótimo por grupos, para N = 6 símbolos. Nestes exemplos os agrupamentos
Leia maisMineração de Dados em Biologia Molecular
Mineração de Dados em Biologia Molecular Principais tópicos André C. P. L. F. de Carvalho Monitor: Valéria Carvalho Métodos baseados em distância Aprendizado baseado em instâncias Conceitos básicos KNN
Leia maisEstrutura de Condição, Escolha e Repetição
Estrutura Condicional Se, Laços de repetição Estrutura de Condição, Escolha e Repetição Profª Fabíola Gonçalves C. Ribeiro INTRODUÇÃO Os comandos a seguir modificam o fluxo de execução de um algoritmo
Leia maisMANUAL DE REFERÊNCIA DE ANÁLISE DE CONGLOMERADOS
MANUAL DE REFERÊNCIA DE ANÁLISE DE CONGLOMERADOS INTRODUÇÃO... 2 MEDIDAS DE SIMILARIDADE [2,3]... 3 2. MEDIDAS DE CORRELAÇÃO... 4 2.2 MEDIDAS DE DISTÂNCIA... 6 2.2. TIPOS DE MEDIDAS DE DISTÂNCIA... 7 2.3
Leia maisClassificação: Árvores de Decisão e k-nn. Eduardo Raul Hruschka
Classificação: Árvores de Decisão e k-nn Eduardo Raul Hruschka Árvores de Decisão Métodos para aproximar funções discretas, representadas por meio de uma árvore de decisão; Árvores de decisão podem ser
Leia maisConjuntos e Relações Nebulosas (Fuzzy)
Conjuntos e Relações Nebulosas (Fuzzy) Prof. Matheus Giovanni Pires EXA 868 Inteligência Artificial Não-Simbólica B Universidade Estadual de Feira de Santana 2 Operações Básicas Para sistemas que usam
Leia maisANÁLISE EXPLORATÓRIA DE DADOS
ANÁLISE EXPLORATÓRIA DE DADOS Resumo, organização e interpretação dos dados. Identificação/Proposição de um modelo que explique o fenômeno. Antigamente chamada de Estatística Descritiva. 1 Variáveis estatísticas
Leia maisANÁLISE DE CLUSTER APLICADA À LOGÍSTICA: DEFINIÇÃO DE ZONAS DE TRANSPORTE PARA UMA EMPRESA DO SETOR SIDERÚRGICO
ANÁLISE DE CLUSTER APLICADA À LOGÍSTICA: DEFINIÇÃO DE ZONAS DE TRANSPORTE PARA UMA EMPRESA DO SETOR SIDERÚRGICO Alvaro Simões da Conceição Neto (UFMG) alvaro.neto@terra.com.br Juliana Jacob Ferreira (UFMG)
Leia maisAgrupamento Espectral e Hierárquico
Agrupamento Espectral e Hierárquico Fabrício Olivetti de França Universidade Federal do ABC Tópicos 1. Agrupamento Espectral 2. Agrupamento Hierárquico 1 Agrupamento Espectral Agrupamento Espectral Nem
Leia maisNúmero de erros de impressão durante 50 dias
EXERCÍCIOS RESOLVIDOS 1) Contou-se o número de erros de impressão da primeira página de um jornal durante 50 dias, obtendo-se os resultados abaixo: 8 11 8 12 14 13 11 14 14 15 6 10 14 19 6 12 7 5 8 8 10
Leia maisFundamentos de Programação 1
Fundamentos de Programação 1 Estrutura de Dados Homogêneas Exercícios Slides 16 Complementar Prof. SIMÃO Jean Marcelo SIMÃO Exercício da Aula Anterior a) Elabore um algoritmo que registra os nomes de 50
Leia maisEstatística Aplicada. UNIVERSIDADE ESTÁCIO DE SÁ-RECIFE 2013 Prof: Wildson Cruz
Estatística Aplicada UNIVERSIDADE ESTÁCIO DE SÁ-RECIFE 2013 Prof: Wildson Cruz Estatística Descritiva A estatística descritiva preocupa-se com a forma pela qual podemos apresentar um conjunto de dados
Leia maisMedidas de Semelhança
Medidas de Semelhança Índices de Semelhança Grandezas numéricas que quantificam o grau de associação entre um par de objetos ou de descritores. Como escolher um Índice? O objetivo da análise é associar
Leia maisThiago Christiano Silva
Thiago Christiano Silva Conteúdo Conceitos Relevantes Problemas de Otimização Conceitos de Estabilidade e Convergência Teoremas de Lyapunov Rede Neural de Hopfield Aplicações do modelo de Hopfield Clusterização
Leia maisFundamentos dos Dados
Fundamentos dos Dados SCC5836 Visualização Computacional Prof. Fernando V. Paulovich http://www.icmc.usp.br/~paulovic paulovic@icmc.usp.br Instituto de Ciências Matemáticas e de Computação (ICMC) Universidade
Leia maisUniversidade Federal de Mato Grosso - UFMT Probabilidade e Estatística
Universidade Federal de Mato Grosso - UFMT Probabilidade e Estatística 1 Introdução Definição: Estatística é um conjunto de conceitos e métodos científicos para coleta, organização, descrição, análise
Leia maisProf.: Eduardo Vargas Ferreira
Universidade Federal do Paraná Laboratório de Estatística e Geoinformação - LEG Introdução Prof.: Eduardo Vargas Ferreira O que é Machine Learning? Estatística Data Mining 2 O que é Machine Learning? Estatística
Leia maisAlgoritmos e Programação
Universidade Federal do Vale do São Francisco Curso de Engenharia da Produção / Elétrica Parte 02 Prof. Jorge Cavalcanti jorge.cavalcanti@univasf.edu.br www.univasf.edu.br/~jorge.cavalcanti www.twitter.com/jorgecav
Leia maisAprendizado de Máquina
Universidade Federal do Espírito Santo Centro de Ciências Agrárias CCA UFES Departamento de Computação Aprendizado de Máquina Inteligência Artificial Site: http://jeiks.net E-mail: jacsonrcsilva@gmail.com
Leia maisStela Adami Vayego DEST/UFPR
Resumo 5 - Análise Bivariada (Bidimensional) 5.1. Introdução O principal objetivo das análises nessa situação é explorar relações (similaridades) entre duas variáveis. A distribuição conjunta das freqüências
Leia maisProfessora: Cira Souza Pitombo. Disciplina: Aplicações de técnicas de análise de dados
UNIVERSIDADE FEDERAL DA BAHIA ESCOLA POLITÉCNICA MESTRADO EM ENGENHARIA AMBIENTAL E URBANA Apresentação do Curso Introdução Professora: Cira Souza Pitombo Disciplina: Aplicações de técnicas de análise
Leia maisConceitos de Aprendizagem de Máquina e Experimentos. Visão Computacional
Conceitos de Aprendizagem de Máquina e Experimentos Visão Computacional O que você vê? 2 Pergunta: Essa imagem tem um prédio? Classificação 3 Pergunta: Essa imagem possui carro(s)? Detecção de Objetos
Leia maisUniversidade Federal do Paraná Departamento de Informática. Reconhecimento de Padrões. Segmentação. Luiz Eduardo S. Oliveira, Ph.D.
Universidade Federal do Paraná Departamento de Informática Reconhecimento de Padrões Segmentação Luiz Eduardo S. Oliveira, Ph.D. http://lesoliveira.net Objetivos Introduzir os conceitos básicos de segmentação
Leia mais( ) Aula de Hoje. Introdução a Sistemas Inteligentes. Modelo RBF (revisão) Modelo RBF (revisão)
Introdução a Sistemas Inteligentes ópicos em Redes Neurais III: Redes Neurais RBF ª Parte Prof. Ricardo J. G. B. Campello ICMC / USP Aula de Hoje Revisão de Modelos RBF reinamento de Modelos RBF Estimação
Leia maisProcessamento digital de imagens
Processamento digital de imagens Agostinho Brito Departamento de Engenharia da Computação e Automação Universidade Federal do Rio Grande do Norte 27 de maio de 2016 Reconhecimento de objetos Padrão: arranjo
Leia maisProjeções Multi-dimensionais
Prof. Fernando V. Paulovich http://www.icmc.usp.br/~paulovic paulovic@icmc.usp.br Instituto de Ciências Matemáticas e de Computação (ICMC) Universidade de São Paulo (USP) 23 de setembro de 2010 Introdução
Leia maisProf. Jorge Cavalcanti
Universidade Federal do Vale do São Francisco Curso de Engenharia de Computação Introdução a Algoritmos Parte 02 (baseado no material do prof. Marcelo Linder) Prof. Jorge Cavalcanti jorge.cavalcanti@univasf.edu.br
Leia maisLÓGICA DE PROGRAMAÇÃO. Algoritmos Computacionais. Sérgio Carlos Portari Júnior
LÓGICA DE PROGRAMAÇÃO Algoritmos Computacionais Sérgio Carlos Portari Júnior portari.uemgfrutal@gmail.com Tópicos abordados Algoritmos Computacionais Estrutura de Dados Tipos Primitivos Constantes Variáveis
Leia mais