Índice. Classificação Supervisionada e Árvores de Decisão. Problema de Classificação. Problema de Classificação 14/06/2017
|
|
- Gabriella Álvares Silva
- 6 Há anos
- Visualizações:
Transcrição
1 Índice Classificação Supervisionada e Árvores de Decisão Eduardo Laber 1. Problema de Classificação 2. Árvore de Decisão 1. Preliminares 2. Construindo uma árvore de decisão 3. Definindo atributos de teste 4. Selecionando o melhor atribute teste 3. Avaliando o Desempenho de Classificadores Problema de Classificação Problema de Classificação Atribuir objetos de um conjunto a classes pré-definidas Classificar s como spam ou não spam Classificar clientes quanto ao risco de crédito Atributos do Objeto Modelo de Clasificação Classe 1
2 Problema de Classificação Entrada Conjunto de registros ou instâncias do tipo (x,y), onde x é um conjunto de atributos que define a instância e y é um atributo especial que define a classe da instância Os atributos de x podem ser contínuos ou discretos O atributo y deve ser discreto. Esta requisição é que distingui classificação de regressão Problema de Classificação Id Devolução? Est. Civil Salário Anual 1 S Solteiro 125K N 2 N Casado 100K N 3 N Solteiro 70K N 4 S Casado 120K N 5 N Divorciado 95K S 6 N Casado 60K N 7 S Divorciado 220K N 8 N Solteiro 85K S 9 N Casado 75K N 10 N Solteiro 90K S Sonega Problema de Classificação Classificação é a tarefa de aprender uma função alvo f que mapeia cada conjunto de atributos x em uma das classes prédefinidas Função alvo f também conhecida como modelo de classificação Objetivos Descrição O modelo de classificação serve como ferramenta para explicar as principais diferenças entre objetos de classes diferentes Predição Dado um registro cuja classe é desconhecida, o modelo de classificação permite prever sua classe 2
3 /06/2017 Técnicas de Classificação Abordagem sistemática para construir modelos de classificação a partir dos dados de entrada Exemplos Árvores de decisão Redes neurais/ deep learning Support Vector Machines (SVM) Naïve Bayes K Vizinhos mais próximos Técnicas de Classificação Empregam um algoritmo de aprendizado para identificar o modelo que melhor captura a relação entre cada conjunto de atributos e a classe correspondente O modelo gerado pelo algoritmo de aprendizado deve se adequar bem aos dados de entrada e ter uma boa capacidade de generalização Técnicas de Classificação Técnicas de Classificação Tid Atrib1 Atrib2 Atrib3 Class 1 Grande 125K 2 Mediio 100K 3 o Pequeno 70K 4 Médio 120K 5 Grande 95K 6 Médio 60K 7 Grande 220K No 8 Pequeno 85K 9 Ñão Médio 75K Indução Algoritmo de Aprendizado Aprenda Modelo Avaliação de um modelo de Classificação Matriz de Confusão. Entrada (i,j) indica quantos elementos da classe i o modelo prevê estar na classe j 10 Médio 90K Conjunto de Treino Tid Atrib1 Atrib2 Atrib3 Class 11 Pequeno 55K? Aplique Modelo Modelo Matriz de confusão de um classifcador binário Classe Prevista Classe = 1 Classe = 0 12 Médio 80K? 13 Grande 110K? 14 Pequeno 95K? 15 Grande 67K? Conjunto de Teste Dedução Classe Real Classe = 1 f 11 f 10 Classe = 0 f 01 f 00 3
4 Técnicas de Classificação Avaliação de um modelo de Classificação Acurácia Número de predições corretas Número total de predições Matriz de confusão de um classifcador binário Classe Real Classe Prevista Classe = 1 Classe = 0 Classe = 1 f 11 f 10 Classe = 0 f 01 f 00 Taxa de erro Número de predições erradas Número total de predições Acurácia f 00 f11 f f f f 11 Acurácia deve ser maximizada/ taxa de erro minimizada Taxa de erro f 00 f f f f f 11 Exemplo de Árvore de Decisão Exemplo de Árvore de Decisão Atributos de Separação Id Devolução? Est. Civil Conjunto de Treino Salário Anual 1 S Solteiro 125K N 2 N Casado 100K N 3 N Solteiro 70K N 4 S Casado 120K N 5 N Divorciado 95K S 6 N Casado 60K N 7 S Divorciado 220K N 8 N Solteiro 85K S 9 N Casado 75K N 10 N Solteiro 90K S Sonega Devol. Est. Civil Solteiro, Divorciado Casado Salário < 80K > 80K Modelo: Árvore de Decisão Id Devolução? Est. Civil Conjunto de Treino Salário Anual 1 S Solteiro 125K N 2 N Casado 100K N 3 N Solteiro 70K N 4 S Casado 120K N 5 N Divorciado 95K S 6 N Casado 60K N 7 S Divorciado 220K N 8 N Solteiro 85K S 9 N Casado 75K N 10 N Solteiro 90K S Sonega Est. Civil Casado Solteiro Divorciado Devol? Salário < 80K > 80K Pode haver mais de uma árvore que se adeque aos mesmos dados 4
5 /06/2017 Árvores de Decisão Estrutura da Árvore Raíz Ponto de partida Nós Internos Correspondem aos atributos testados Folhas Determinam a classe Arcos Valores dos atributos Exercício Prático Abrir arquivo Iris.csv Aplicar J.48 com parâmetros default e percentage split =66% Desenhar árvore gerada Qual foi o percentual de acerto? Quantos exemplos da classe IrisVertigosa foram classificados de forma incorreta? Aplicando o Modelo Aplicando o Modelo Tid Atrib1 Atrib2 Atrib3 Class 1 Grande 125K Algoritmo de Aprendizado Comece da raíz da árvore. ID A1 A2 A3 Classe AG ? 2 Medio 100K 3 o Pequeno 70K 4 Médio 120K 5 Grande 95K 6 Médio 60K 7 Grande 220K No 8 Pequeno 85K 9 Ñão Médio 75K 10 Médio 90K Conjunto de Treino Tid Atrib1 Atrib2 Atrib3 Class Indução Aprenda Modelo Aplique Modelo Modelo A2>-30 A1> Pequeno 55K? 12 Médio 80K? 13 Grande 110K? Dedução 14 Pequeno 95K? 15 Grande 67K? Conjunto de Teste 5
6 Aplicando o Modelo Aplicando o Modelo Comece da raíz da árvore. ID A1 A2 A3 Classe AG ? Comece da raíz da árvore. ID A1 A2 A3 Classe AG ? A2>-30 A1>2.2 A2>-30 A1>2.2 Aplicando o Modelo Aplicando o Modelo Comece da raíz da árvore. ID A1 A2 A3 Classe AG ? Comece da raíz da árvore. ID A1 A2 A3 Classe AG ? A2>-30 A1>2.2 A2>-30 A1>2.2 6
7 /06/2017 Aplicando o Modelo Construindo a Árvore Comece da raíz da árvore. ID A1 A2 A3 Classe AG Tid Atrib1 Atrib2 Atrib3 Class 1 Grande 125K 2 Medio 100K Algoritmo de Aprendizado A2>-30 A1>2.2 3 o Pequeno 70K 4 Médio 120K 5 Grande 95K 6 Médio 60K 7 Grande 220K 8 Pequeno 85K 9 Ñão Médio 75K 10 Médio 90K Conjunto de Treino Tid Atrib1 Atrib2 Atrib3 Class 11 Pequeno 55K? Indução Aprenda Modelo Aplique Modelo Modelo 12 Médio 80K? 13 Grande 110K? 14 Pequeno 95K? Dedução 15 Grande 67K? Conjunto de Teste Construindo a Árvore Vários Algoritmos A maioria deles são variações do algoritmo de Hunt ID3, C4.5 CART Estrutura do algoritmo de Hunt D t conjunto de registros que alcançam o nó t Procedimento: Se todos registros de D t são da mesma classe y t, t é uma folha com rótulo y t Se D t =, então t é uma folha com rótulo igual a classe dominante do pai de t Se D t contem registros de classes diferentes, utilize um atributo para dividir D t em diferentes subconjuntos. Crie um nó para cada um destes e aplique recursivamente o procedimento para cada um dos nós A1 A2 A3 Classe ? D t 7
8 Algoritmo de Hunt Algoritmo de Hunt, A1 A2 A3 Classe , A1 A2 A3 Classe ,, A1>-30, A1>-30 A2>2.2 Algoritmo de Hunt Algoritmo de Hunt, A1 A2 A3 Classe , A1 A2 A3 Classe ,, ,, A1>-30,
9 Algoritmo de Hunt Estrutura do algoritmo de Hunt,,, A1 A2 A3 Classe Observação É possível que não exista um atributo que permita subdividir D t.. Neste caso t é uma folha cujo rótulo é o da classe dominante em D t Id Devolução? Est. Civil Salário Anual 1 N Solteiro 100K S 2 N Solteiro 100K N 3 N Solteiro 100K N 4 N Solteiro 100K N D t Sonega A1>-30, ? A1>-30 A2>2.2 Estrutura do algoritmo de Hunt Indução Observação É possível que não exista um atributo que permita subdividir D t.. Neste caso t é uma folha cujo rótulo é o da classe dominante em D t Id Devolução? Est. Civil Salário Anual 1 N Solteiro 100K S 2 N Solteiro 100K N 3 N Solteiro 100K N 4 N Solteiro 100K N D t sonega Sonega Abordagem Gulosa Divida os registros utilizando um atributo que otimize um dado critério Questões Determinar como dividir os registros Como especificar a condição de teste para o atributo Como encontrar a melhor divisão Quando parar a divisão? 9
10 Como especificar a condição de teste? Depende do tipo do atributo Nominal Ordinal Contínuo Depende do número de valores que o atributo pode assumir Atributos binários Atributos k-ários Divisão baseada em atributos nominais Multi-divisão: um conjunto para cada valor distinto Divisão binária: Divisão dos valores em dois conjuntos {Mestrado, Doutorado} Escolaridade Escolaridade Graduação {Graduaçao} Mestrado OU Doutorado Doutorado Escolaridade {Mestrado, Graduação} Divisão baseada em atributos contínuos Possibilidades Discretização Estática uma única discretização no início Dinâmica faixas são calculadas ao longo do algoritmo utilizando alguma técnica de agrupamento Decisão Binária: (A < v) or (A v) considerar todas as possibilidades e encontrar a melhor divisão Pode ser cara computacionalmente Divisão baseada em atributos contínuos sim Idade >20? não (i) Divisão binária <10 Idade (ii) Multi Divisão > 40 [10,20) [20,30) [30,40) 10
11 Indução Abordagem Gulosa Divida os registros utilizando um atributo de teste que otimize um dado critério Questões Determinar como dividir os registros Como especificar a condição de teste para o atributo Como encontrar a melhor divisão Quando parar a divisão? Como determinar a melhor divisão Carro Próprio? Antes da Divisão: 10 registros da classe 0 10 registros da classe 1 Familia C 0 : 6 C 1 : 4 C 0 : 4 C 1 : 6 C 0 : 1 C 1 : 3 Tipo carro? Esporte C 0 : 8 C 1 : 0 C 0 : 1 C 1 : 7 Qual é a melhor condição? Luxo c 1 C 0 : 1 C 1 : 0... c 10 Estudante ID? C 0 : 1 C 1 : 0 c 11 C 0 : 0 C 1 : 1 c C 0 : 0 C 1 : 1 Como determinar a melhor divisão Abordagem Gulosa: Nós com distribuição não homogênea em relação as classes são preferidos Necessidade de uma medida de impureza para os nós Medidas de Impureza dos nós Várias posssibilidades Índice Gini Entropia Erro de classificação C0: 5 C1: 5 homogenea, Alto grau de impureza C0: 9 C1: 1 homogênea Baixo grau de impureza 11
12 Como encontrar a melhor divisão Antes da divisão: Medida 0 (M0) A? B? Nó N1 Nó N2 Nó N3 Nó N4 C0 N10 C0 N20 C0 N30 C0 N40 C1 N11 C1 N21 C1 N31 C1 N41 M1 M2 M3 M4 M12 M34 Ganho = M0 M12 vs M0 M34 Medidas de Impureza: GINI Índice Gini para o nó t : GINI ( t) 1 p( j t) é a frequência relativa da classe j no nó t. j [ p( j t)] Máximo igual a 1-1/n c quando todos os registros são igualmente distribuidos entre as classes, o que implica em pouca discriminação Mínimo igual a 0 quando todos os registros pertencem a uma única classe, implicando em uma melhor discriminação 2 Computando o índice GINI C1 0 C2 6 C1 1 C2 5 GINI ( t) 1 j [ p( j t)] P(C1) = 0/6 = 0 P(C2) = 6/6 = 1 Gini = 1 P(C1) 2 P(C2) 2 = = 0 P(C1) = 1/6 P(C2) = 5/6 Gini = 1 (1/6) 2 (5/6) 2 = Divisão baseada no GINI Utilizado nos algoritmo CART e em outros Quando um nó p é dividido em k conjuntos (filhos), a qualidade da divisão é computada como GINI divisão k i1 ni GINI ( i) n C1 2 C2 4 P(C1) = 2/6 P(C2) = 4/6 Gini = 1 (2/6) 2 (4/6) 2 = onde, n i = número de registros do filho i, n = número de registros do nó p 12
13 Atributos binário: Computando o GINI Divide em dois conjuntos B? No P a i C1 6 C2 6 Atributos Nominais: Computando o Índice Gini Para cada valor distinto, conte o número de registros de cada classe Nó N1 Nó N2 G i n i = Multi-divisão Divisão Binária (encontrar melhor partição) Gini(N1) = 1 (4/7) 2 (3/7) 2 = Gini(N2) = 1 (2/5) 2 (3/5) 2 = Ganho= Gini B -7/12Gini(N1) -5/12 Gini(N2) Gini B = 7/12 * /12 * = Tipo de Carro Esporte, Familia Luxo C1 3 1 C2 2 4 Gini Tipo de Carro Familia, Esporte Luxo C1 2 2 C2 1 5 Gini Atributos Contínuos: Computando o Gini Utilizar decisões binárias baseadas em um valor Várias possibilidades Número de possibilidades= número de valores distintos Para cada possibilidade calcule o GINI asociado e escolha o melhor deles Caro computacionalemente Pode ser otimizado Origem alpha beta gamma Classe AG AG EP EP EP PT PT PT PM PM alpha > Valores Divisões Atributos Contínuos: Computando o Gini Sonega Salário Anual <= > <= > <= > <= > <= > <= > <= > <= > <= > <= > <= > Nao Gini
14 Outra Medida baseada em Teoria da Informação Entropia do nó t: Entropia ( t) p( j t)log p( j t) j p( j t) é a frequência relativa da classe j no nó t ). Comportamento Máximo (log (número de classes)) quando todos registros estão igualmente distribuídos entre as classes. Pouca discriminação Mínimo (0). Todos os registros pertencem a uma única classe. Discriminação perfeita. C1 0 C2 6 C1 1 C2 5 C1 2 C2 4 Calculando a Entropia Entropia t) p( j t)log p( j t) ( 2 j P(C1) = 0/6 = 0 P(C2) = 6/6 = 1 Entropia = 0 log 0 1 log 1 = 0 0 = 0 P(C1) = 1/6 P(C2) = 5/6 Entropia = (1/6) log 2 (1/6) (5/6) log 2 (1/6) = 0.65 P(C1) = 2/6 P(C2) = 4/6 Entropia = (2/6) log 2 (2/6) (4/6) log 2 (4/6) = 0.92 Divisão baseada na entropia Ganho de Informação: GAIN split Entropia ( p) ni Entropia( i) n O nó pai, p é dividido em k partições; n i é o número de registros da partição i Encontrar divisão que maximiza o ganho de informação Utilizado nos métodos ID3 e C4.5 Desvantagem: tende a preferir divisões que resultam em um grande número de subconjuntos, cada um deles pequeno e puro (GINI também tem este problema) k i1 Divisão baseada no erro de classificação Erro de classificação no nó t : Comportamento Erro( t) 1 max p( i t) Máximo (1-1/n c ) quando todos registros estão igualmente distribuídos entre as classes. Pouca discriminação. N c e o numero de classes de t. Mínimo (0.0) Todos os registros pertencem a uma única classe. Discriminação perfeita. i 14
15 Computando o Erro Erro( t) 1 max p( i t) i Comparação entre critérios de divisão Problema com duas classes: C1 0 C2 6 P(C1) = 0/6 = 0 P(C2) = 6/6 = 1 Erro = 1 max (0, 1) = 1 1 = 0 C1 1 C2 5 P(C1) = 1/6 P(C2) = 5/6 Erro = 1 max (1/6, 5/6) = 1 5/6 = 1/6 C1 2 C2 4 P(C1) = 2/6 P(C2) = 4/6 Erro = 1 max (2/6, 4/6) = 1 4/6 = 1/3 Comparação entre critérios de divisão Pesquisas mostram que na prática não faz muita diferença Limitações Medidas mostradas tendem a favorecer atributos com um grande número de divisões Qual atributo abaixo prove maior ganho? Tipo carro? Estudante ID? Familia C 0 : 1 C 1 : 3 Esporte C 0 : 8 C 1 : 0 Luxo c 1 C 0 : 1 C 1 : 7 C 0 : 1 C 1 : 0... c 10 C 0 : 1 C 1 : 0 c 11 C 0 : 0 C 1 : 1 c C 0 : 0 C 1 : 1 15
16 Limitações Como contornar o problema Somente utilizer atributos binários Utilizar um fator de ajuste, como exemplo Razão de Ganho Razão de Ganho GainRATIO split GAIN Split SplitINFO SplitINFO k i1 ni ni log n n n i : número de registros atribuídos ao filho i Valor cresce com o número de partições (k) e com a homogeneidade da partição Ajusta o ganho de informação utilizando o (SplitINFO). Utilizada no algoritmo C4.5 em conjunto com a entropia Projetada para lidar com o problema detetado na medida de ganho de informação Indução Abordagem Gulosa Divida os registros utilizando um atributo de teste que otimize um dado critério Questões Determinar como dividir os registros Como especificar a condição de teste para o atributo Como encontrar a melhor divisão Quando parar a divisão? Critério de Parada Parar de expandir um nó quando todos registros pertencem a mesma classe Parar de expandir um nó quando todos registros tem valores de atributos iguais Transformar o nó em folha e atribuir a classe dominante Terminação precoce (será discutido mais adiante) 16
17 Overfitting Underfitting Modelo se adequa demasiadamente a características particulares do conjunto de aprendizado Prejudica a generalização Quando o modelo é muito simples, tanto o erro de treinamento quanto o erro de teste são grandes Considerar poucas características do objeto a ser classificado não permite determinar sua classe Underfitting e Overfittng Underfitting e Overfitting Overfitting 500 pontos circulares e 500 pontos triangulares Pontos circulares: 0.5 sqrt(x 12 +x 22 ) 1 Pontos Triangulares: sqrt(x 12 +x 22 ) < 0.5 ou sqrt(x 12 +x 22 ) > 1 17
18 Overfitting devido a ruído Conjunto treino Overfitting devido a ruído Conjunto teste Espécie Temperatura do Corpo Gestação Quadrúpede Hiberna Mamífero ouriço sangue quente S S S S gato sangue quente S S N S morcego sangue quente S N S N (incorreto) Baleia sangue quente S N N N (incorreto) Salamandra sangue frio N S S N Dragão de Komodo sangue frio N S N N Jibóia sangue frio N N S N Salmão sangue frio N N N N Aguia sangue quente N N N N Guppy sangue frio S N N N Espécie Temperatura do Corpo Gestação Quadrúpede Hiberna Mamífero homem sangue quente S N N S passaro sangue quente N N N N Elefante sangue quente S S N S Tartaruga sangue frio N S N N Tubarão TIgre sangue frio S N N N Pinguim sangue frio N N N N enguia sangue frio N N N N golfinho sangue quente S N N S tamandua sangue quente N S S S gila monster sangue frio N S S N Overfitting devido a ruídos Temperatura Overfitting devido a ruídos Temperatura Quente Frio Quente Frio S S 4 pernas? N Da luz? N S Da luz? N Erro no conjunto de treino é 0 Erro no conjunto de teste é 30% (homem, golfinho, tamandua) Erro no conjunto de treino é 20% (morcego, baleia) Erro no conjunto de teste = 10 % (tamandua) 18
19 Overfitting devido a ruídos Overfitting- falta de exemplos suficientes Nome Temperatura do corpo Da luz 4 pernas Hiberna Mamifero Salamandra sangue frio N S S N guppy sangue frio S N N N aguia sangue quente N N N N poorwill sangue quente N N S N ornitorrinco sangue quente N S S S A fronteira é distorcida devido ao ruído Temperatura Quente Frio Hiberna? S N 4 pernas? S N Qual o erro de classificação desta árvore no conjunto treino? Overfitting- falta de exemplos suficientes Overfitting- falta de exemplos suficientes Nome Temperatura do corpo Da luz 4 pernas Hiberna Mamifero Salamandra sangue frio N S S N guppy sangue frio S N N N aguia sangue quente N N N N poorwill sangue quente N N S N ornitorrinco sangue quente N S S S Nome Temperatura do corpo Da luz 4 pernas Hiberna Mamifero Salamandra sangue frio N S S N guppy sangue frio S N N N aguia sangue quente N N N N poorwill sangue quente N N S N ornitorrinco sangue quente N S S S Temperatura Quente Frio Temperatura Quente Frio Hiberna? S N 4 pernas? S N Como humanos, elefantes e golfinhos seriam classificados? Hiberna? S N 4 pernas? S N Baseando-se em 5 exemplos foi concluído que os únicos s são os animais de sangue quente que hibernam e com 4 pernas 19
20 Overfitting- falta de exemplos suficientes Aprender em cima de um número pequeno de registros pode levar a generalizações bastante equivocadas! Overfitting: Multiple Comparison procedures Queremos descobrir em qual analista financeiro vamos confiar para investir em ações Temos 50 analistas com seus históricos de previsões nos últimos 10 anos para cada ano i temos a informação se o analista j disse se a bolsa ia subir ou descer e também se ele acertou a previsão ou não Overfitting: Multiple Comparison procedures O analista que acertou mais acertou 90% das vezes Devemos aplicar nosso dinheiro com esse analista? Overfitting: Multiple Comparison procedures Se 50 analistas dão palpites aleatórios ao longo de 10 anos se a bolsa vai subir ou descer então: A probabilidade que um dado analista acerte pelo menos 90% das vezes é de Entretanto, a probabilidade de que pelo menos um deles acerte pelo menos 90% das vezes é 1-( ) 50 =
21 Overfitting: Multiple Comparison procedures O fato de um analista acertar 90% das vezes não tem nada de surpreendente Overfitting: Multiple Comparison procedures Durante o processò de construção de uma árvore de decisão é possível encontrar um atributo que gera uma partição bastante desbalanceada (boa) mas não necessariamente o atributo generaliza bem Devemos descontar o fato de exisitir muitos atributos/ poucos exemplos Overfitting Overfitting resulta em árvores de decisão mais complexas do que o necessário O erro de treinamento não provê uma boa estimativa do desempenho do modelo no conjunto de teste Estimando Erros de Generalização Métodos para estimar erros de generalização Abordagem Otimista: e (t) = e(t) Assume que o erro no conjunto de treino é uma boa estimativa para o erro no conjunto de teste Na prática isto raramente se confirma São necessários novos métodos para estimação de erros. 21
22 Occam s Razor Princípio da Parsimonia Dados dois modelos com capacidades de generalização similares, o modelo menos complexo deve ser preferido Árvores com menos nós Para modelos complexos, existe uma chance maior que este se adeque por acaso Portanto, a complexidade do modelo deve ser levada em conta ao avaliá-lo Make everything as simple as possible, but not simpler Albert Einstein Estimando Erros de Generalização Abordagem Pessimisa: Penaliza o número de folhas, ou seja, a complexidade do modelo Para cada folha u: e (u) = (e(u)+ penalidade ) Total de erros: e (T) = e(t) + N penalidade N: número de folhas Árvore com 30 folhas, 10 erros no conjunto de treino (de 1000 instâncias) e penalidade = 0.5 Erro no treinamento = 10/1000 = 1% Erro de Generalização = ( )/1000 =2.5% Estimando Erros de Generalização Reduced error pruning (REP): Utilizar parte do conjunto de treino para validação. Tipicamente, 2/3 para construir o modelo e 1/3 para validar O conjunto de tamanho 1/3 é utilizado para ajustar o modelo (e.g. condição de poda da árvore). Busca-se minimizar o erro no conjunto de tamanho 1/3 Vantagem: Permite estimar melhor como o modelo se comporta com registros novos Desvantagem: menos dados são utilizados para treinar o modelo 22
23 Como lidar com Overfitting Pre-Poda (Regras de Parada) Parar o algoritmo antes que a árvore completa seja construída Condições de Parada típicas para um nó Pare se todas as instâncias pertencem a mesma classe Pare se todos os valores de atributos são iguais Condições mais restritivas: Pare se o número de registros esta abaixo de um limiar especificado pelo usuário Pare se a distribuição das classes dos registros é independente dos atributos disponíveis (e.g., utilizando o teste 2 ) Pare se expandir o nó corrente não melhora a medida de impureza (e.g., Gini ou ganho de informação). Como lidar com Overfitting Pos-poda Construa a árvore completa Remova os nós de baixo para cima Se o erro de generalização melhora após um corte, substitua a subárvore por um nó A classe de um nó é determinada pela classe dominante Utilizar o princípio MDL Exemplo de Pos-Poda Classe = 20 Erro de treino (antes da divisão) = 10/30 Erro pessimista = ( )/30 = 10.5/30 Classe = 10 Erro de treino (Após divisão) = 9/30 Erro = 10/30 Erro pessimista (Após divisão)= ( )/30 = 11/30 PODE! A? A1 A4 A2 A3 Classificação baseada em árvores de decisão Vantagens Baixo custo computacional Permite classificar rapidamente registros com classes desconhecidas Árvores pequenas são fáceis de interpretar Capacidade de predição comparável a outras técnicas Classe =S 8 Classe =N 4 Classe =S 3 Classe =N 4 Classe =S 4 Classe =N 1 Classe =S 5 Classe =N 1 23
24 Outros Aspectos Valores Ausentes Fragmentação Estratégia de Busca Expressividade Lidando com valores ausentes Valores ausentes afetam a construção da árvore de decisão de três formas diferentes Como as medidas de impureza são computadas Como distribuir as instâncias com valores ausentes entre os nós filhos Como classificar uma instância de teste cujo valor de um atributo esta ausente. Computando a Medida de Impureza Computando a Medida de Impureza Id Devolução? Est. Civil Valor ausente Salário Anual 1 S Solteiro 125K N 2 N Casado 100K N 3 N Solteiro 70K N 4 S Casado 120K N 5 N Divorciado 95K S 6 N Casado 60K N 7 S Divorciado 220K N 8 N Solteiro 85K S 9 N Casado 75K N 10? Solteiro 90K S Sonega Antes da divisão Entropia(nó pai) = -0.3 log(0.3)-(0.7)log(0.7) = Atrubuto Classe=S Classe=N Devolução= S 0 3 Devolução =N 2 4 Devolução =? 1 0 Id Devolução? Est. Civil Valor ausente Salário Anual 1 S Solteiro 125K N 2 N Casado 100K N 3 N Solteiro 70K N 4 S Casado 120K N 5 N Divorciado 95K S 6 N Casado 60K N 7 S Divorciado 220K N 8 N Solteiro 85K S 9 N Casado 75K N 10? Solteiro 90K S Sonega Divisão: exemplo distribuido entre valores possíveis S C l a s s e = S / 9 C l a s s e = N 3 Devolução Divisão no atributo devolução: Entropia(devolução=) = -0.1 log(0.1) -0.9 log(0.9) Entropia(devolução=) =- (0.4)log(0.4)-(0.6)log(0.6) Ganho = (1/3*E1+2/3*E2) N C l a s s e = S / 9 C l a s s e = N 4 24
25 Classificar Instâncias Classificar Instâncias Novo registro Id Devolução? Est. Civil Salário Anual 11? 85K? Sonega Casado Solteiro Divorciado Total Classe=N Classe=S 6/ Novo registro Id Devolução? Est. Civil Salário Anual 11? 85K? Sonega Casado Solteiro Divorciado Total Classe=N Classe=S 6/ Devolução Total Devolução Total N Solteiro, Divorciado N Salário Est. Civil < 80K > 80K S Casado N N Solteiro, Divorciado N Salário Est. Civil < 80K > 80K S Casado N Pr[estado civil= casado]= 3.67/6.67 Pr[Est. civil={solteiro,divorciado}]= 3/6.67 Podemos usar uma classificação probabilistica considerando os varios caminhos possíveis Fragmentação Número de registros se torna menor quando decemos na árvore O número de registros pode se tornar muito pequeno para que qualquer decisão significativa do ponto de vista estatístico possa ser feita Estratégia de Busca Encontrar a melhor árvore é difícel computacionalmente (NP-hard) Os algoritmos apresentados utilizam uma estratégia gulosa para obter uma solução razoável 25
26 Expressividade 1 Fronteira de Decisão Árvores de Decisão permitem representações expresivas para aprender funções com valor discreto y x < 0.43? Yes No y < 0.47? y < 0.33? são suficientemente expressivas para modelar variáveis contínuas Em particular quando a condição de teste envolve um único atributo por vez x Yes : 4 : 0 No Yes No : 0 : 4 : 0 : 3 : 4 : 0 Fronteira de decisão: linha que separa regiões vizinhas de diferentes classes A fronteira de decisão é paralela aos eixos quando o teste envolve um único atributo Árvores de Decisão Obliquas A condição de teste pode involver vários atributos Mais expressivo x + y < 1 Classe = + Classe = Encontrar uma boa condição de teste pode ser bastante caro computacionalemente Algumas Árvores C4.5 Partições k-árias Utiliza ganho de informação / Gain Ratio Cart Gini Index Paritções binárias GUIDE, CHAID, 26
Aprendizado de Máquina
Aprendizado de Máquina Sistemas de Informação Inteligente Prof. Leandro C. Fernandes Adaptação dos materiais de: Thiago A. S. Pardo, Daniel Honorato e Bianca Zadrozny APRENDIZADO SIMBÓLICO: ÁRVORES DE
Leia maisClassificação: Definição. Classificação: conceitos básicos e árvores de decisão. Exemplos de Tarefas de Classificação
Classificação: Definição Mineração de dados Classificação: conceitos básicos e árvores de decisão Apresentação adaptada do material de apoio do livro: Introduction to Data Mining Tan, Steinbach, Kumar
Leia maisRedes Neuronais e Aprendizagem Automática 1
Redes Neuronais e Aprendizagem Automática 2005/2006 18 a aula Fernando.Silva@ist.utl.pt Instituto Superior Técnico Redes Neuronais e Aprendizagem Automática 1 Sumário Árvores de decisão (continuação) Redes
Leia maisAprendizagem de Máquina
Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Engenharia Elétrica Universidade Federal do Paraná (UFPR) ÁRVORES DE DECISÃO Plano de Aula Introdução Representação de Árvores
Leia maisClassificação: Árvores de Decisão e k-nn. Eduardo Raul Hruschka
Classificação: Árvores de Decisão e k-nn Eduardo Raul Hruschka Árvores de Decisão Métodos para aproximar funções discretas, representadas por meio de uma árvore de decisão; Árvores de decisão podem ser
Leia maisInteligência Artificial. Raimundo Osvaldo Vieira [DComp IFMA Campus Monte Castelo]
Inteligência Artificial Raimundo Osvaldo Vieira [DComp IFMA Campus Monte Castelo] Aprendizagem de Máquina Área da Inteligência Artificial cujo objetivo é o desenvolvimento de técnicas computacionais sobre
Leia maisAprendizagem de Máquina
Plano de Aula Aprendizagem de Máquina Aprendizagem de Árvores de Decisão Aula 3 Alessandro L. Koerich Introdução Representação de Árvores de Decisão Algoritmo de Aprendizagem ID3 Entropia e Ganho de Informação
Leia maisModelagem da Rede Neural. Modelagem da Rede Neural. Back Propagation. Modelagem da Rede Neural. Modelagem da Rede Neural. Seleção de Variáveis:
Back Propagation Fatores importantes para a modelagem da Rede Neural: Seleção de variáveis; veis; Limpeza dos dados; Representação das variáveis veis de entrada e saída; Normalização; Buscando melhor Generalização
Leia maisAprendizado de Máquinas
Aprendizado de Máquinas Objetivo A área de aprendizado de máquina preocupa-se em construir programas que automaticamente melhorem seu desempenho com a experiência. Conceito AM estuda métodos computacionais
Leia maisINF 1771 Inteligência Artificial
INF 1771 Inteligência Artificial Aula 13 K-Nearest Neighbor (KNN) 2016.1 Prof. Augusto Baffa Formas de Aprendizado Aprendizado Supervisionado Árvores de Decisão. K-Nearest Neighbor
Leia maisArvores de decisão. Outras árvores. Outra maneira de ver árvores. Extracção de regras (a partir de árvores) Vantagens das árvores (1)
O que é a árvore de decisão? Arvores de decisão Algorítmo para tomar decisões (ou classificar) Modo de representar conhecimento Tem penas? Arcos (resultados ou pertença) Victor Lobo Nós (testes, ou conceitos)
Leia maisClassificação e Predição de Dados - Profits Consulting - Consultoria Empresarial - Serviços SAP- CRM Si
Classificação e Predição de Dados - Profits Consulting - Consultoria Empresarial - Serviços SAP- CRM Si Classificação de Dados Os modelos de classificação de dados são preditivos, pois desempenham inferências
Leia maisDCBD. Avaliação de modelos. Métricas para avaliação de desempenho. Avaliação de modelos. Métricas para avaliação de desempenho...
DCBD Métricas para avaliação de desempenho Como avaliar o desempenho de um modelo? Métodos para avaliação de desempenho Como obter estimativas confiáveis? Métodos para comparação de modelos Como comparar
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
REDES NEURAIS ARTIFICIAIS MÁQUINA DE VETOR DE SUPORTE (SUPPORT VECTOR MACHINES) Prof. Dr. André A. P. Biscaro 1º Semestre de 2017 Introdução Poderosa metodologia para resolver problemas de aprendizagem
Leia maisÁrvores de Decisão. Sumario. João Gama Árvores de decisão. Motivação Construção de uma árvore de decisão. Podar a árvore.
Árvores de Decisão João Gama Jgama@ncc.up.pt Sumario Árvores de decisão Motivação Construção de uma árvore de decisão Critérios para seleccionar atributos Entropia Podar a árvore Estimativas de erro Extensões
Leia maisMetodologia Aplicada a Computação.
Metodologia Aplicada a Computação gaudenciothais@gmail.com Pré-processamento de dados Técnicas utilizadas para melhorar a qualidade dos dados; Eliminam ou minimizam os problemas como ruídos, valores incorretos,
Leia maisSeleção de Atributos 1
Seleção de Atributos 1 Tópicos Por que atributos irrelevantes são um problema Quais tipos de algoritmos de aprendizado são afetados Seleção de atributos antes do aprendizado Benefícios Abordagens automáticas
Leia maisÁrvores de Decisão. Sumario. João Gama Árvores de decisão. Motivação Construção de uma árvore de decisão. Podar a árvore.
Árvores de Decisão João Gama Jgama@liacc.up.pt Sumario Árvores de decisão Motivação Construção de uma árvore de decisão Critérios para seleccionar atributos Entropia Podar a árvore Estimativas de erro
Leia maisINF 1771 Inteligência Artificial
Edirlei Soares de Lima INF 1771 Inteligência Artificial Aula 14 Aprendizado de Máquina Agentes Vistos Anteriormente Agentes baseados em busca: Busca cega Busca heurística Busca local
Leia maisClassificação de Padrões. Abordagem prática com Redes Neurais Artificiais
Classificação de Padrões Abordagem prática com Redes Neurais Artificiais Agenda Parte I - Introdução ao aprendizado de máquina Parte II - Teoria RNA Parte III - Prática RNA Parte IV - Lições aprendidas
Leia maisAprendizagem a partir de observações. Capítulo 18 (Secções 1-3)
Aprendizagem a partir de observações Capítulo 18 (Secções 1-3) Sumário Agentes aprendizes Aprendizagem indutiva Aprendizagem com árvores de decisão Aprendizagem Aprendizagem é essencial em ambientes desconhecidos
Leia maisAprendizado. O que é Aprendizado? Capítulo 5
Aprendizado Capítulo 5 309 O que é Aprendizado?...mudanças que tornam sistemas capazes de adaptar-se e realizar tarefas semelhantes de maneira mais eficiente [Simon] 310 1 Tipos de Aprendizado Refinamento
Leia maisInteligência Artificial
https://www.pinterest.com/carlymundo/decision-tree-infographics/ Universidade Federal de Campina Grande Departamento de Sistemas e Computação Pós-Graduação em Ciência da Computação Inteligência Artificial
Leia maisUma Introdução a SVM Support Vector Machines. Obs: Baseada nos slides de Martin Law
Uma Introdução a SVM Support Vector Machines Obs: Baseada nos slides de Martin Law Sumário Historia das SVMs Duas classes, linearmente separáveis O que é um bom limite para a decisão? Duas classes, não
Leia maisMistura de modelos. Marcelo K. Albertini. 31 de Julho de 2014
Mistura de modelos Marcelo K. Albertini 31 de Julho de 2014 2/11 Mistura de modelos Ideia básica Em vez de aprender somente um modelo, aprender vários e combiná-los Isso melhora acurácia Muitos métodos
Leia maisSaída: Representação de conhecimento
Saída: Representação de conhecimento Kate Revoredo katerevoredo@uniriotec.br 1 Saída: Representando padrões estruturais Existem muitas maneiras diferentes de representar padrões: Árvores de decisão, regras,
Leia maisAlgoritmos para Classificação
Mineração de Dados Algoritmos para Classificação 1 Sumário Algoritmo 1R Naïve Bayes Árvore de Decisão Regras Modelos Lineares (Regressão) Baseados em Instância (Vizinhos mais Próximos) 2 1 Atividades 3
Leia maisExtracção de Conhecimento
Programa Doutoral em Engenharia Informática Mestrado Integrado em Engenharia Informática LIACC/FEUP Universidade do Porto www.fe.up.pt/ ec rcamacho@fe.up.pt Outubro 2007 conceitos básicos Conteúdo Definições
Leia maisMétodos Não Paramétricos
Universidade Federal do Paraná Departamento de Informática Reconhecimento de Padrões Métodos não Paramétricos Luiz Eduardo S. Oliveira, Ph.D. http://lesoliveira.net Métodos Não Paramétricos Introduzir
Leia maisReconhecimento de Padrões
Reconhecimento de Padrões André Tavares da Silva andre.silva@udesc.br Roteiro da aula Conceitos básicos sobre reconhecimento de padrões Visão geral sobre aprendizado no projeto de classificadores Seleção
Leia maisM08. Introdução a Técnicas de Data Mining DM
M08. Introdução a Técnicas de Data Mining DM 3 - CLASSIFICAÇÃO E PREDIÇÃO LNCC/MCT - 15/01/2008 Custódio Gouvêa Lopes da Motta custodio.motta@ufjf.edu.br www.dcc.ufjf.br Agradecimentos: CNPq, LNCC, UFJF,
Leia maisAgregação de Algoritmos de Aprendizado de Máquina (AM) Professor: Eduardo R. Hruschka Estagiário PAE: Luiz F. S. Coletta
Agregação de Algoritmos de Aprendizado de Máquina (AM) Professor: Eduardo R. Hruschka Estagiário PAE: Luiz F. S. Coletta (luizfsc@icmc.usp.br) Sumário 1. Motivação 2. Bagging 3. Random Forest 4. Boosting
Leia maisInteligência Artificial
Universidade Federal de Campina Grande Departamento de Sistemas e Computação Pós-Graduação em Ciência da Computação Inteligência Artificial Aprendizagem Outras Técnicas Prof. a Joseana Macêdo Fechine Régis
Leia maisSistemas Inteligentes Inteligência Artificial Segundo Trabalho
Sistemas Inteligentes Inteligência Artificial Segundo Trabalho 07/10/2011 Prof. Flávio Miguel Varejão Este trabalho é uma variação do primeiro trabalho na qual se utilizará um método de indução de árvores
Leia maisFundamentos de Inteligência Artificial [5COP099]
Fundamentos de Inteligência Artificial [5COP099] Dr. Sylvio Barbon Junior Saulo Martiello Mastelini Departamento de Computação - UEL 1 o Semestre Assunto Aula 11 Modelos Preditivos - Árvore de Decisão
Leia maisFERRAMENTAS ESTATÍSTICAS PARA ANÁLISE DA CLASSIFICAÇÃO
Objetivos: - QUANTIFICAR OS ERROS COMETIDOS NA CLASSIFICAÇÃO - MEDIR A QUALIDADE DO TRABALHO FINAL - AVALIAR A APLICABILIDADE OPERACIONAL DA CLASSIFICAÇÃO Fontes de erro das classificações temáticas Os
Leia maisClassificação Linear. André Tavares da Silva.
Classificação Linear André Tavares da Silva andre.silva@udesc.br Roteiro Introduzir os o conceito de classificação linear. LDA (Linear Discriminant Analysis) Funções Discriminantes Lineares Perceptron
Leia maisClodoaldo A. M. Lima, Sarajane M. Peres. 26 de agosto de 2015
Classificação - k NN e Decisão Árvores de Clodoaldo A. M. Lima, Sarajane M. Peres 26 de agosto de 2015 Material baseado em: HAN, J. & KAMBER, M. Data Mining: Concepts and Techniques. 2nd. 2006 ROKACH,
Leia maisAprendizado de Máquina
Aprendizado de Máquina Introdução ao WEKA Luiz Eduardo S. Oliveira Universidade Federal do Paraná Departamento de Informática http://web.inf.ufpr.br/luizoliveira Luiz S. Oliveira (UFPR) Aprendizado de
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
REDES NEURAIS ARTIFICIAIS AULA 03 Prof. Dr. André A. P. Biscaro 1º Semestre de 2017 INTRODUÇÃO Aprendizagem é um processo pelo qual os parâmetros livres de uma rede neural são adaptados através de um processo
Leia maisClassificação - avaliação de resultados - 1. Mineração de Dados 2013
Classificação - avaliação de resultados - 1 Mineração de Dados 2013 Luís Rato (Capítulo 4 do livro Introduction to Data Mining ) Universidade de Évora, Mineração de dados / Data Mining 1 Desempenho Desempenho
Leia maisInteligência Artificial
Inteligência Artificial Aula 14 Aprendizado de Máquina Avaliação de s Preditivos (Classificação) Hold-out K-fold Leave-one-out Prof. Ricardo M. Marcacini ricardo.marcacini@ufms.br Curso: Sistemas de Informação
Leia maisMineração de Dados em Biologia Molecular
Mineração de Dados em Biologia Molecular Principais tópicos André C. P. L. F. de Carvalho Monitor: Valéria Carvalho Métodos baseados em distância Aprendizado baseado em instâncias Conceitos básicos KNN
Leia maisInteligência Artificial
UFRGS 2 Inteligência Artificial Técnicas de Mineração de Dados Árvores de Decisão Regras de Associação Árvores de Decisão As árvores de decisão (AD) são ferramentas poderosas para classificação cuja maior
Leia maisMÉTODOS QUANTITATIVOS PARA CIÊNCIA DA COMPUTAÇÃO EXPERIMENTAL
MÉTODOS QUANTITATIVOS PARA CIÊNCIA DA COMPUTAÇÃO EXPERIMENTAL Pedro Henrique Bragioni Las Casas Pedro.lascasas@dcc.ufmg.br Apresentação baseada nos slides originais de Jussara Almeida e Virgílio Almeida
Leia maisTutorial básico de classificação em RapidMiner
Tutorial básico de classificação em RapidMiner Mineração de dados biológicos Ciências físicas e biomoleculares Neste tutorial, aprenderemos a utilizar as funcionalidades básicas para classificação em Rapidminer.
Leia maisCLASSIFICADORES ELEMENTARES -II
CLASSIFICADORES ELEMENTARES -II Estimando a densidade 2 A função densidade de probabilidade é um conceito fundamental em estatística Permite associar probabilidades a uma variável aleatória x Especificar
Leia maisAprendizado indutivo. Marcelo K. Albertini. 17 de Abril de 2014
Aprendizado indutivo Marcelo K. Albertini 17 de Abril de 2014 2/22 Aprendizado indutivo O que é? Porque é difícil? Como podemos resolver problemas de indução? 3/22 Aprendizado supervisionado Temos: exemplos
Leia mais2284-ELE/5, 3316-IE/3. Universidade da Beira Interior, Departamento de Informática
INTELIGÊNCIA ARTIFICIAL 2284-ELE/5, 3316-IE/3 Universidade da Beira Interior, Departamento de Informática Hugo Pedro Proença, 2007/2008 Aprendizagem A aprendizagem é um aspecto crucial da Inteligência
Leia maisCombinação de Classificadores (fusão)
Combinação de Classificadores (fusão) André Tavares da Silva andre.silva@udesc.br Livro da Kuncheva Roteiro Sistemas com múltiplos classificadores Fusão por voto majoritário voto majoritário ponderado
Leia maisINF 1771 Inteligência Artificial
Edirlei Soares de Lima INF 1771 Inteligência Artificial Aula 15 Árvores de Decisão Árvores de Decisão Uma das formas de algoritmo de aprendizado mais simples e de maior sucesso.
Leia maisAMOSTRAGEM. É a parte da Teoria Estatística que define os procedimentos para os planejamentos amostrais e as técnicas de estimação utilizadas.
AMOSTRAGEM É a parte da Teoria Estatística que define os procedimentos para os planejamentos amostrais e as técnicas de estimação utilizadas. Nos planejamentos amostrais, a coleta dos dados deve ser realizada
Leia maisscikit-learn: Aprendizado de máquina 101 com Python
scikit-learn: Aprendizado de máquina 101 com Python Luciana Fujii Campus Party BH 2016 1 / 30 Introdução Aprendizado de máquina Aprendizado de máquina é o campo da ciência da computação que dá aos computadores
Leia maisCARACTERÍSTICAS ESTÁTICAS DE SISTEMAS DE MEDIÇÃO
DETERMINAÇÃO DA DERIVA DO ZERO: ENSAIO: Manter P o = 0 e variar a temperatura T dentro da faixa de temperaturas ambientes [T max, T min ] previstas para uso do SM. Os ensaios feitos em CÂMARA de temperatura
Leia maisAprendizado Bayesiano Anteriormente...
Aprendizado Bayesiano Anteriormente... Conceito de Probabilidade Condicional É a probabilidade de um evento A dada a ocorrência de um evento B Universidade de São Paulo Instituto de Ciências Matemáticas
Leia maisPlano. Aspectos Relevantes de HMMs. Teoria de HMMs. Introdução aos Modelos Escondidos de Markov
Plano Esta apresentação é para pessoas sem conhecimento prévio de HMMs Introdução aos Modelos Escondidos de Markov 2004 Objetivos: Ensinar alguma coisa, não tudo (Visão geral, sem muitos detalhes). Tentar
Leia mais3 Extração de Regras Simbólicas a partir de Máquinas de Vetores Suporte 3.1 Introdução
3 Extração de Regras Simbólicas a partir de Máquinas de Vetores Suporte 3.1 Introdução Como já mencionado na seção 1.1, as SVMs geram, da mesma forma que redes neurais (RN), um "modelo caixa preta" de
Leia maisÁrvores de Decisão. Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Ciências de Computação
Árvores de Decisão Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Ciências de Computação Rodrigo Fernandes de Mello mello@icmc.usp.br Árvores de Decisão Método
Leia maisBANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING Asterio K. Tanaka
BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING Asterio K. Tanaka http://www.uniriotec.br/~tanaka/tin0036 tanaka@uniriotec.br Introdução a Data Mining Árvores de Decisão Categorização de Dados Parte II Rogério
Leia maisINF 1771 Inteligência Artificial
INF 1771 Inteligência Artificial Aula 14 Support Vector Machines (SVM) 2016.1 Prof. Augusto Baffa Formas de Aprendizado Aprendizado Supervisionado Árvores de Decisão. K-Nearest
Leia maisMAC 0425/ Inteligência Artificial
MAC 0425/5739 - Inteligência Artificial Exercício-Programa 4 - Clasificação Prazo limite de entrega: 23:59 07/12/2016 1 Introdução Neste exercício-programa estudaremos o problema de aprendizagem supervisionado
Leia maisMáquinas de suporte vetorial e sua aplicação na detecção de spam
e sua aplicação na detecção de spam Orientador: Paulo J. S. Silva (IME-USP) Universidade de São Paulo Instituto de Matemática e Estatística Departamento de Ciência da Computação MAC499 Trabalho de Formatura
Leia maisAprendizado Bayesiano
Aprendizado Bayesiano Marcelo K. Albertini 26 de Junho de 2014 2/20 Conteúdo Teorema de Bayes Aprendizado MAP Classificador ótimo de Bayes 3/20 Dois papéis para métodos bayesianos Algoritmos de aprendizado
Leia maisEstatística Descritiva
Estatística Descritiva 1 O que é Estatística A Estatística originou-se com a coleta e construção de tabelas de dados para o governo. A situação evoluiu e esta coleta de dados representa somente um dos
Leia maisAprendizado Bayesiano
Aprendizado Bayesiano Marcelo K. Albertini 3 de Julho de 2014 2/1 Conteúdo Aprendizado Naive Bayes Exemplo: classificação de texto Redes Bayesiana Algoritmo EM Regressão probabiĺıstica 3/1 Classificador
Leia maisTIPOS DE AMOSTRAGEM Amostragem Probabilística e Não-Probabilística. Amostragem PROBABILÍSTICA: Amostragem Aleatória Simples: VANTAGENS:
TIPOS DE AMOSTRAGEM Amostragem Probabilística e Não-Probabilística. Amostragem PROBABILÍSTICA: Técnicas de amostragem em que a seleção é aleatória de tal forma que cada elemento tem igual probabilidade
Leia maisÁrvore de Decisão. Capítulo 18 Russell & Norvig Seções 18.1 a 18.3
Árvore de Decisão Capítulo 18 Russell & Norvig Seções 18.1 a 18.3 Aprendizagem Indutiva Clássica Recebe como entrada o valor correto de uma função desconhecida para entradas específicas e tenta recuperar
Leia maisAprendizado por Árvores de Decisão
Universidade Federal de Santa Maria Departamento de Eletrônica e Computação Prof. Cesar Tadeu Pozzer Disciplina de Programação de Jogos 3D E-mail: pozzer@inf.ufsm.br Período: 2006/01 Aprendizado por Árvores
Leia mais1 Classificadores Bayseanos Simples
Aula 12 - Classificadores Bayseanos Curso de Data Mining Sandra de Amo Classificadores Bayseanos são classificadores estatísticos que classificam um objeto numa determinada classe baseando-se na probabilidade
Leia maisAula 3 Representação do Conhecimento
Aula 3 Representação do Conhecimento Sumário (Representação do Conhecimento) - Introdução - Tabelas - Modelos Lineares - Árvores - Regras - Baseada em Instância - Clusters (Aglomerado) - Prática: Árvore
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
REDES DE FUNÇÃO DE BASE RADIAL - RBF Prof. Dr. André A. P. Biscaro 1º Semestre de 2017 Funções de Base Global Funções de Base Global são usadas pelas redes BP. Estas funções são definidas como funções
Leia maisUnidade I ESTATÍSTICA. Prof. Celso Ribeiro Campos
Unidade I ESTATÍSTICA Prof. Celso Ribeiro Campos Visão geral da estatística Estatística: Conjunto de métodos e processos destinados a permitir o entendimento de um universo submetido a certas condições
Leia maisIntrodução ao Datamining 4ºAno M, AN,FZ,EN-MEC,EN-AEL V 1.3, V.Lobo, EN 2008
4ºAno, A,FZ,E-EC,E-AEL V.3, V.Lobo, E 28 Introdução a Datamining (previsão e agrupamento) Victor Lobo E o que fazer depois de ter os dados organizados? 4º ano dos cursos tradicionais da Escola aval Ideias
Leia maisINF 1771 Inteligência Artificial
Edirlei Soares de Lima INF 1771 Inteligência Artificial Aula 18 Aprendizado Não-Supervisionado Formas de Aprendizado Aprendizado Supervisionado Árvores de Decisão. K-Nearest Neighbor
Leia maisFACULDADE CAMPO LIMPO PAULISTA (FACCAMP) COORDENADORIA DE EXTENSÃO E PESQUISA CURSO DE PÓS-GRADUAÇÃO LATO SENSU EM MINERAÇÃO E CIÊNCIA DOS DADOS
FACULDADE CAMPO LIMPO PAULISTA (FACCAMP) COORDENADORIA DE EXTENSÃO E PESQUISA CURSO DE PÓS-GRADUAÇÃO LATO SENSU EM MINERAÇÃO E CIÊNCIA DOS DADOS PROJETO PEDAGÓGICO CAMPO LIMPO PAULISTA 2015 1. Público
Leia mais3 Técnicas de agrupamento
3 Técnicas de agrupamento Com o advento da internet a quantidade de informação disponível aumentou consideravelmente e com isso, tornou-se necessário uma forma automática de organizar e classificar esta
Leia maisMineração de Dados e Aprendizado de Máquinas. Rodrigo Leite Durães.
Mineração de Dados e Aprendizado de Máquinas. Rodrigo Leite Durães. O que é mineração de dados Mineração de Dados é um passo no processo de KDD que consiste na aplicação de análise de dados e algoritmos
Leia maisAprendizado de Máquina
Aprendizado de Máquina André C. P. L. F. de Carvalho Posdoutorando: Isvani Frias-Blanco ICMC-USP Agrupamento de dados Tópicos Agrupamento de dados Dificuldades em agrupamento Algoritmos de agrupamento
Leia maisRedes Neurais e Sistemas Fuzzy
1. Inteligência Computacional Redes Neurais e Sistemas Fuzzy Apresentação da disciplina Conceitos básicos A chamada Inteligência Computacional (IC) reúne uma série de abordagens e técnicas que tentam modelar
Leia maisInteligência Artificial Agrupamento de Dados. prof. Dr. Rogério R. de Vargas. Universidade Estadual de Santa Cruz - UESC. Ilhéus-Ba, Outubro de 2013
Inteligência Artificial de prof. Dr. Rogério R. de Vargas Universidade Estadual de Santa Cruz - UESC Ilhéus-Ba, Outubro de 2013 http://rogerio.in slide 1 Introdução http://rogerio.in slide 2 Como agrupar?
Leia maisProf.: Eduardo Vargas Ferreira
Universidade Federal do Paraná Laboratório de Estatística e Geoinformação - LEG Introdução Prof.: Eduardo Vargas Ferreira O que é Machine Learning? Estatística Data Mining 2 O que é Machine Learning? Estatística
Leia maisTópicos em Mineração de Dados
Tópicos em Mineração de Dados Descoberta de agrupamentos Método k-médias 1. Introdução A descoberta de agrupamentos é uma tarefa descritiva que procura agrupar dados utilizando a similaridade dos valores
Leia maisPreparação dos Dados 1
Preparação dos Dados 1 Preparação dos Dados Compreensão dos dados Limpeza Metadado Valores Perdidos Formato de data unificado Nominal para numérico Discretização Seleção de atributos e falsos preditores
Leia mais2 Sentiment Analysis 2.1
2 Sentiment Analysis 2.1 Definição do Problema Sentiment Analysis é um problema de categorização de texto no qual deseja-se detectar opiniões favoráveis e desfavoráveis com relação a um determinado tópico
Leia maisÁrvore Binária de Busca Ótima
MAC 5710 - Estruturas de Dados - 2008 Referência bibliográfica Os slides sobre este assunto são parcialmente baseados nas seções sobre árvore binária de busca ótima do capítulo 4 do livro N. Wirth. Algorithms
Leia maisAprendizagem de Máquina
Plano de Aula Aprendizagem de Máquina Bagging,, Support Vector Machines e Combinação de Classificadores Alessandro L. Koerich Uma visão geral de diversos tópicos relacionados à Aprendizagem de Máquina:
Leia maisAula 7 Medidas de Distância. Profa. Elaine Faria UFU
Aula 7 Medidas de Distância Profa. Elaine Faria UFU - 2017 Agradecimentos Este material é baseado No livro Tan et al, 2006 Nos slides do prof Andre C. P. L. F. Carvalho Agradecimentos Ao professor André
Leia maisCLASSIFICADORES BAEYSIANOS
CLASSIFICADORES BAEYSIANOS Teorema de Bayes 2 Frequentemente, uma informação é apresentada na forma de probabilidade condicional Probabilidade de um evento ocorrer dada uma condição Probabilidade de um
Leia maisProf. Júlio Cesar Nievola Data Mining PPGIa - PUCPR
Prof. Júlio Cesar Nievola Data Mining PPGIa - PUCPR Dada uma coleção de registros (conjunto de treinamento) Cada registro contém um conjunto de atributos e um dos atributos é a classe. Encontrar um modelo
Leia maisUso de Algoritmo Genético para a otimização do ponto de corte da probabilidade de sucesso estimada do modelo de Regressão Logística
Uso de Algoritmo Genético para a otimização do ponto de corte da probabilidade de sucesso estimada do modelo de Regressão Logística José Edson Rodrigues Guedes Gondim 1 Joab de Oliveira Lima 2 1 Introdução
Leia maisKDD E MINERAÇÃO DE DADOS
KDD E MINERAÇÃO DE DADOS Etapas do Processo de KDD Livro: Data Mining Conceitos, técnicas, algoritmos, Orientações e aplicações Ronaldo Goldschmidt, Eduardo Bezerra, Emmanuel Passos KDD Knowledge Discovery
Leia maisMétodos de Classificação por Árvores de Decisão Disciplina de Projeto e Análise de Algoritmos
Métodos de Classificação por Árvores de Decisão Disciplina de Projeto e Análise de Algoritmos Juliana Moreira Barbosa, Tiago Garcia de Senna Carneiro, Andrea Iabrudi Tavares PPGCC - Programa de Pós-Graduação
Leia maisExemplo de Aplicação de Algoritmos Genéticos. Prof. Juan Moisés Mauricio Villanueva cear.ufpb.br/juan
Exemplo de Aplicação de Algoritmos Genéticos Prof. Juan Moisés Mauricio Villanueva jmauricio@cear.ufpb.br cear.ufpb.br/juan Estrutura do Algoritmo Genético Algoritmo genético Inicio t = 0 inicializar P(t)
Leia maisInteligência Artificial
https://www.pinterest.com/carlymundo/decision-tree-infographics/ Universidade Federal de Campina Grande Departamento de Sistemas e Computação Pós-Graduação em Ciência da Computação Inteligência Artificial
Leia maisClassificação de dados em modelos com resposta binária via algoritmo boosting e regressão logística
Classificação de dados em modelos com resposta binária via algoritmo boosting e regressão logística Gilberto Rodrigues Liska 1 5 Fortunato Silva de Menezes 2 5 Marcelo Ângelo Cirillo 3 5 Mario Javier Ferrua
Leia maisSistemas de Apoio à Decisão Árvores de decisão V 1.2, V.Lobo, EN/ISEGI, 2010
V., V.Lobo, EN/ISEGI, O que é a árvore de decisão? Arvores de decisão Victor Lobo Algorítmo para tomar decisões (ou classificar) Modo de representar conhecimento Tem penas? Nós (testes, ou conceitos) Comprimento
Leia maisDistribuições Amostrais e Estimação Pontual de Parâmetros
Distribuições Amostrais e Estimação Pontual de Parâmetros ESQUEMA DO CAPÍTULO 7.1 INTRODUÇÃO 7.2 DISTRIBUIÇÕES AMOSTRAIS E TEOREMA DO LIMITE CENTRAL 7.3 CONCEITOS GERAIS DE ESTIMAÇÃO PONTUAL 7.3.1 Estimadores
Leia mais4 Análise dos dados Perfil dos participantes
4 Análise dos dados 4.1. Perfil dos participantes A Tabela 1 apresenta a distribuição dos participantes do experimento por grau de escolaridade, curso, gênero e faixa etária. Os participantes foram predominantemente
Leia maisÁrvores. Árvores M-Vias. Métodos de Pesquisa de Dados. de Pesquisa (ANP) VANTAGENS EXEMPLO
Métodos de Pesquisa de Dados Árvores M-Vias Encontrar um dado em um conjunto de dados de forma eficiente Baseia-se na noção de uma chave (índice) de pesquisa Aplicação típica: SGBD Busca de dados em disco
Leia mais