Aprendizagem de Máquina

Tamanho: px
Começar a partir da página:

Download "Aprendizagem de Máquina"

Transcrição

1 Plano de Aula Aprendizagem de Máquina Aprendizagem de Árvores de Decisão Aula 3 Alessandro L. Koerich Introdução Representação de Árvores de Decisão Algoritmo de Aprendizagem ID3 Entropia e Ganho de Informação Exemplos Aspectos na Aprendizagem de Árvores de Decisão Resumo Mestrado em Informática Aplicada Pontifícia Universidade Católica do Paraná (PUCPR) Mestrado em Informática Aplicada Aprendizagem de Máquina Referências Árvore Duda R., Hart P., Stork D. Pattern Classification ed. Willey Interscience, 00. Capítulo 8. Mitchell T. Machine Learning. WCB McGraw Hill, Capítulo 3. Mestrado em Informática Aplicada Aprendizagem de Máquina 3 Mestrado em Informática Aplicada Aprendizagem de Máquina 4

2 Introdução Introdução Aprendizagem de árvores de decisão é um dos métodos de aprendizagem mais práticos e mais utilizados para a aprendizagem indutiva. É um método para a aproximação de funções de valor discreto É um método robusto a ruídos nos dados Utiliza um bias indutivo: preferência por árvores menores. É um método para aproximar funções alvo de valor discreto, onde a função aprendida é representada por uma árvore de decisão. Árvores de decisão também podem ser representadas como conjuntos de regras SE ENTÃO (IF THEN). É um dos métodos de aprendizagem mais conhecidos Aplicações: do diagnóstico de imagens médicas a análise de risco de crédito Mestrado em Informática Aplicada Aprendizagem de Máquina 5 Mestrado em Informática Aplicada Aprendizagem de Máquina 6 Representação de Árvores de Decisão Exemplo Árvores de decisão classificam instâncias ordenando as árvore acima (ou abaixo), a partir da raiz até alguma folha. Cada nó da árvore especifica o teste de algum atributo da instância Cada ramo partindo de um nó corresponde a um dos valores possíveis dos atributos. Mestrado em Informática Aplicada Aprendizagem de Máquina 7 Mestrado em Informática Aplicada Aprendizagem de Máquina 8

3 Representação de Árvores de Decisão Exemplo Uma instância é classificada inicialmente pelo nó raiz, testando o atributo especificado por este nó. Em seguida, movendo-se através do ramo correspondendo ao valor do atributo no exemplo dado. Este processo é repetido para a sub-árvore originada no novo nó (Figura) Mestrado em Informática Aplicada Aprendizagem de Máquina 9 Mestrado em Informática Aplicada Aprendizagem de Máquina 10 Exemplo Árvore de Decisão para PlayTennis Uma árvore de decisão para o conceito PlayTennis. Um exemplo é classificado ordenando o através da árvore para o nó folha apropriado Então retorna a classificação associada com esta folha (Yes ou No) Mestrado em Informática Aplicada Aprendizagem de Máquina 11 Mestrado em Informática Aplicada Aprendizagem de Máquina 1

4 Árvore de Decisão para PlayTennis Árvore de Decisão para PlayTennis <Outlook=Sunny, Temperature=High, Humidity=High, Wind=Strong> Mestrado em Informática Aplicada Aprendizagem de Máquina 13 Mestrado em Informática Aplicada Aprendizagem de Máquina 14 Árvore de Decisão para PlayTennis Árvore de Decisão para PlayTennis Em geral, árvores de decisão representam uma disjunção de conjunções de restrições sobre valores dos atributos das instâncias. Cada caminho entre a raiz da árvore e uma folha corresponde a uma conjunção de testes de atributos e a própria árvore corresponde a uma disjunção destas conjunções. Exemplo: (Outlook=Sunny Humidity=Normal) (Outlook=Overcast) (Outlook=Rain, Wind=Weak) Representação de árvores de decisão: Cada nó interno testa um atributo Cada ramo corresponde ao valor do atributo Cada folha atribui uma classificação Mestrado em Informática Aplicada Aprendizagem de Máquina 15 Mestrado em Informática Aplicada Aprendizagem de Máquina 16

5 Quando Considerar Árvores de Decisão Quando Considerar Árvores de Decisão Instâncias descritas por pares atributo valor. Instâncias são descritas por um conjunto fixo de atributos (e.g. Temperature) e seus valores (e.g. Hot) Função alvo tem valores discretos de saída. Classificação booleana (Yes ou No) para cada exemplo ou mais de duas possibilidades. Hipóteses disjuntivas podem ser necessárias. Árvores de decisão representam naturalmente expressões disjuntivas. Dados de treinamento podem conter erros e valores de atributos faltantes. Mestrado em Informática Aplicada Aprendizagem de Máquina 17 Mestrado em Informática Aplicada Aprendizagem de Máquina 18 Quando Considerar Árvores de Decisão Exemplos: Diagnóstico ou equipamentos médicos Análise de risco em crédito Modelagem de preferências em agendamento Algoritmo Básico para Aprendizagem de Árvores de Decisão Base: Algoritmo ID3 e seu sucessor C4.5 O algoritmo ID3 aprende árvores de decisão construindo as de cima para baixo (top down), começando com a questão: Qual atributo deve ser testado na raiz da árvore? Para responder esta questão, cada atributo da instância é avaliado usando um teste estatístico para determinar quão bem ele sozinho classifica os exemplos de treinamento. Mestrado em Informática Aplicada Aprendizagem de Máquina 19 Mestrado em Informática Aplicada Aprendizagem de Máquina 0

6 Melhor Atributo!!! Exemplo Algoritmo Básico para Aprendizagem de Árvores de Decisão O melhor atributo é selecionado e usado como teste na raiz da árvore. Um descendente do nó raiz é então criado para cada valor possível deste atributo e os exemplos de treinamento são ordenados para o nó descendente apropriado. Mestrado em Informática Aplicada Aprendizagem de Máquina 1 Mestrado em Informática Aplicada Aprendizagem de Máquina Algoritmo Básico para Aprendizagem de Árvores de Decisão Algoritmo Básico para Aprendizagem de Árvores de Decisão O processo é repetido usando exemplos de treinamento associados com cada nó descendente para selecionar o melhor atributo para testar naquele ponto da árvore. Busca gulosa (greedy) por uma árvore de decisão aceitável, na qual o algoritmo nunca recua para reconsiderar escolhas prévias. Mestrado em Informática Aplicada Aprendizagem de Máquina 3 Mestrado em Informática Aplicada Aprendizagem de Máquina 4

7 Algoritmo Básico para Aprendizagem de Árvores de Decisão Algoritmo Básico para Aprendizagem de Árvores de Decisão ID3( Exemplos, Atributo_Alvo, Atributos) Exemplos são os exemplos de treinamento. Atributo_Alvo é o atributo cujo valor será predito pela árvore. Atributos é uma lista de outros atributos que podem ser testados pela árvore de decisão. Retorna uma árvore de decisão que classifica corretamente os Exemplos dados. Crie um nó Raiz para a árvore Se todos Exemplos forem positivos, retorne a árvore de nó único (Raiz), com etiqueta = + Se todos Exemplos forem positivos, retorne a árvore de nó único (Raiz), com etiqueta = Se Atributos estiver vazio, retorne a árvore de nó único Raiz, com etiqueta = valor mais comum do Atributo_Alvo nos Exemplos Caso contrário, comece: o A o atributo de Atributos que melhor classifica* Exemplos o O atributo de decisão para Raiz A o Para cada valor possível, v i, de A, Adicione um novo ramo da árvore abaixo da Raiz, correspondendo ao teste A = v i Faça Exemplosv i ser o subconjunto de Exemplos que tem valor v i para A. Se Exemplosv i for vazio Então embaixo deste novo ramo, adicione uma folha com etiqueta = valor mais comum do Atributo_Alvo nos Exemplos Senão embaixo deste novo ramo adicione a subárvore ID3(Exemplos, Atributo_Alvo, Atributos {A}) Final Retorne Raiz * O melhor atributo é aquele com ganho de informação mais elevado. Escolha Central: Selecionar qual atributo testar em cada nó da árvore. Devemos selecionar: Atributo que é mais útil para classificar os exemplos. Medida Quantitativa: Ganho de Informação = mede quão bem um dado atributo separa os exemplos de treinamento de acordo com a classificação alvo. Mestrado em Informática Aplicada Aprendizagem de Máquina 5 Mestrado em Informática Aplicada Aprendizagem de Máquina 6 Indução Top Down de Árvores de Decisão Laço principal do algoritmo ID3 Indução Top Down de Árvores de Decisão Qual é o melhor atributo? 1. A o melhor atributo de decisão para o próximo nó. Atribui A como atributo de decisão para nó 3. Para cada valor de A criar um novo descendente de nó 4. Arranjar os exemplos de treinamento para os nós folhas 5. Se os exemplos de treinamento forem classificados perfeitamente, então PARE, Senão iteração sobre novos nós folhas Mestrado em Informática Aplicada Aprendizagem de Máquina 7 Mestrado em Informática Aplicada Aprendizagem de Máquina 8

8 Fronteiras de Decisão Entropia Com dados numéricos é possível visualizar as fronteiras de decisão. Caracteriza a (im)pureza de uma coleção arbitrária de exemplos. Dado uma coleção S contendo exemplos + e de algum conceito alvo, a entropia de S relativa a esta classificação booleana é: Entropia ( S ) p+ log p+ p log p p+ é a proporção de exemplos positivos em S p é a proporção de exemplos negativos em S Mestrado em Informática Aplicada Aprendizagem de Máquina 9 Mestrado em Informática Aplicada Aprendizagem de Máquina 30 Entropia Entropia Exemplo: Sendo S uma coleção de 14 exemplos de algum conceito booleano, incluindo 9 exemplos positivos e 5 negativos [9+, 5 ]. A entropia de S relativa a classificação booleana é: Entropia ([ 9+,5 ]) = ( log log = ) A função entropia relativa a uma classificação booleana, como a proporção, p + de exemplos positivos varia entre 0 e 1. Mestrado em Informática Aplicada Aprendizagem de Máquina 31 Mestrado em Informática Aplicada Aprendizagem de Máquina 3

9 Entropia Entropia Entropia(S) = número de bits esperados necessários para codificar classe (+ ou ) de membros tirados aleatoriamente de S ( sob o código ótimo, de comprimento mais curto). Por que? Teoria da informação: código de tamanho ótimo atribui log p bits para mensagens tendo probabilidade p. Mestrado em Informática Aplicada Aprendizagem de Máquina 33 Mestrado em Informática Aplicada Aprendizagem de Máquina 34 Entropia Entropia p ( log + p ) + p Entropia ( S ) p log + + Então, o número esperado de bits para codificar + ou de um membro aleatório de S: ( log p + p p ) log p Generalizando para o caso de um atributo alvo aceitar c diferentes valores, a entropia de S relativa a esta classificação c classes é definida como: Entropia ( S ) c i = 1 p i log p i onde p i é a proporção de S pertencendo a classe i. Mestrado em Informática Aplicada Aprendizagem de Máquina 35 Mestrado em Informática Aplicada Aprendizagem de Máquina 36

10 Ganho de Informação Ganho de Informação Gain (S,A) = redução esperada na entropia devido a ordenação sobre A, ou seja, a redução esperada na entropia causada pela partição dos exemplos de acordo com este atributo A. S é uma coleção de (dias) exemplos de treinamento descritos por atributos incluindo Wind. Temos 14 exemplos. Gain ( S, A) Entropia ( S ) v Valores ( A ) S S v Entropia ( S v ) Mestrado em Informática Aplicada Aprendizagem de Máquina 37 Mestrado em Informática Aplicada Aprendizagem de Máquina 38 Superfície de Separação Exemplo Ilustrativo Atributo alvo: PlayTennis (yes, no) Mestrado em Informática Aplicada Aprendizagem de Máquina 39 Mestrado em Informática Aplicada Aprendizagem de Máquina 40

11 Exemplo Ilustrativo Exemplo Ilustrativo Primeiro passo: criação do nó superior da árvore de decisão. Qual atributo deve ser testado primeiro na árvore? Determinar o ganho de informação (Gain) para cada atributo candidato (i.e. Outlook, Temperature, Humidity e Wind) Selecionar aquele cujo ganho de informação é o mais alto. Mestrado em Informática Aplicada Aprendizagem de Máquina 41 Mestrado em Informática Aplicada Aprendizagem de Máquina 4 Exemplo Ilustrativo Exemplo Ilustrativo Exemplo: Gain (S, Outlook) = 0.46 Gain(S, Humidity) = Gain (S, Wind) = Gain (S, Temperature) = 0.09 Ou seja, o atributo Outlook fornece a melhor predição do atributo alvo, PlayTennis, sobre os exemplos de treinamento (Fig 3.4) Mestrado em Informática Aplicada Aprendizagem de Máquina 43 Mestrado em Informática Aplicada Aprendizagem de Máquina 44

12 Exemplo Ilustrativo Exemplo Ilustrativo O processo para selecionar um novo atributo e particionar os exemplos de treinamento é repetido para cada nó descendente não terminal São utilizados somente os exemplos de treinamento associados com este nó. Atributos que foram incorporados anteriormente a árvore são excluídos qualquer atributo deve aparecer somente uma vez ao longo de qualquer caminho na árvore. Este processo continua até que uma das seguintes condições seja atendida: 1. Todos os atributos já estejam incluídos ao longo deste caminho da árvore;. Os exemplos de treinamento associados com este nó folha tenham todos o mesmo valor de atributo alvo. A árvore final é... Mestrado em Informática Aplicada Aprendizagem de Máquina 45 Mestrado em Informática Aplicada Aprendizagem de Máquina 46 Exemplo Ilustrativo Busca no Espaço de Hipóteses por ID3 Árvore de decisão final. O método de aprendizagem ID3 pode ser caracterizado como um método de busca em um espaço de hipóteses, por uma hipótese que se ajusta aos exemplos de treinamento. O espaço de hipóteses buscado pelo ID3 é o conjunto de árvores de decisão possíveis. O ID3 realiza uma busca simples complexa, hill climbing através do espaço de hipóteses começando com uma árvore vazia e considerando progressivamente hipóteses mais elaboradas (Fig 3.5). Mestrado em Informática Aplicada Aprendizagem de Máquina 47 Mestrado em Informática Aplicada Aprendizagem de Máquina 48

13 Busca no Espaço de Hipóteses por ID3 Busca no Espaço de Hipóteses por ID3 Espaço de hipóteses está completo A função alvo esta presente com certeza Fornece um única hipótese (qual?) Não pode representar 0 hipóteses Sem backtracking (recuo/voltar atrás) Mínimo local Escolhas de busca com base estatística Robustez a ruído nos dados Solução com bias indutivo (prefere árvores mais curtas) Mestrado em Informática Aplicada Aprendizagem de Máquina 49 Mestrado em Informática Aplicada Aprendizagem de Máquina 50 Bias Indutivo no ID3 Bias Indutivo no ID3 Dada uma coleção de exemplos de treinamento, existem geralmente várias árvores de decisão consistentes com os exemplos. A preferência é por árvores mais curtas e por aquelas com atributos de alto ganho de informação próximos da raiz Qual árvore deve ser escolhida???? Bias: é uma preferência por algumas hipóteses aos invés de uma restrição do espaço de hipóteses H Occam s razor prefere as hipóteses mais curtas (mais simples) que se ajustam aos dados Mestrado em Informática Aplicada Aprendizagem de Máquina 51 Mestrado em Informática Aplicada Aprendizagem de Máquina 5

14 Occam s Razor Occam s Razor Por que a preferência por hipóteses curtas? Por que a preferência por hipóteses curtas? Argumentos a favor: Argumentos contrários: Poucas hipóteses curtas VERSUS hipóteses longas Uma hipótese curta que se ajusta aos dados improvável ser coincidente Uma hipótese longa que se ajusta aos dados pode ser coincidente Existem muitas maneiras de definir pequenos conjuntos de hipóteses E.g. todas as árvores com um número primo de nós que usa atributos Mestrado em Informática Aplicada Aprendizagem de Máquina 53 Mestrado em Informática Aplicada Aprendizagem de Máquina 54 Aspectos na Aprendizagem de Árvores de Decisão Aspectos práticos na aprendizagem de árvores de decisão: Crescimento da profundidade de árvores de decisão Manipulação de atributos contínuos Sobreajuste em Árvores de Decisão Considere a adição de ruído no exemplo de treinamento #15. < Sunny, Hot, Normal, Strong, PlayTennis = No> Qual o efeito na árvore anterior? Escolha de uma medida apropriada para a seleção de atributos Manipulação de atributos com diferentes custos Melhoria da eficiência computacional Mestrado em Informática Aplicada Aprendizagem de Máquina 55 Mestrado em Informática Aplicada Aprendizagem de Máquina 56

15 Sobreajuste (Overfitting) Sobreajuste no Treinamento de Árvores de Decisão Considere o erro da hipótese h sobre Dados de treinamento: erro train (h) Distribuição de dados inteira D: erro D (h) Uma hipótese h H sobreajusta os dados de treinamento se existir uma hipótese alternativa h H tal que: erro train (h) < erro train (h ) e erro D (h) > erro D (h) Mestrado em Informática Aplicada Aprendizagem de Máquina 57 Mestrado em Informática Aplicada Aprendizagem de Máquina 58 Evitando Sobreajuste Evitando Sobreajuste Como podemos evitar o sobreajuste? Parar o crescimento quando a partição de dados não for estatisticamente significante Desenvolver uma árvore completa e então fazer uma poda. Como selecionar a melhor árvore Medida de performance sobre os dados de treinamento Medida de performance sobre um conjunto de dados de validação Usar uma medida explícita de complexidade para a codificação de exemplos de treinamento e a árvore de decisão. Minimizar o comprimento da descrição mínima (MDL) size ( tree ) + size ( misclassifications ( tree ) ) Mestrado em Informática Aplicada Aprendizagem de Máquina 59 Mestrado em Informática Aplicada Aprendizagem de Máquina 60

16 Erro de Poda Reduzido Erro de Poda Reduzido Podar um nó de decisão consiste em remover a sub-árvore enraizada naquele nó, tornando o um nó folha. Atribuir a este nó, a classificação mais comum dos exemplos de treinamento afiliados com aquele nó. Nós são removidos somente se a árvore aparada resultante não apresenta um comportamento pior do que a original sobre o conjunto de validação Particionar os dados em conjuntos de validação e treinamento Faça até que uma redução (poda) adicional seja prejudicial 1. Avaliar o impacto sobre o conjunto de validação da poda de cada nó possível, mais aqueles abaixo dele. Remover gulosamente aquele que melhora mais a precisão sobre o conjunto de validação Mestrado em Informática Aplicada Aprendizagem de Máquina 61 Mestrado em Informática Aplicada Aprendizagem de Máquina 6 Erro de Poda Reduzido Efeito do Erro de Poda Reduzido Produz a menor versão da sub-árvore mais precisa E se os dados forem limitados? Mestrado em Informática Aplicada Aprendizagem de Máquina 63 Mestrado em Informática Aplicada Aprendizagem de Máquina 64

17 Pós Redução (Poda) da Regra Convertendo uma Árvore em Regras 1. Converter a árvore em um conjunto de regras equivalente. Podar cada regra independentemente das outras 3. Ordenar as regras finais em uma seqüência desejável para o uso Talvez seja o método usando com mais freqüência. (e.g. C4.5) IF (Outlook = Sunny) ^ (Humidity = High) THEN PlayTennis = No IF (Outlook = Sunny) ^ (Humidity = Normal) THEN PlayTennis = Yes Mestrado em Informática Aplicada Aprendizagem de Máquina 65 Mestrado em Informática Aplicada Aprendizagem de Máquina 66 Convertendo uma Árvore em Regras Atributos de Valor Continuo Vantagens de converter uma árvore de decisão em regras antes da poda: Permite distinguir entre os diferentes contextos onde os nós de decisão são utilizados. Remove a distinção entre atributos de testes que ocorrem próximos da raiz da árvore e aqueles que ocorrem próximos das folhas. Melhora a leitura. Regras são geralmente mais fáceis para pessoas entenderem Na definição da ID3 temos as restrições: 1. Atributo alvo deve ter valor discreto. Os atributos testados nos nós de decisão devem também ser de valor discreto. A segunda restrição pode ser removida. Definir dinamicamente novos atributos de valor discreto que particionam o valor do atributo contínuo em um conjunto discreto de intervalos. A = atributo de valor contínuo criar um novo atributo A c que é verdadeiro se A < c e falso caso contrário. Como identificar c??? Mestrado em Informática Aplicada Aprendizagem de Máquina 67 Mestrado em Informática Aplicada Aprendizagem de Máquina 68

18 Atributos de Valor Continuo Atributos de Valor Contínuo Exemplo: Incluir o atributo de valor contínuo Temperature na descrição dos exemplos de treinamento para a tarefa de aprendizagem anterior. Supondo que os exemplos de treinamento associados a um nó particular são Dois limiares candidatos: c 1 = (48+60)/ = 54 c = (80+90)/ = 85 Escolher um limiar c que produza o maior ganho de informações Identificar exemplos adjacentes que diferem na classificação alvo. O ganho de informação pode ser calculado para cada um destes atributos candidatos: Temperature >54 e Temperature >85 e o melhor pode ser selecionado (T >54 ) Mestrado em Informática Aplicada Aprendizagem de Máquina 69 Mestrado em Informática Aplicada Aprendizagem de Máquina 70 Atributos com Muitos Valores Atributos com Custos Problema: Se o atributo tem muitos valores Gain selecionará Imagine utilizar Date=Jun_3_1996 como atributo Uma solução: Usar GainRatio (penaliza o atributo Date) ao invés: Gain( S, A) GainRatio( S, A) SplitInformation( S, A) c Si SplitInformation( S, A) log S i= 1 S i S Considere Diagnóstico médico. BloodTest tem custo $150 Robótica. Width_from_1ft tem custo 3seg. Como aprender um árvore consistente com custo esperado baixo? Uma solução: Substituir o gain por Tan and Schlimmer (1994) Nunez (1998) Gain( S, A) 1 ( Cost( A) + 1) w Gain ( S, A) Cost( A) onde w [0,1] determina a importância do custo Mestrado em Informática Aplicada Aprendizagem de Máquina 71 Mestrado em Informática Aplicada Aprendizagem de Máquina 7

19 Valores de Atributos Desconhecidos Resumo E se para alguns exemplos faltam os valores de A? Use o exemplo de treinamento de qualquer jeito, ordene através da árvore Se o nó n testa A, atribua o valor mais comum de A entre outros exemplos ordenados para o nó n Atribuir o valor mais comum de A entre outros exemplos com a mesmo valor alvo Atribuir uma probabilidade p i para cada valor possível v i de A Atribuir uma fração p i do exemplo para cada descendente na árvore Classificar novos exemplos da mesma maneira Aprendizagem de árvores de decisão fornece um método prático para a aprendizagem de conceito e para a aprendizagem de outras funções de valor discreto A família de algoritmos ID3 infere árvores de decisão expandindo as a partir da raiz e descendo, selecionando o próximo melhor atributo para cada novo ramo de decisão adicionado a árvore. ID3 busca um espaço de hipóteses completo evitando assim que a função alvo possa não estar presente no espaço de hipóteses. Mestrado em Informática Aplicada Aprendizagem de Máquina 73 Mestrado em Informática Aplicada Aprendizagem de Máquina 74 Resumo O bias indutivo implícito no ID3 inclui uma preferência por árvores menores. A busca através do espaço de hipóteses expande a árvore somente o necessário para classificar os exemplo de treinamento disponíveis. Sobreajuste é um aspecto importante na aprendizagem de árvores de decisão. Métodos para poda posterior são importantes para evitar o sobreajuste. Várias extensões ao algoritmo básico ID3. Mestrado em Informática Aplicada Aprendizagem de Máquina 75

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Engenharia Elétrica Universidade Federal do Paraná (UFPR) ÁRVORES DE DECISÃO Plano de Aula Introdução Representação de Árvores

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Informática Pontifícia Universidade Católica do Paraná (PUCPR) ÁRVORES DE DECISÃO Plano de Aula Introdução Representação de Árvores

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Alessandro L. Koerich/Alceu S. Britto Programa de Pós-Graduação em Informática Pontifícia Universidade Católica do Paraná (PUCPR) ÁRVORES DE DECISÃO Plano de Aula Introdução Representação

Leia mais

Aprendizado de Máquina

Aprendizado de Máquina Aprendizado de Máquina Árvores de Decisão Luiz Eduardo S. Oliveira Universidade Federal do Paraná Departamento de Informática http://lesoliveira.net Luiz S. Oliveira (UFPR) Aprendizado de Máquina 1 / 28

Leia mais

Universidade Federal do Paraná (UFPR) Bacharelado em Informática Biomédica. Árvores de Decisão. David Menotti.

Universidade Federal do Paraná (UFPR) Bacharelado em Informática Biomédica. Árvores de Decisão. David Menotti. Universidade Federal do Paraná (UFPR) Bacharelado em Informática Biomédica Árvores de Decisão David Menotti www.inf.ufpr.br/menotti/ci171-182 Árvores de Decisão Agenda Introdução Representação Quando Usar

Leia mais

Aurora Trinidad Ramirez Pozo Universidade Federal do Paraná

Aurora Trinidad Ramirez Pozo Universidade Federal do Paraná Aurora Trinidad Ramirez Pozo Universidade Federal do Paraná 1 Um dos métodos práticos mais usados Induz funções discretas robustas a ruído Capaz de aprender expressões disjuntivas Se pais = Inglaterra

Leia mais

Algoritmos Indutores de Árvores de. Fabrício J. Barth

Algoritmos Indutores de Árvores de. Fabrício J. Barth Algoritmos Indutores de Árvores de Decisão Fabrício J. Barth Maio de 2018 Problema: Diagnóstico para uso de lentes de contato 2 Diagnóstico para o uso de lentes de contato O setor de oftalmologia de um

Leia mais

Árvore de Decisão. George Darmiton da Cunha Cavalcanti Tsang Ing Ren CIn/UFPE

Árvore de Decisão. George Darmiton da Cunha Cavalcanti Tsang Ing Ren CIn/UFPE Árvore de Decisão George Darmiton da Cunha Cavalcanti Tsang Ing Ren CIn/UFPE Tópicos Introdução Representando Árvores de Decisão O algoritmo ID3 Definições Entropia Ganho de Informação Overfitting Objetivo

Leia mais

SISTEMAS INTELIGENTES

SISTEMAS INTELIGENTES SISTEMAS INTELIGENTES Profa. Roseli Ap. Francelin Romero Representação de Árvores de Decisão Algoritmo ID3 Conceito de e Ganho de Informação Overfitting Sistemas Inteligentes 1 Sistemas Inteligentes 2

Leia mais

Árvores de Decisão. Sistemas Inteligentes

Árvores de Decisão. Sistemas Inteligentes Árvores de Decisão Sistemas Inteligentes Uma Abordagem típica em aprendizagem simbólica Árvores de decisão: inductive decision trees (ID3) Instâncias (exemplos) são representadas por pares atributo-valor

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Árvores de Decisão Poda e extensões Prof. Paulo Martins Engel UFRGS 2 Questões sobre Árvores de Decisão Questões práticas do aprendizado de AD incluem: Determinar até quando se

Leia mais

Aprendizado de Máquina

Aprendizado de Máquina Aprendizado de Máquina Sistemas de Informação Inteligente Prof. Leandro C. Fernandes Adaptação dos materiais de: Thiago A. S. Pardo, Daniel Honorato e Bianca Zadrozny APRENDIZADO SIMBÓLICO: ÁRVORES DE

Leia mais

Extracção de Conhecimento

Extracção de Conhecimento Programa Doutoral em Engenharia Informática Mestrado em Engenharia Informática Licenciatura em Engenharia Informática e Computação LIACC/FEUP Universidade do Porto www.fe.up.pt/ ec rcamacho@fe.up.pt Outubro

Leia mais

Árvores de Decisão. Sistemas Inteligentes

Árvores de Decisão. Sistemas Inteligentes Árvores de Decisão Sistemas Inteligentes Exemplos de situações do dia a dia em que a aprendizagem de máquina é importante A partir de informações sobre pacientes relativas a gravidez aprender a prever

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Aprendizagem Baseada em Instâncias Plano de Aula Introdução Espaço

Leia mais

Árvores de decisão. Marcelo K. Albertini. 17 de Agosto de 2015

Árvores de decisão. Marcelo K. Albertini. 17 de Agosto de 2015 Árvores de decisão Marcelo K. Albertini 17 de Agosto de 2015 2/31 Árvores de Decisão Nós internos testam o valor de um atributo individual ramificam de acordo com os resultados do teste Nós folhas especificam

Leia mais

Aprendizagem indutiva

Aprendizagem indutiva Aprendizagem indutiva Inferência indutiva de fatos providos por um professor ou ambiente. O estudo e modelagem desta forma de aprendizagem é um dos tópicos centrais de aprendizagem de máquina. Em aprendizagem

Leia mais

INF 1771 Inteligência Artificial

INF 1771 Inteligência Artificial INF 1771 Inteligência Artificial Aula 12 Árvores de Decisão Prof. Augusto Baffa Árvores de Decisão Uma das formas de algoritmo de aprendizado mais simples e de maior sucesso. Uma

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Aprendizagem de Conceito Alessandro L. Koerich 2008 Mestrado/Doutorado em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Mestrado/Doutorado em Informática Aprendizagem

Leia mais

Árvore de Decisão. Capítulo 18 Russell & Norvig Seções 18.1 a 18.3

Árvore de Decisão. Capítulo 18 Russell & Norvig Seções 18.1 a 18.3 Árvore de Decisão Capítulo 18 Russell & Norvig Seções 18.1 a 18.3 Aprendizagem Indutiva Clássica Recebe como entrada o valor correto de uma função desconhecida para entradas específicas e tenta recuperar

Leia mais

lnteligência Artificial Aprendizagem em IA

lnteligência Artificial Aprendizagem em IA lnteligência Artificial Aprendizagem em IA 1 Aprendizagem por que? Capacidade de aprender é parte fundamental do conceito de inteligência. Um agente aprendiz é mais flexível aprendizado permite lidar com

Leia mais

Árvores de Decisão. Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Ciências de Computação

Árvores de Decisão. Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Ciências de Computação Árvores de Decisão Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Ciências de Computação Rodrigo Fernandes de Mello mello@icmc.usp.br Árvores de Decisão Método

Leia mais

Aprendizagem a partir de observações

Aprendizagem a partir de observações Aprendizagem a partir de observações Aprendizagem é essencial para ambientes desconhecidos, i.e., quando o projetista não prevê tudo Útil como um método de construção de sistemas i.e., expor o agente à

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Redes Neurais Artificiais Plano de Aula Introdução Motivação Biológica

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Aprendizagem Baseada em Instâncias Alessandro L. Koerich Mestrado/Doutorado em Informática (PPGIa) Pontifícia Universidade Católica do Paraná (PUCPR) Mestrado/Doutorado em Informática

Leia mais

Inteligência Artificial

Inteligência Artificial Aprendizagem por que? lnteligência Artificial Aprendizagem em IA Capacidade de aprender é parte fundamental do conceito de inteligência. Um agente aprendiz é mais flexível aprendizado permite lidar com

Leia mais

Aprendizagem de Máquina. Prof. Júlio Cesar Nievola PPGIA - PUCPR

Aprendizagem de Máquina. Prof. Júlio Cesar Nievola PPGIA - PUCPR Aprendizagem de Máquina Prof. Júlio Cesar Nievola PPGIA - PUCPR Introdução Justificativa Recente progresso em algoritmos e teoria Disponibilidade crescente de dados online Poder computacional disponível

Leia mais

Aprendizado em IA. Prof. Carlos H. C. Ribeiro ITA Divisão de Ciência da Computação

Aprendizado em IA. Prof. Carlos H. C. Ribeiro ITA Divisão de Ciência da Computação Aprendizado em IA Prof. Carlos H. C. Ribeiro ITA Divisão de Ciência da Computação Tópicos Agentes baseados em aprendizado Aprendizado indutivo Árvores de decisão Método ID3 Aprendizado em redes neurais

Leia mais

Seleção de Atributos 1

Seleção de Atributos 1 Seleção de Atributos 1 Tópicos Por que atributos irrelevantes são um problema Quais tipos de algoritmos de aprendizado são afetados Seleção de atributos antes do aprendizado Benefícios Abordagens automáticas

Leia mais

Inteligência Artificial

Inteligência Artificial https://www.pinterest.com/carlymundo/decision-tree-infographics/ Universidade Federal de Campina Grande Departamento de Sistemas e Computação Pós-Graduação em Ciência da Computação Inteligência Artificial

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Engenharia Elétrica Universidade Federal do Paraná (UFPR) Redes Neurais Artificiais Plano de Aula Introdução Motivação Biológica

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina écnicas de Classificação Árvores de Decisão Prof. Paulo Martins Engel UFRGS Árvores de Decisão As árvores de decisão (AD) são ferramentas poderosas para classificação cuja maior

Leia mais

Arvores de decisão. O que é uma árvore de decisão? Victor Lobo

Arvores de decisão. O que é uma árvore de decisão? Victor Lobo Arvores de decisão Victor Lobo O que é uma árvore de decisão? Algorítmo para tomar decisões (ou classificar) Modo de representar conhecimento Tem penas? Arcos (resultados ou pertença) Nós (testes, ou conceitos)

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Plano de Aula Aprendizagem de Máquina Aprendizagem de Conceito Aula 2 Alessandro L. Koerich Mestrado em Informática Aplicada Introdução Tarefa de Aprendizagem de Conceito Aprendizagem de Conceito como

Leia mais

Aprendizagem de Máquina. Redes Neurais Artificiais (RNAs)

Aprendizagem de Máquina. Redes Neurais Artificiais (RNAs) Aprendizagem de Máquina Redes Neurais Artificiais (RNAs) Plano de Aula Introdução Motivação Biológica Perceptron Superfície de Decisão Descida do Gradiente Redes Multicamadas (Multilayer) Retropropagação

Leia mais

Arvores de decisão. Outras árvores. Outra maneira de ver árvores. Extracção de regras (a partir de árvores) Vantagens das árvores (1)

Arvores de decisão. Outras árvores. Outra maneira de ver árvores. Extracção de regras (a partir de árvores) Vantagens das árvores (1) O que é a árvore de decisão? Arvores de decisão Algorítmo para tomar decisões (ou classificar) Modo de representar conhecimento Tem penas? Arcos (resultados ou pertença) Victor Lobo Nós (testes, ou conceitos)

Leia mais

Saída: Representação de conhecimento

Saída: Representação de conhecimento Saída: Representação de conhecimento Kate Revoredo katerevoredo@uniriotec.br 1 Saída: Representando padrões estruturais Existem muitas maneiras diferentes de representar padrões: Árvores de decisão, regras,

Leia mais

Aprendizado de Máquinas

Aprendizado de Máquinas Aprendizado de Máquinas Objetivo A área de aprendizado de máquina preocupa-se em construir programas que automaticamente melhorem seu desempenho com a experiência. Conceito AM estuda métodos computacionais

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Plano de Aula Aprendizagem de Máquina Aprendizagem de Conceito Alessandro L. Koerich 2007 Mestrado/Doutorado em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Introdução Tarefa de Aprendizagem

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Plano de Aula Aprendizagem de Máquina Bagging,, Support Vector Machines e Combinação de Classificadores Alessandro L. Koerich Uma visão geral de diversos tópicos relacionados à Aprendizagem de Máquina:

Leia mais

Créditos. SCC0173 Mineração de Dados Biológicos. Aula de Hoje. Introdução. Classificação III: Árvores de Decisão

Créditos. SCC0173 Mineração de Dados Biológicos. Aula de Hoje. Introdução. Classificação III: Árvores de Decisão SCC073 Mineração de Dados Biológicos Classificação III: Árvores de Decisão Créditos O material a seguir consiste de adaptações e extensões dos originais: gentilmente cedidos pelo Prof. André C. P. L. F.

Leia mais

Aprendizado de Máquina

Aprendizado de Máquina Aprendizado de Máquina Aprendizagem de Conceito Luiz Eduardo S. Oliveira Universidade Federal do Paraná Departamento de Informática http://lesoliveira.net Luiz S. Oliveira (UFPR) Aprendizado de Máquina

Leia mais

Seleção de Atributos FSS. Relevância de Atributos. Relevância de Atributos. Seleção de Atributos - FSS. FSS como Busca no Espaço de Estados

Seleção de Atributos FSS. Relevância de Atributos. Relevância de Atributos. Seleção de Atributos - FSS. FSS como Busca no Espaço de Estados Seleção FSS Alguns indutores geralmente degradam seu desempenho quando são fornecidos muitos atributos irrelevantes para o conceito a ser aprendido Feature Subset Selection (FSS) é o processo de selecionar

Leia mais

SCC Capítulo 9 Indução de Árvores de Decisão

SCC Capítulo 9 Indução de Árvores de Decisão Indução de Árvores de Decisão SCC-630 - Capítulo 9 Indução de Árvores de Decisão João Luís Garcia Rosa 1 1 Departamento de Ciências de Computação Instituto de Ciências Matemáticas e de Computação Universidade

Leia mais

Algoritmos Indutores de Árvores de

Algoritmos Indutores de Árvores de Algoritmos Indutores de Árvores de Decisão Fabrício J. Barth Sistemas Inteligentes Análise e Desenvolvimento de Sistemas Faculdades de Tecnologia Bandeirantes Abril de 2013 Problema: Diagnóstico para uso

Leia mais

Classificação: 1R e Naïve Bayes. Eduardo Raul Hruschka

Classificação: 1R e Naïve Bayes. Eduardo Raul Hruschka Classificação: 1R e Naïve Bayes Eduardo Raul Hruschka Agenda: Conceitos de Classificação Técnicas de Classificação One Rule (1R) Naive Bayes (com seleção de atributos) Super-ajuste e validação cruzada

Leia mais

Aprendizagem de máquina

Aprendizagem de máquina Aprendizagem de máquina Aprendizado de Conceitos Busca guiada por exemplos Aprendizado supervisionado: classificação Aprender uma classe a partir de exemplos é encontrar uma descrição que é compartilhada

Leia mais

Aula 3 Representação do Conhecimento

Aula 3 Representação do Conhecimento Aula 3 Representação do Conhecimento Sumário (Representação do Conhecimento) - Introdução - Tabelas - Modelos Lineares - Árvores - Regras - Baseada em Instância - Clusters (Aglomerado) - Prática: Árvore

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Horários Aulas Sala 3 CCET [quinta-feira, 8:20 12:00] Atendimento

Leia mais

Aprendizado de Máquina (Machine Learning)

Aprendizado de Máquina (Machine Learning) Ciência da Computação Aprendizado de Máquina (Machine Learning) Aula 09 Árvores de Decisão Max Pereira Classificação É a tarefa de organizar objetos em uma entre diversas categorias pré-definidas. Exemplos

Leia mais

Métodos para Classificação: - Naïve Bayes.

Métodos para Classificação: - Naïve Bayes. Métodos para Classificação: - 1R; - Naïve Bayes. Visão Geral: Simplicidade em primeiro lugar: 1R; Naïve Bayes. 2 Classificação: Tarefa: Dado um conjunto de exemplos préclassificados, construir um modelo

Leia mais

Aprendizagem a partir de observações. Capítulo 18 (Secções 1-3)

Aprendizagem a partir de observações. Capítulo 18 (Secções 1-3) Aprendizagem a partir de observações Capítulo 18 (Secções 1-3) Sumário Agentes aprendizes Aprendizagem indutiva Aprendizagem com árvores de decisão Aprendizagem Aprendizagem é essencial em ambientes desconhecidos

Leia mais

Aprendizagem de Máquina - 2. Prof. Júlio Cesar Nievola PPGIa - PUCPR

Aprendizagem de Máquina - 2. Prof. Júlio Cesar Nievola PPGIa - PUCPR Aprendizagem de Máquina - 2 Prof. Júlio Cesar Nievola PPGIa - PUCPR Inteligência versus Aprendizado Aprendizado é a chave da superioridade da Inteligência Humana Para que uma máquina tenha Comportamento

Leia mais

Arvores de decisão. O que é uma árvore de decisão? Cap.6 Árvores de Decisão V 3.0, V.Lobo, EN/ISEGI, Victor Lobo

Arvores de decisão. O que é uma árvore de decisão? Cap.6 Árvores de Decisão V 3.0, V.Lobo, EN/ISEGI, Victor Lobo V., V.Lobo, EN/ISEGI, 5 Arvores de decisão Victor Lobo O que é uma árvore de decisão? Algorítmo para tomar decisões (ou classificar) Modo de representar conhecimento Tem penas? Arcos (resultados ou pertença)

Leia mais

Aprendizado de Máquina

Aprendizado de Máquina Classificação Aprendizado de Máquina Aula http://www.ic.uff.br/~bianca/aa/ Dados: A descrição de uma instância, x X, onde X é um espaço de instâncias. Um conjunto fixo de classes: C={c, c, c n } Determine:

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Alessandro L. Koerih / Aleu S Britto Programa de Pós-Graduação em Informátia Pontifíia Universidade Católia do Paraná (PUCPR) Aprendizagem Bayesiana Plano de Aula Introdução Teorema

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Apresentação da Disciplina Alessandro L. Koerich 2008 Mestrado e Doutorado em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Mestrado/Doutorado em Informática Aprendizagem

Leia mais

Redes Neuronais e Aprendizagem Automática 1

Redes Neuronais e Aprendizagem Automática 1 Redes Neuronais e Aprendizagem Automática 2005/2006 18 a aula Fernando.Silva@ist.utl.pt Instituto Superior Técnico Redes Neuronais e Aprendizagem Automática 1 Sumário Árvores de decisão (continuação) Redes

Leia mais

Fundamentos de Inteligência Artificial [5COP099]

Fundamentos de Inteligência Artificial [5COP099] Fundamentos de Inteligência Artificial [5COP099] Dr. Sylvio Barbon Junior Departamento de Computação - UEL 1 o Semestre Assunto Aula 10 Modelos Preditivos - Árvore de Decisão 2 de 20 Aula 10 - Árvore de

Leia mais

Por que atributos irrelevantes são um problema Quais tipos de algoritmos de aprendizado são afetados Abordagens automáticas

Por que atributos irrelevantes são um problema Quais tipos de algoritmos de aprendizado são afetados Abordagens automáticas Por que atributos irrelevantes são um problema Quais tipos de algoritmos de aprendizado são afetados Abordagens automáticas Wrapper Filtros Muitos algoritmos de AM são projetados de modo a selecionar os

Leia mais

Árvores de Decisão. Sarajane M. Peres. março de 2015

Árvores de Decisão. Sarajane M. Peres. março de 2015 Árvores de Decisão Sarajane M. Peres março de 2015 Material baseado em: HAN, J. & KAMBER, M. Data Mining: Concepts and Techniques. 2nd. 2006 ROKACH, L. & MAIMON, O. Data Mining with Decision Trees: Theory

Leia mais

1R: aprende uma regra por atributo

1R: aprende uma regra por atributo 1R: aprende uma regra por atributo atribuí a classe mais freqüente taxa de erro: proporção de instâncias que não pertence a classe majoritária escolhe o atributo com menor taxa de erro Para cada atributo

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Francisco de A.T. de Carvalho 1 Aprendizagem de Máquina 1/ Introdução Situações do dia a dia em que AM é importante: Saúde. input: informações sobre pacientes relativas a gravidez

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Plano da Apresentação Aprendizagem de Máquina Alessandro L. Koerich 2007 Mestrado e Doutorado em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Professor & Experiência Acadêmica Horários

Leia mais

Inteligência Artificial. Raimundo Osvaldo Vieira [DComp IFMA Campus Monte Castelo]

Inteligência Artificial. Raimundo Osvaldo Vieira [DComp IFMA Campus Monte Castelo] Inteligência Artificial Raimundo Osvaldo Vieira [DComp IFMA Campus Monte Castelo] Aprendizagem de Máquina Área da Inteligência Artificial cujo objetivo é o desenvolvimento de técnicas computacionais sobre

Leia mais

Aprendizado por Árvores de Decisão

Aprendizado por Árvores de Decisão Universidade Federal de Santa Maria Departamento de Eletrônica e Computação Prof. Cesar Tadeu Pozzer Disciplina de Programação de Jogos 3D E-mail: pozzer@inf.ufsm.br Período: 2006/01 Aprendizado por Árvores

Leia mais

Otimização Combinatória - Parte 4

Otimização Combinatória - Parte 4 Graduação em Matemática Industrial Otimização Combinatória - Parte 4 Prof. Thiago Alves de Queiroz Departamento de Matemática - CAC/UFG 2/2014 Thiago Queiroz (DM) Parte 4 2/2014 1 / 33 Complexidade Computacional

Leia mais

Inteligência Artificial

Inteligência Artificial https://www.pinterest.com/carlymundo/decision-tree-infographics/ Universidade Federal de Campina Grande Departamento de Sistemas e Computação Pós-Graduação em Ciência da Computação Inteligência Artificial

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Avaliação de Paradigmas Alessandro L. Koerich Mestrado/Doutorado em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Mestrado/Doutorado em Informática Aprendizagem

Leia mais

INF 1771 Inteligência Artificial

INF 1771 Inteligência Artificial Edirlei Soares de Lima INF 1771 Inteligência Artificial Aula 15 Árvores de Decisão Árvores de Decisão Uma das formas de algoritmo de aprendizado mais simples e de maior sucesso.

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Alessandro L. Koerih Programa de Pós-Graduação em Informátia Pontifíia Universidade Católia do Paraná (PUCPR Aprendizagem Bayesiana Plano de Aula Introdução Teorema de Bayes Classifiador

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Problema do Agrupamento Aprendizagem de Máquina Alessandro L. Koerich Seja x = (x 1, x 2,, x d ) um vetor d dimensional de características Seja D um conjunto de x vetores, D = { x(1), x(2),, x(n) } Problema

Leia mais

Inteligência Computacional [2COP229]

Inteligência Computacional [2COP229] Inteligência Computacional [2COP229] Mestrado em Ciência da Computação Sylvio Barbon Jr barbon@uel.br (2/41) Tema Aula Árvores de Decisão Aula- Árvore de Decisão (3/41) Sumário Introdução Indução de Árvores

Leia mais

APRENDIZAGEM DE MÁQUINA

APRENDIZAGEM DE MÁQUINA APRENDIZAGEM DE MÁQUINA (usando Python) Thiago Marzagão ÁRVORE DE DECISÃO & VALIDAÇÃO Thiago Marzagão APRENDIZAGEM DE MÁQUINA 1 / 20 árvore de decisão Aulas passadas: queríamos prever variáveis quantitativas.

Leia mais

Inteligência Artificial

Inteligência Artificial UFRGS 2 Inteligência Artificial Técnicas de Mineração de Dados Árvores de Decisão Regras de Associação Árvores de Decisão As árvores de decisão (AD) são ferramentas poderosas para classificação cuja maior

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Alessandro L. Koerich Redes Bayesianas Mestrado/Doutorado em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Mestrado/Doutorado em Informática Aprendizagem de Máquina

Leia mais

Aprendizado de Máquina. Combinando Classificadores

Aprendizado de Máquina. Combinando Classificadores Universidade Federal do Paraná (UFPR) Departamento de Informática (DInf) Aprendizado de Máquina Combinando Classificadores David Menotti, Ph.D. web.inf.ufpr.br/menotti Introdução O uso de vários classificadores

Leia mais

Sistemas Inteligentes Inteligência Artificial Segundo Trabalho

Sistemas Inteligentes Inteligência Artificial Segundo Trabalho Sistemas Inteligentes Inteligência Artificial Segundo Trabalho 07/10/2011 Prof. Flávio Miguel Varejão Este trabalho é uma variação do primeiro trabalho na qual se utilizará um método de indução de árvores

Leia mais

Buscas Informadas ou Heurísticas - Parte II

Buscas Informadas ou Heurísticas - Parte II Buscas Informadas ou Heurísticas - Parte II Prof. Cedric Luiz de Carvalho Instituto de Informática - UFG Graduação em Ciência da Computação / 2006 FUNÇÕES HEURÍSTICAS - 1/7 FUNÇÕES HEURÍSTICAS - 2/7 Solução

Leia mais

Aprendizagem a partir de Observações

Aprendizagem a partir de Observações Aprendizagem a partir de Observações Descrição de agentes que podem melhorar o seu comportamento a partir do estudo diligente das próprias experiências Índice Formas de aprendizagem Aprendizagem indutiva

Leia mais

Árvores de Decisão. Sumario. João Gama Árvores de decisão. Motivação Construção de uma árvore de decisão. Podar a árvore.

Árvores de Decisão. Sumario. João Gama Árvores de decisão. Motivação Construção de uma árvore de decisão. Podar a árvore. Árvores de Decisão João Gama Jgama@ncc.up.pt Sumario Árvores de decisão Motivação Construção de uma árvore de decisão Critérios para seleccionar atributos Entropia Podar a árvore Estimativas de erro Extensões

Leia mais

Resolução de Problemas: Busca Heurística

Resolução de Problemas: Busca Heurística Resolução de Problemas: Busca Heurística Aula 3 - Inteligência Artificial Busca Heurística Duas variações: Busca usando heurística (não numérica). Busca usando funções de avaliação e funções de custo.

Leia mais

1ª Lista de Exercícios

1ª Lista de Exercícios Universidade Federal de Campina Grande Disciplina: Mineração de Dados Período: 2008.3 Data: 21/10/08 Aluno: Halley F. S. de Freitas 1ª Lista de Exercícios O arquivo de dados é o do tempo: @relation weather.symbolic

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Introdução + Estudo de Caso Introdução Percepção de máquina Um

Leia mais

ÁRVORES DE DECISÃO PROFA. MARIANA KLEINA

ÁRVORES DE DECISÃO PROFA. MARIANA KLEINA ÁRVORES DE DECISÃO PROFA. MARIANA KLEINA DEFINIÇÃO Uma árvore de decisão é uma ferramenta de suporte à tomada de decisão que usa um gráfico no formato de árvore e demonstra visualmente as condições e as

Leia mais

Extracção de Conhecimento

Extracção de Conhecimento Programa Doutoral em Engenharia Informática Mestrado Integrado em Engenharia Informática LIACC/FEUP Universidade do Porto www.fe.up.pt/ ec rcamacho@fe.up.pt Outubro 2007 Algoritmos Genéticos alguns destes

Leia mais

SCC0173 Mineração de Dados Biológicos

SCC0173 Mineração de Dados Biológicos SCC0173 Mineração de Dados Biológicos Classificação I: Algoritmos 1Rule e KNN Prof. Ricardo J. G. B. Campello SCC / ICMC / USP 1 Créditos O material a seguir consiste de adaptações e extensões dos originais:

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Plano de Aula Aprendizagem de Máquina Aula 1 Alessandro L. Koerich Introdução Mestrado em Informática Aplicada Pontifícia Universidade Católica do Paraná (PUCPR) Introdução à Aprendizagem de Máquina Por

Leia mais

Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos baseados em instâncias guardam os

Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos baseados em instâncias guardam os Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos baseados em instâncias guardam os exemplos de treinamento A generalização é posposta até

Leia mais

θ depende de um parâmetro desconhecido θ.

θ depende de um parâmetro desconhecido θ. 73 Método de Máxima Verosimilhança (Maximum Likelihood) Seja uma variável aleatória (v. a.) cuja densidade de probabilidade depende de um parâmetro desconhecido. Admite-se conhecida a forma de Exemplo

Leia mais

Aprendizado de Máquina

Aprendizado de Máquina Tópicos Aprendizado de Máquina Aula 3 http://www.ic.uff.br/~bianca/aa/. Introdução Cap. (6/03). Classificação Indutiva Cap. (3/03) 3. Cap. 3 (30/03) 4. Ensembles - Artigo (06/04) 5. Avaliação Experimental

Leia mais

Aprendizagem de Máquina

Aprendizagem de Máquina Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Rejeição Introdução Em aplicações reais, sistemas de reconhecimento

Leia mais

Classificação Automática de Gêneros Musicais

Classificação Automática de Gêneros Musicais Introdução Método Experimentos Conclusões Utilizando Métodos de Bagging e Boosting Carlos N. Silla Jr. Celso Kaestner Alessandro Koerich Pontifícia Universidade Católica do Paraná Programa de Pós-Graduação

Leia mais

Árvores. Thiago Martins, Fabio Gagliardi Cozman. PMR2300 / PMR3201 Escola Politécnica da Universidade de São Paulo

Árvores. Thiago Martins, Fabio Gagliardi Cozman. PMR2300 / PMR3201 Escola Politécnica da Universidade de São Paulo PMR2300 / PMR3201 Escola Politécnica da Universidade de São Paulo Árvore: estrutura composta por nós e arestas entre nós. As arestas são direcionadas ( setas ) e: um nó (e apenas um) é a raiz; todo nó

Leia mais

Método para Classificação: - Naïve Bayes.

Método para Classificação: - Naïve Bayes. Método para Classificação: - Naïve Bayes. Modelagem statística (Bayesiana): Contrariamente ao 1R, usa todos os atributos; Duas premissas: Atributos igualmente importantes; Atributos estatisticamente independentes

Leia mais