Inteligência Artificial. Raimundo Osvaldo Vieira [DComp IFMA Campus Monte Castelo]

Transcrição

1 Inteligência Artificial Raimundo Osvaldo Vieira [DComp IFMA Campus Monte Castelo]

2 Aprendizagem de Máquina Área da Inteligência Artificial cujo objetivo é o desenvolvimento de técnicas computacionais sobre o processo de aprendizado (BISHOP, 2007)

3 Aprendizagem de Máquina Aprendizagem de Máquina (AM) é uma área de pesquisa que visa desenvolver programas computacionais capazes de automaticamente melhorar seu desempenho por meio de experiência (MITCHELL, 1997)

4 Aprendizagem de Máquina Programação de computadores para otimizar um critério de desempenho usando experiências passadas, chamadas de exemplos ou simplesmente dados de entrada (ALPAYDIN, 2009)

5 Objetivo da Aprendizagem de Máquina Desenvolvimento de técnicas computacionais sobre o aprendizado bem como a construção de sistemas capazes de adquirir conhecimento (MONARD; BANAUSKAS, 2005)

6 Aprendizagem de Máquina Um programa aprende a partir da experiência E, em relação a uma classe de tarefas T, com medida de desempenho P, se seu desempenho em T, medido por P, melhora com E (MITCHELL, 1997)

7 Aprendizagem de Máquina A ideia por trás da aprendizagem é que as percepções devem ser usadas não apenas para agir, mas também para melhorar a habilidade do agente (RUSSEL; NORVING, 2004) Agente Sensores? Atuadores Percepções Ações Ambiente

8 Paradigmas de Aprendizagem Aprendizado Supervisionado Baseado em um conjunto de objetos para os quais as saídas desejadas são conhecidas É fornecido ao algoritmo um conjunto de exemplos de treinamento, para os quais é conhecido o rótulo da classe associada (MONARD; BARANAUSKAS, 2005) Aprendizado Não-Supervisionado Baseado apenas nos objetos da base, cujos rótulos são desconhecidos. O algoritmo analisa os exemplos e tenta determinar se alguns deles podem ser agrupados de alguma maneira, formando agrupamentos ou clusters. (MONARD; BARANAUSKAS, 2005)

9 Aprendizado Supervisionado O objetivo do algoritmo de indução é construir um classificador que possa determinar corretamente a classe de novos exemplos ainda não rotulados (MONARD; BARANAUSKAS, 2005)

10 O Processo de Classificação Conhecimento do Domínio Especialista Atributos Conhecimento do Domínio Classe Classificador Especificação do Problema T 1 X 1 X 2... X M Y x 11 x x 1m y 1 Dados Brutos x 21 x x 2m y 2 Aprendizado de Máquina T 2 T n x n1 x n2... x nm y n Avaliação

11 Algumas Definições Importantes Indutor Programa de Aprendizado, também chamado de algoritmo de indução; Tem por objetivo a extração de um bom classificador a partir de um conjunto de exemplos rotulados. Exemplo Descreve o objeto de interesse; Geralmente representado por um vetor de atributos. Atributo Descreve uma característica ou um aspecto de um exemplo; Pode ser nominal ou contínuo;

12 Algumas Definições Importantes Classe É o que se deseja aprender para fazer previsões a respeito. Conjunto de Exemplos VALORES DE ATRIBUTOS + CLASSE ASSOCIADA São tuplas: X i ( x, x,..., x i i2, ) ( x 1 im i i i y, y ) x i é elemento de dom(x 1 ) x dom(x 2 ) x... x dom(x n ). y i pertence a uma das k classes.

13 Algumas Definições Importantes Classificador Também chamado de hipótese, é gerado pelo indutor, a partir de exemplos de treinamento. Formalmente, um exemplo é um par (x i, f(x i )), onde x i é a entrada e f(x i ) é a saída. Tarefa do Indutor: a partir de um conjunto de exemplos, induzir uma função h que aproxima f, normalmente desconhecida. h( x ) f ( x ) i i

14 Medidas de Desempenho Taxa de Erro err(h) É calculada através da comparação da classe verdadeira de cada exemplo com o rótulo atribuído pelo classificador induzido. err( h) 1 n n i 1 y h( i x i ) Taxa de Precisão acc(h) Complemento da taxa de erro acc( h) 1 err( h)

15 Árvores de Decisão Uma árvore de decisão é uma estrutura de dados, definida recursivamente como: Um nó folha que corresponde a uma classe ou Um nó de decisão que contém um teste sobre algum atributo. (MONARD; BARANAUSKAS, 2005) Toda árvore de decisão pode ser representada por um conjunto de regras (se...senão); Cada regra tem seu início na raiz da árvore e caminha até uma de suas folhas.

16 Árvores de Decisão Paciente se sente bem? sim não saudável não Paciente tem dor? sim Temperatura do paciente 37 > 37 doente saudável doente

17 Árvores de Decisão se paciente se sente bem = sim então classe = saudável senão se paciente tem dor = não então se temperatura do paciente 37 então classe = saudável senão classe = doente fim se senão classe = doente fim se fim se

18 Árvores de Decisão: Construção Supondo a existência de um conjunto de treinamento T e assumindo um conjunto de classes denotadas por {C 1, C 2,..., C k }, constrói-se uma árvore de decisões através dos seguinte passos: 1. Se T contém um ou mais exemplos, todos da mesma classe C j, a árvore de decisões para T é um nó folha que identifica a classe C j. 2. Se T não contém exemplos, a árvore é um nó folha, mas a classe associada deve ser determinada a partir de informações além de T. 3. Se T contém exemplos que pertencem a várias classes, deve-se refinar T em subconjuntos de exemplos. 4. Os passos 1, 2 e 3 são aplicados recursivamente para cada subconjunto de exemplos de treinamento.

19 Árvores de Decisão: Um Exemplo Exemplo Aparência Temperatura Umidade Ventando Viajar? T 1 sol sim vá T 2 sol sim não_vá T 3 sol não vá T 4 sol não não_vá T 5 sol não não_vá T 6 nublado sim vá T 7 nublado não vá T 8 nublado sim não_vá T 9 nublado não vá T 10 nublado sim vá T 11 chuva não vá T 12 chuva sim não_vá T 13 chuva sim não_vá T 14 chuva não vá T 15 chuva não vá

20 Árvores de Decisão: Um Exemplo A indução é iniciada considerando que o conjunto de treinamento T contém exemplos pertencentes a mais de uma classe. Escolhe-se um teste baseado em apenas um atributo. Aparência sol nublado chuva

21 Árvores de Decisão: Um Exemplo Teste Exemplo Aparência Temperatura Umidade Ventando Viajar? se aparencia = sol se aparencia = nublado se aparencia = chuva T 1 sol sim não_vá T 2 sol sim vá T 3 sol não não_vá T 4 sol não vá T 5 sol não vá T 6 nublado sim vá T 7 nublado não vá T 8 nublado sim não_vá T 9 nublado não vá T 10 nublado sim vá T 11 chuva não vá T 12 chuva sim não_vá T 13 chuva sim não_vá T 14 chuva não vá T 15 chuva não vá

22 Árvores de Decisão: Um Exemplo Assumamos que tenha sido escolhido o atributo umidade para as sub-árvores sol e nublado e ventando para a sub-árvore chuva Aparência sol nublado chuva umidade umidade ventando 78 >78 70 >70 sim não não_vá vá não_vá vá não_vá vá

23 Árvores de Decisão: Um Exemplo Esta árvore pode ser podada. Note que só o exemplo 8 cobre a situação em que aparência = nublado E umidade 70; Pode indicar overfitting. Aparência sol nublado chuva umidade vá ventando 78 >78 sim não não_vá vá não_vá vá

24 Árvores de Decisão: Construção A escolha do melhor atributo (possibilidades) Aleatória; Menos valores; Mais valores; Ganho máximo

25 Árvores de Decisão: Construção Cálculo da Informação Entropia Seja V uma base de dados com n objetos. Suponha que o rótulo do atributo de classe possa assumir m valores distintos que definem m classes distintas, C i, i = 1,..., m. Seja n i a quantidade de objetos de V na classe C i. m H V = p i log 2 p i Onde p i é a probabilidade de que um objeto pertença à classe C i, estimada como n i /n A entropia é medida em bits. i=1

26 Árvores de Decisão: Construção Cálculo da Informação Entropia dos Subconjuntos gerados por A: Resto(A) Se um atributo A pode assumir v valores distintos, {a 1, a 2,..., a v }, então ele divide o conjunto de treinamento T em subconjuntos T 1, T 2,..., T v. Onde T j contém os objetos em T que assumem o valor a j de A. Se A fosse selecionado como atributo teste (melhor atributo nó) a ser expandido, esses subconjuntos corresponderiam aos ramos que partem do nó que contém o conjunto T j.

27 Árvores de Decisão: Construção Cálculo da Informação Entropia Remanescente: Resto(A) Seja n ij a quantidade de objetos da classe C i em um subconjunto T j. A entropia esperada remanescente após testar o atributo A é dada por: v Resto A = j=1 n1j + + n mj n H n 1j,, n mj Onde o termo que multiplica a informação atua como um peso para o j-ésimo subconjunto e é o número de objetos no subconjunto dividido pelo número total de objetos em T.

28 Árvores de Decisão: Construção Cálculo da Informação O ganho de informação do teste do atributo A é: ganho A = H V Resto A E representa a redução esperada na entropia quando se conhece o valor do atributo A.

29 Árvores de Decisão: Construção Cálculo da Informação O cálculo do ganho de informação privilegia atributos com grande número de possíveis valores. Podemos estender a Razão de Ganho: v SE A = j=1 nj n log 2 n j n SE(A) representa a informação potencial gerada dividindo-se a base de dados V em v subconjuntos correspondentes aos v valores possíveis do atributo A.

30 Árvores de Decisão: Construção Cálculo da Informação A Razão de Ganho é dada por: Rganho A = ganho(a) SE(A) O atributo com maior razão de ganho é selecionado para fazer parte da árvore de decisão.

31 Árvores de Decisão: Classificação de Novos Exemplos Classificando novos exemplos Inicia-se pela raiz da árvore e caminha-se através de cada nó de decisão até que uma folha seja encontrada. Interpretação Geométrica Considerando os exemplos como um vetor de m atributos, tal vetor corresponde a um ponto no espaço m-dimensional dos atributos. A árvore de decisão corresponde a uma divisão deste espaço em regiões, onde cada região corresponde a uma classe.

32 Mais sobre Avaliação de Desempenho O desempenho do classificador depende fortemente de sua flexibilidade (bias) e da qualidade de seu treinamento (variância) Medidas de Avaliação Taxa de acerto ou erro Acurácia (ACC - taxa global de sucesso): número de predições corretas dividido pelo total de classificações. Precisão (Pr - Precision) e Revocação (Re recall): associadas ao conceito de relevância. Pr mede a qualidade (exatidão) do algoritmo e Re mede a sua completude.

33 Mais sobre Avaliação de Desempenho Medidas de Avaliação: Consistência e Completude COMPLETUDE: se consegue classificar todos os exemplos; CONSISTÊNCIA: se consegue classificar corretamente os exemplos; Com base nestes parâmetros, uma hipóteses pode ser: Completa e Consistente; Incompleta e Consistente; Completa e Inconsistente; Incompleta e Inconsistente.

34 Mais sobre Avaliação de Desempenho Medidas de Avaliação: Consistência e Completude

35 Mais sobre Avaliação de Desempenho Medidas de Avaliação Precisão e Revocação Pr = Relevantes Recuperados Recuperados Re = Relevantes Recuperados Relevantes

36 Mais sobre Avaliação de Desempenho Medidas de Avaliação Matriz de Confusão: relaciona as classes desejadas com as classes preditas Classe Original Classe Predita Positiva Negativa Positiva VP FN Negativa FP VN Taxa de Verdadeiros Positivos (TVP) Taxa de Falsos Positivos (TFP)

37 Mais sobre Avaliação de Desempenho Medidas de Avaliação Taxa de Verdadeiros Positivos (TVP) TVP = VP VP + FN Taxa de Falsos Positivos (TFP) TFP = FP FP + VN Precisão e Revocação podem ser expressas como Pr = VP FP + VP Re = VP FN + VP