Aprendizagem de Máquina

Transcrição

1 Aprendizagem de Máquina Alessandro L. Koerih Programa de Pós-Graduação em Informátia Pontifíia Universidade Católia do Paraná (PUCPR Aprendizagem Bayesiana

2 Plano de Aula Introdução Teorema de Bayes Classifiador Ótimo de Bayes Classifiador Naïve Bayes Exemplos Resumo

3 Referênias Duda R., Hart P., Stork D. Pattern Classifiation 2ed. Willey Intersiene, Capítulos 2 & 3 Mithell T. Mahine Learning. WCB MGraw Hill, Capítulo 6. Theodoridis S., Koutroumbas K. Pattern Reognition. Aademi Press, Capítulo 2

4 Introdução O pensamento Bayesiano fornee uma abordagem probabilístia para aprendizagem Está baseado na suposição de que as quantidades de interesse são reguladas por distribuições de probabilidade. Distribuição de probabilidade: é uma função que desreve a probabilidade de uma variável aleatória assumir ertos valores.

5 Introdução Deisões ótimas podem ser tomadas om base nestas probabilidades onuntamente om os dados observados. Fornee a base para algoritmos de aprendizagem que manipulam probabilidades, bem omo para outros algoritmos que não manipulam probabilidades expliitamente.

6 Introdução Os métodos Bayesianos são importantes por dois motivos: 1. Forneem algoritmos prátios de aprendizagem: Naïve Bayes Redes Bayesianas Combinam onheimento a priori om os dados observados Requerem probabilidades a priori 2. Forneem uma estrutura oneitual útil: Norma de Ouro para avaliar outros algoritmos de aprendizagem. Norma de Ouro menor erro possível

7 Caraterístias da Aprendizagem Bayesiana Cada exemplo de treinamento pode derementar ou inrementar a probabilidade de uma hipótese ser orreta. Conheimento a priori pode ser ombinado om os dados observados para determinar a probabilidade de uma hipótese. Métodos Bayesianos podem aomodar hipóteses que fazem predições probabilístias. Ex.: o paiente tem uma hane de 93% de possuir a doença. Novas instânias podem ser lassifiadas ombinando a probabilidade de múltiplas hipóteses ponderadas pelas suas probabilidades.

8 Difiuldades Prátias Métodos Bayesianos requerem o onheimento iniial de várias probabilidades. Quando não onheidas, podem ser estimadas: a partir de onheimento prévio dados previamente disponíveis suposições a respeito da forma da distribuição. Custo omputaional signifiativo para determinar a hipótese ótima de Bayes É geralmente linear om o número de hipóteses

9 Teorema de Bayes ( ( ( ( X P P X P X P P(: probabilidade a priori da lasse P(X : probabilidade do vetor X dada a lasse. P( X: probabilidade da lasse dado o vetor X P(X: probabilidade a priori do vetor de treinamento X

10 Teorema de Bayes P( X é hamada de probabilidade a posteriori de porque ela reflete nossa onfiança que se mantenha após termos observado o vetor de treinamento X. P( X reflete a influênia do vetor de treinamento X. Em ontraste, a probabilidade a priori P( é independente de X.

11 Teorema de Bayes Geralmente queremos enontrar a lasse mais provável C, sendo forneidos os exemplos de treinamento X. Ou sea, a lasse om o máximo a posteriori (MAP ( ( arg max ( ( ( arg max ( arg max P X P X P P X P X P C C C MAP

12 Teorema de Bayes Desprezamos o termo P(X porque ele é uma onstante independente de. Se assumirmos que ada lasse em C é igualmente provável a priori, i.e. P( i = P( i e em C Então, podemos simplifiar e esolher a lasse de máxima probabilidade ondiional (maximum likelihood = ML.

13 Teorema de Bayes O termo P(X é hamado de probabilidade ondiional (ou likelihood de X Sendo forneido, qualquer lasse que maximiza P(X é hamada de uma hipótese ML. ML arg max C P( X

14 Teorema de Bayes: Exemplo Considere um problema de diagnóstio médio onde existem duas lasses possíveis: O paiente tem H1N1 O paiente não tem H1N1 As araterístias disponíveis são um exame de laboratório om dois resultados possíveis: : positivo : negativo

15 Teorema de Bayes: Exemplo Temos o onheimento prévio que na população inteira somente 0,008 tem esta doença. O exame retorna um resultado positivo orreto somente em 98% dos asos nos quais a doença está presente. O exame retorna um resultado negativo orreto somente em 97% dos asos nos quais a doença não estea presente. Nos outros asos, o teste retorna o resultado oposto.

16 Teorema de Bayes: Exemplo P(H1N1 =? P( H1N1 =? P( H1N1 =? P( H1N1 =? P( H1N1 =? P( H1N1 =?

17 Teorema de Bayes: Exemplo Supondo que um paiente fez um exame de laboratório e o resultado deu positivo. O paiente tem H1N1 ou não?

18 Apliando o Teorema de Bayes Calulando a lasse om maior probabilidade a posteriori: P( H1N1 P(H1N1 = 0,98 x 0,008 = 0,0078 P( H1N1 P( H1N1 = 0,03 x 0,992 = 0,0298 Assim: MAP = H1N1

19 Formulação Básia de Probabilidades

20 Classifiador Ótimo de Bayes Consideramos até agora a questão: Qual a lasse mais provável ( MAP dado os exemplos de treinamento X? Entretanto, a questão mais signifiativa é na verdade: Qual é a lassifiação mais provável de uma nova instânia dado os dados de treinamento? AlasseMAP( MAP é ou não a lassifiação mais provável?

21 Classifiador Ótimo de Bayes Considere três lasses possíveis 1, 2 e 3 e suponha as seguintes probabilidades a posteriori destas lasses o onunto de treinamento X: P( 1 X = 0.4 P( 2 X = 0.3 P( 3 X = 0.3 Qual é a lasse MAP?

22 Classifiador Ótimo de Bayes A lassifiação mais provável de uma nova instânia x é obtida através da maior probabilidade a posteriori. Assim, a P( x que a orreta lassifiação para a instânia x sea é: Pˆ ( ˆ x arg max P( Qualquer sistema que lassifique novas instânias de aordo om a equação aima é hamada de um lassifiador ótimo de Bayes. max C C P( x x

23 Exemplo Exemplo: Considere as 14 instânias de treinamento de PlayTennis e uma nova instânia de teste (x t que devemos lassifiar: x t = <Outlook=sunny, Temperature=ool, Humidity=high, Wind=strong> Nossa tarefa é predizer o valor alvo (yes ou no do oneito PlayTennis para esta nova instânia, ou sea: Pˆ ( x t max [ yes, no ] P( x t ˆ arg max [ yes, no ] P( x t

24 Exemplo Então, dado x t, devemos estimar duas probabilidades a posteriori: P yes x P no x ( t ( t Apliando o teorema de Bayes P( x t P( x t P( x P( t Ou sea, para estimar a probabilidade a posteriori, devemos onheer:. P (? P ( x t? P(? x t

25 Exemplo Atributo alvo: PlayTennis (yes, no

26 Exemplo Logo, temos que estimar: duas probabilidades a priori das lasses: P( yes P( no probabilidade a priori do vetor x t : P( x t? duas probabilidades ondiionais: P( x yes t??? P( x no t Como fazer isso dadas as 14 instânias de treinamento da tabela??

27 Exemplo P( yes 9 /14 0,643 P( no 5 /14 0,357 P( outlook sunny, temperatur e hot, humidity high, wind weak yes? P( outlook overast, temperatur e hot, humidity high, wind weak yes? P( outlook rain, temperatur e hot, humidity high, wind weak yes? P( outlook rain, temperatur e ool, humidity normal, wind strong yes.ou sea, temos que estimar todas as probabilidades ondiionais, onsiderando todas as lasses possíveis e todos os vetores de araterístias possíveis: 2 x [3 x 3 x 2 x 2] = 72 probabilidades ondiionais

28 Exemplo 2 x [3 x 3 x 2 x 2] = 72 pois: temos 2 lasses temos 4 atributos e seus possíveis valores: Outlook (sunny/overast/rain [3 valores possíveis] Temperature (hot/mild/ool [3 valores possíveis] Humidity (high/normal [2 valores possíveis] Wind (weak/strong [2 valores possíveis] Logo, temos 72 probabilidades ondiionais possíveis. e P(x t?

29 Classifiador Ótimo de Bayes Limitações prátias Como estimar om onfiança todas estas probabilidades ondiionais? Conunto de treinamento om muitas instânias! Conheer a distribuição de probabilidade! A probabilidade a priori alulada geralmente não reflete a população.

30 Classifiador Naïve Bayes Naïve Bayes é um dos métodos de aprendizagem mais prátios. Quando usar? disponibilidade de um onunto de treinamento grande ou moderado. os atributos que desrevem as instânias forem ondiionalmente independentes dada a lasse. Apliações bem suedidas: diagnóstio médio lassifiação de doumentos de textuais

31 Classifiador Naïve Bayes Se aplia a tarefas de aprendizagem onde: ada instânia x é desrita por uma onunção de valores de atributos a função alvo f(x pode assumir qualquer valor de um onunto V. um onunto de exemplos de treinamento da função alvo é forneido uma nova instânia é desrita pela tupla de valores de atributos <a 1, a 2,..., a n >. A tarefa é predizer o valor alvo (ou lasse para esta nova instânia.

32 Classifiador Naïve Bayes A solução Bayesiana para lassifiar uma nova instânia onsiste em: atribuir o valor alvo mais provável ( MAP dados os valores dos atributos <a 1, a 2,..., a n > que desrevem a instânia. MAP arg max P( a, a2,..., C a 1 n Mas podemos usar o teorema de Bayes para reesrever a expressão...

33 Classifiador Naïve Bayes Devemos agora estimar os dois termos da equação aima baseando-se nos dados de treinamento. P( é fáil de estimar... Porém, P(a 1,a 2,...,a n... (,...,, ( max arg,...,, ( (,...,, ( max arg,...,, ( max arg n C n n C MAP n C MAP P a a a P a a a P P a a a P a a a P

34 Classifiador Naïve Bayes O lassifiador Naïve Bayes é baseado na suposição simplifiadora de que os valores dos atributos são ondiionalmente independentes dado o valor alvo. Ou sea, a probabilidade de observar a onunção de atributos a 1, a 2,..., a n é somente o produto das probabilidades para os atributos individuais: P a, a,..., a P( a ( 1 2 n i i

35 Classifiador Naïve Bayes Temos assim o lassifiador Naïve Bayes: ˆ NB arg max C P( i P( a i onde NB india o valor alvo forneido pelo algoritmo Naïve Bayes.

36 Classifiador Naïve Bayes Em resumo, o algoritmo Naïve Bayes envolve Aprendizagem: os termos P( e P(a i são estimados baseado nas suas frequênias no onunto de treinamento. Estas probabilidades aprendidas são então utilizadas para lassifiar uma nova instânia apliando a equação vista anteriormente ( NB

37 Classifiador Naïve Bayes Algoritmo Naïve Bayes Treinamento_Naïve_Bayes(onunto de exemplos Para ada valor alvo (lasse P ( estimar P( Para ada valor de atributo a i P (a i estimar P(a i de ada atributo a Classia_Naïve_Bayes(x t ˆ arg max P' ( P' ( a NB C a x i i

38 Classifiador Naïve Bayes Exemplo: Considere novamente os 14 exemplos de treinamento de PlayTennis e uma nova instânia que o Naïve Bayes deve lassifiar: x t = <outlook=sunny, temperature=ool, humidity=high, wind=strong> A tarefa é predizer o valor alvo (yes ou no do oneito PlayTennis para esta nova instânia.

39 Classifiador Naïve Bayes Atributo alvo: PlayTennis (yes, no

40 Classifiador Naïve Bayes O valor alvo NB será dado por: NB arg arg max { yes, no} max { yes, no} P( P( i P( a i P( Outlook sunny P( Humidity high P( Temperatur e ool P( Wind strong Note que a i foi instaniado utilizando os valores partiulares do atributo da instânia x t. Para alular NB são neessárias 10 probabilidades que podem ser estimadas a partir dos exemplos de treinamento.

41 Classifiador Naïve Bayes Probabilidades a priori: P(PlayTennis = yes = 9/14 = 0.64 P(PlayTennis = no = 5/14 = 0.36 Probabilidades ondiionais: P(Wind=strong PlayTennis = yes = 3/9 = 0.33 P(Wind=strong PlayTennis = no = 3/5 =

42 Classifiador Naïve Bayes Usando estas estimativas de probabilidade e estimativas similares para os valores restantes dos atributos, alulamos NB de aordo om a equação anterior (omitindo nome dos atributos : P(yes P(sunny yes P(ool yes P(high yes P(strong yes = 0,0053 P(no P(sunny no P(ool no P(high no P(strong no = 0,026 Então o lassifiador atribui o valor alvo PlayTennis = no para esta nova instânia.

43 Classifiador Naïve Bayes Sutilezas: 1. A suposição de independênia ondiional é muitas vezes violada P a, a,..., P( a ( mas, de qualquer maneira, ele funiona bem. Note que não é neessário estimar probabilidades a posteriori P ( x para ser orreta. Neessita somente que i i arg max P' ( P' ( a arg max P( P( a1,..., an C i i C Probabilidades Naïve Bayes a posteriori próximas de 0 e 1 são geralmente não realístias

44 Classifiador Naïve Bayes Sutilezas: 2. E se nenhuma das instânias de treinamento om valor alvo tiver uma atributo de valor a i? Então, e... A solução típia é uma estimativa Bayesiana para P (a i. 0 ( ' a i P m n mp n a P i i ( ' 0 ( ' ( ' i i a P P

45 Classifiador Naïve Bayes P' ( a i mp m onde: n é o número de exemplos de treinamento para os quais =, n é o número de exemplos para os quais = e a = a i p é a estimativa a priori para P (a i m é o peso dado as priori (i.e. número de exemplos virtuais. i n n

46 Exemplo: Classifiando Texto Por que? Aprender quais notíias são interessantes Aprender a lassifiar páginas WEB por assunto Naïve Bayes é um dos algoritmos mais efiientes Quais atributos devemos usar para representar doumentos de texto?

47 Exemplo: Classifiando Texto Contexto Considere um espaço de instânias X onsistindo de todos os doumentos de texto possíveis. Dados exemplos de treinamento, de alguma função alvo f(x que pode assumir valores de um onunto finito C. A tarefa de aprendizagem é aprender, a partir dos exemplos de treinamento, a predizer o valor alvo para os doumento de texto subsequentes. Considere a função alvo omo sendo doumentos interessantes e não interessantes

48 Exemplo: Classifiando Texto Proeto do Naïve Bayes: Como representar um doumento de texto arbitrário em termos de valores de atributos? Deidir omo estimar as probabilidades neessárias para o Naïve Bayes.

49 Exemplo: Classifiando Texto Representação de texto arbitrário Dado um doumento de texto, este parágrafo, por exemplo, definimos um atributo para ada posição de palavra no doumento e definimos o valor do atributo omo sendo a palavra em português enontrada nesta posição. O parágrafo anterior pode ser desrito por 34 valores de atributos orrespondendo as 34 posições de palavras. O valor do primeiro atributo é a palavra Dado e do segundo é a palavra um e assim por diante.

50 Exemplo: Classifiando Texto Dada a representação de doumento de texto, podemos apliar o Naïve Bayes. Assumimos um onunto de 700 doumentos lassifiados por uma pessoa omo não interessantes outros 300 lassifiados omo interessantes

51 Exemplo: Classifiando Texto Coneito alvo interessante: doumento {+, } 1. Representar ada doumento por um vetor de palavras Um atributo por posição da palavra no doumento 2. Aprendendo usar exemplos de treinamento para estimar P (+ P ( P (do + P (do

52 Exemplo: Classifiando Texto Suposição da independênia ondiional Naïve Bayes onde P(a i = w k é a probabilidade que a palavra na posição i é w k, dado. Mais uma suposição ( 1 ( ( do length i k i w a P do P m i w a P w a P k m k i, ( (

53 Exemplo: Classifiando Texto Learn_Naïve_Bayes_Text (Examples, C 1. Coleionar todas palavras, pontuação e outros tokens que oorrem em Examples Voabulary todas as palavras distintas e outros tokens que oorrem em Examples 2. Calular as probabilidade neessárias P ( e P (w k...

54 Exemplo: Classifiando Texto Para ada valor alvo em V faça dos subonunto de doumento de Examples para o qual o valor alvo é P( dos Examples Text um doumento únio riado pela onatenação de todos os membros de dos n número total de posições distintas de palavras em Text Para ada palavra w k em Voabulary n k número de vezes que a palavra w k oorre em Text P( w k n nk 1 Voabulary

55 Exemplo: Classifiando Texto Classify_Naïve_Bayes_Text (Do positions todas as posições das palavras em Do que ontém tokens enontrados em Voabulary retornar NB onde NB arg max C P( i positions P( a i

56 Exemplo: Classifiando Texto

57 Exemplo: Classifiando Texto Dados doumentos de treinamento de ada grupo, aprenda a lassifiar novos doumentos de aordo om o newsgroup de origem. Naïve Bayes: preisão de lassifiação: 89%

58 Exemplo: Classifiando Texto Artigo de re.sport.hokey

59 Curva de Aprendizagem

60 Resumo Métodos Bayesianos: aomodam onheimento prévio e os dados observáveis; atribuem probabilidade a posteriori para ada lasse andidata, baseando se na probabilidade a priori e nos dados. podem determinar a hipótese mais provável (MAP, tendo os dados. Bayes Ótimo: ombina predições de todas lasses, ponderadas pela probabilidade a posteriori, para alular a lassifiação mais provável de uma nova instânia.

61 Resumo Naïve Bayes: é hamado de naïve (simples, não sofistiado, porque assume que os valores dos atributos são ondiionalmente independentes. se a ondição é enontrada, ele fornee a lassifiação MAP, aso ontrário, pode forneer também bons resultados.