Aprendizagem Estatística de Dados. Francisco Carvalho

Transcrição

1 Aprendzagem Esaísca de Dados Francsco Carvalho

2 A função de Densdade Normal Valor Esperado Caso conínuo [ f ] Caso dscreo f p d [ f ] f p D

3 A função de Densdade Normal Caso Unvarado função de densdade p ep Méda [ ] p d

4 A função de Densdade Normal Caso Unvarado Varânca [ ] A fdp normal un-varada é compleamene especfcada pelos parâmeros: a méda e a varânca : p d p ~ N,

5 A função de Densdade Normal Caso Unvarado

6 A função de Densdade Normal Caso Mulvarado função de densdade normal mul-varada em d dmensões p d ep

7 A função de Densdade Normal Caso Mulvarado onde é um veor coluna com d componenes é o veor de médas de d componenes é a marz de covarâncas dd é o deermnane de - é a nversa de - é a ransposa de -

8 A função de Densdade Normal Caso Mulvarado produo nerno Novamene a b d a b p ~ N, Méda [ ] p d

9 A função de Densdade Normal Caso Mulvarado [ Varânca ] O valor esperado de um veor ou de uma marz é calculado a parr do valor esperado dos seus componenes p d

10 A função de Densdade Normal Caso Mulvarado Se é o -ésmo componene de, o - ésmo componene de e j o j-ésmo componene de [ ] j [ j j ] Os elemenos da dagonal = são as respecvas varâncas de Os ouros elemenos j são as covarâncas enre e j

11 A função de Densdade Normal Caso Mulvarado Se e j são esascamene ndependenes, j = 0 Se odos os elemenos fora da dagonal são nulos, p se reduz ao produo de densdades normas un-varadas dos componenes de Se p~n,, A é uma marz dk e y=a é um veor de k componenes, enão py~na, A A

12 A função de Densdade Normal Caso Mulvarado

13 A função de Densdade Normal Caso Mulvarado Se k= A é um veor a, y = a é um escalar que represena a projeção de em uma lnha na dreção de a Nesse caso a a é a varânca da projeção de em a Dsanca de Mahalanobs enre e r

14 A função de Densdade Normal Caso Mulvarado Os ponos de densdade consane são aqueles para os quas é consane

15 A função de Densdade Normal Caso Mulvarado

16 Classfcação com aa de erro mínma Função dscrmnane Se Funções dscrmn. para a Densdade Normal ln ln P p g, N ~ p ln P ln ln d g

17 Funções dscrmn. para a Densdade Normal Caso : = I Os arbuos são esascamene ndependenes e cada arbuo em a mesma varânca Nesse caso, = I, = d e - = / I

18 Funções dscrmn. para a Densdade Normal Caso : = I e d/ ln são ndependenes de consanes advas que podem ser gnoradas Assm g ln P

19 Funções dscrmn. para a Densdade Normal Caso : = I Norma Eucldana Se as probabldades a pror são dferenes e se esá gualmene prómo de dos dferenes veores méda a decsão óma favorecerá a classe de maor probabldade a pror

20 Caso : = I Epandndo-se a forma quadráca Assm O ermo quadráco é o mesmo para odo e pode ser gnorado Funções dscrmn. para a Densdade Normal ln P g

21 Caso : = I Funções Dscrmnanes Lneares onde w 0 é o lmar ou o vés da -ésma classe Funções dscrmn. para a Densdade Normal ln P g 0 w g w w ln P w 0

22 Funções dscrmn. para a Densdade Normal Caso : = I Máquna lnear: classfcador que usa funções dscrmnanes lneares Superfíces de decsão para uma máquna lnear: pedaços de hperplanos defndos pelas equações lneares g = g j para as duas classes de maor probabldade a pror

23 Funções dscrmn. para a Densdade Normal Caso : = I Nesse caso w 0 0 onde w j P ln 0 j P j j j

24 Funções dscrmn. para a Densdade Normal

25 Funções dscrmn. para a Densdade Normal

26 Funções dscrmn. para a Densdade Normal Caso : = I Essas equações defnem um hperplano aravés do pono 0 que é orogonal ao veor w. w = - j mplca que o hperplano que separa e j é orogonal a lnha que lga as médas

27 Funções dscrmn. para a Densdade Normal Caso : = I Se P = P j, 0 j Se P P j, o pono 0 se afasa da méda mas verossíml

28 Funções dscrmn. para a Densdade Normal Caso : = I Se as probabldades a pror P são as mesmas para as c classe, enão o ermo ln P pode ser gnorado Classfcador baseado na dsanca mínma: Para classfcar calcule - para cada veor de médas e afee a classe c al que - é mínmo

29 Funções dscrmn. para a Densdade Normal Caso : = I

30 Funções dscrmn. para a Densdade Normal Caso : = As marzes de covarâncas de odas as classes são dêncas Geomercamene: as observações se enconram em hperelpsódes de mesmo amanho e forma e d/ ln são ndependenes de e podem ser gnorados

31 Funções dscrmn. para a Densdade Normal Caso : = Função dscrmnane: g ln P Se as probabldades a pror são odas dêncas, o ermo lnp pode ser gnorado

32 Funções dscrmn. para a Densdade Normal Caso : = Classfcador baseado na dsanca mínma: Para classfcar calcule para cada veor de médas e afee a classe c al que é mínmo Se as probabldades a pror são desguas a decsão será vesada em favor da classe mas provável

33 Funções dscrmn. para a Densdade Normal Caso : = A epansão da forma quadráca - j - - j resula no ermo - que é ndependene de e pode ser elmnado As funções dscrmnanes são novamene lneares: g w w 0

34 Funções dscrmn. para a Densdade Normal Caso : = onde w w 0 ln P Como os dscrmnanes são lneares, as froneras de decsões são hperplanos Se e j são coníguos, a equação da fronera enre elas é w 0 0

35 Caso : = onde Como w = - - j geralmene não esá na dreção de - j o hper-plano que separa e j geralmene não é orogonal a lnha que lga as médas Funções dscrmn. para a Densdade Normal j w P P ln j j j j j 0

36 Funções dscrmn. para a Densdade Normal Caso : = No enano, o hper-plano nercepa esa lnha em 0 ; se as probabldades a pror são guas 0 esá no meo dessa lnha Senão, o hper-plano se desloca na dreção oposa da méda cuja classe em maor probabldade a pror

37

38 Funções dscrmn. para a Densdade Normal Caso 3: arbráro Nesse caso, somene o ermo d/ ln pode ser gnorado As funções dscrmnanes são quadrácas g W w w 0

39 Caso 3: arbráro onde Funções dscrmn. para a Densdade Normal W w ln P ln w 0

40 Funções dscrmn. para a Densdade Normal Caso 3: arbráro No caso de duas classes as superfíces de decsão são hper-quádrcas: hperplanos, hper-esferas, hper-elpsódes, hper-parabolódes, hper-hperbolódes

41 Funções dscrmn. para a Densdade Normal Caso 3: arbráro No caso undmensonal, as regões de decsão podem ser não conecadas:

42

43

44

45 Funções dscrmn. para a Densdade Normal Eemplo

46 Arbuos Dscreos Fórmula de Bayes Nesse caso, as componenes de são bnáras 0,, ernáras 0,, ou m-áras 0,,,m- onde P P j c j P j P P P P j j j

47 Arbuos Dscreos Rsco Condconal A defnção de rsco condconal R não muda A regra de decsão de Bayes permanece a mesma: para mnmzar o rsco global selecone a ação para a qual R é mínmo * arg mn R

48 Arbuos Dscreos Rsco Condconal A regra básca para mnmzar a aa de erro pela mamzação da probabldade a poseror ambém não muda Ns equações das funções dscrmnanes é necessáro apenas rocar as densdades p pelas probabldades P

49 Arbuos Dscreos Arbuos Bnáros Independenes Seja =,, d onde as componenes são 0 ou, com probabldades p Pr[ ] e q Pr[ ]

50 Arbuos Bnáros Independenes Supondo-se ndependênca condconal pode-se escrever P como os produos das probabldades das componenes de : Arbuos Dscreos d d p p P P d d q q P P

51 Arbuos Bnáros Independenes A razão de verossmlhança é Arbuos Dscreos d d d q p q p q q p p P P

52 Arbuos Dscreos Arbuos Bnáros Independenes Função dscrmnane g g g g ln P Função dscrmnane, onde ln P g d ln p q ln p q ln P P

53 Arbuos Dscreos Arbuos Bnáros Independenes A função dscrmnane é lnear em : g w 0 d d w p ln q w 0 ln onde P P w ln p q q p,,d

54 Arbuos Dscreos Arbuos Bnáros Independenes Decde-se se g > 0 e se g 0 Se p = q, w = 0, como esperado, pos nesse caso não nforma sobre as classes Se p > q, enão - p < - q e w é posvo. Assm = conrbu com w voos para

55 Arbuos Dscreos Arbuos Bnáros Independenes Além dsso, fado q <, w é ano maor quano p é grande Se p < q, w é negavo e = conrbu com w voos para Aumenando P aumena-se w 0 e a decsão é envesada em favor de, enquano decrescer P em o efeo oposo

56 Eemplo 3 Arbuos Dscreos