Aprendizagem de Máquina

Transcrição

1 Plano de Aula Aprendzagem de Máquna Aprendzagem Não Supervsonada Alessandro L. Koerch Aprendzagem não supervsonada Algortmos de agrupamento (Clusterng) Seqüencas Herárqucos Baseados na otmzação de funções Outros Mestrado em Informátca Aplcada Pontfíca Unversdade Católca do Paraná (PUCPR) Mestrado em Informátca Aplcada Aprendzagem de Máquna 2 Introdução Introdução Prevamente, todas as amostras de trenamento estavam rotuladas, ou seja, com o valor do conceto alvo assocado vetor de atrbutos valor do conceto alvo assocado ao vetor de atrbutos Estes eemplos são dtos supervsonados, pos, contém tanto a entrada (atrbutos), quanto a saída (valor do conceto alvo). Porém, mutas vezes temos que ldar com eemplos não supervsonados, sto é, eemplos não rotulados, ou seja: sem um conceto alvo assocado ou sem um valor de conceto alvo assocado Por que? Coletar e rotular um grande conjunto de eemplos pode custar muto (tempo, esforço, dnhero). Mestrado em Informátca Aplcada Aprendzagem de Máquna 3 Mestrado em Informátca Aplcada Aprendzagem de Máquna 4

2 Introdução Introdução Porém, podemos utlzar grandes quantdades de dados não rotulados para trenamento e somente então usar supervsão para rotular os agrupamentos encontrados. Isto é aproprado para aplcações de datamnng, onde o conteúdo de grandes bases de dados não é conhecdo antecpadamente. Podemos usar métodos não supervsonados para dentfcar característcas que serão então útes para categorzação. Podemos ganhar alguma percepção da natureza (ou estrutura) dos dados. Mestrado em Informátca Aplcada Aprendzagem de Máquna 5 Mestrado em Informátca Aplcada Aprendzagem de Máquna 6 Introdução Introdução O nteresse prncpal é desvendar a organzação dos padrões em clusters (agrupamentos) consstentes, os quas permtrão descobrr smlardades e dferenças entre padrões bem como dervar conclusões útes a respeto deles. Eemplo de agrupamentos (clusters) De acordo com a progentura Estênca de pulmões Clusterng Aprendzagem Não Supervsonada Aprendzado Sem Professor Taonoma Numérca Tpologa Partção. Ambente onde vvem progêntura e estênca de pulmões Mestrado em Informátca Aplcada Aprendzagem de Máquna 7 Mestrado em Informátca Aplcada Aprendzagem de Máquna 8

3 Introdução Introdução Assummos que: Todos os padrões são representados em termos de atrbutos (característcas ou features) que formam vetores de d dmensões d Os passos báscos da tarefa de aprendzagem não supervsonada são:. Seleção de atrbutos 2. Medda de promdade 3. Crtéro de agrupamento 4. Algortmo de agrupamento 5. Verfcação dos resultados 6. Interpretação dos resultados Mestrado em Informátca Aplcada Aprendzagem de Máquna 9 Mestrado em Informátca Aplcada Aprendzagem de Máquna 0. Seleção de Atrbutos 2. Medda de Promdade Atrbutos devem ser propramente seleconados para codfcar a maor quantdade possível de nformações relaconada a tarefa de nteresse. Os atrbutos devem ter também uma redundânca mínma entre eles. Medda para quantfcar quão smlar ou dssmlar são dos vetores de atrbutos. É deal que todos os atrbutos contrbuam de manera gual no cálculo da medda de promdade. Ou seja, que um atrbuto não seja domnante sobre o outro. Mestrado em Informátca Aplcada Aprendzagem de Máquna Mestrado em Informátca Aplcada Aprendzagem de Máquna 2

4 3. Crtéro de Agrupamento 4. Algortmo de Agrupamento Depende da nterpretação que o especalsta dá ao termo sensível com base no tpo de cluster que são esperados. Por eemplo, um cluster compacto de vetores de atrbutos pode ser sensível de acordo com um crtéro enquanto outro cluster alongado, pode ser sensível de acordo com outro crtéro. Tendo adotado uma medda de promdade e um crtéro de agrupamento devemos escolher de um algortmo de clusterng que revele a estrutura agrupada do conjunto de dados. Mestrado em Informátca Aplcada Aprendzagem de Máquna 3 Mestrado em Informátca Aplcada Aprendzagem de Máquna 4 5. Valdação dos Resultados 6. Interpretação dos Resultados Uma vez obtdos os resultados do algortmo de agrupamento, devemos verfcar sua correção. Isto geralmente é feto através de testes aproprados. Em geral os resultados de clusterng devem ser ntegrados com outras evdêncas epermentas e análse para chegar as conclusões corretas. Mestrado em Informátca Aplcada Aprendzagem de Máquna 5 Mestrado em Informátca Aplcada Aprendzagem de Máquna 6

5 Introdução Aplcações de Clusterng Atenção: Dferentes escolhas de atrbutos (features), meddas de promdade, crtéros de agrupamento e algortmos de clusterng levam a... resultados totalmente dferentes!!! Quatro dreções báscas onde clusterng é utlzado: Redução de dados Geração de hpóteses Teste de hpóteses Predção baseada em grupos Qual resultado é correto? Mestrado em Informátca Aplcada Aprendzagem de Máquna 7 Mestrado em Informátca Aplcada Aprendzagem de Máquna 8 Defnção de Clusterng Defnção de Clusterng Dado um conjunto de dados X: X {, 2,..., n } defnmos como um m agrupamento de X a partção de X em m conjuntos (clusters ou grupos) C, C 2,..., C m tal que as três condções seguntes sejam satsfetas: C,,2,..., m U m C X C C j j, j,2,..., m C,,2,..., m Nenhum cluster pode ser vazo. U m C X A unão de todos os cluster deve ser gual ao conjunto de dados que gerou os clusters, ou seja, X. C C j j, j,2,..., m A unão de dos clusters deve ser vazo,.e., dos cluster não podem conter vetores em comum. Mestrado em Informátca Aplcada Aprendzagem de Máquna 9 Mestrado em Informátca Aplcada Aprendzagem de Máquna 20

6 Defnção de Clusterng Defnção de Clusterng Além dsso, os vetores contdos em um cluster C são mas smlares uns aos outros e menos smlares aos vetores presentes nos outros clusters. Quantfcar os termos smlar e dssmlar depende dos tpos de clusters. Defnção alternatva: Um vetor pode pertencer a mas de um cluster fuzz clusterng Mestrado em Informátca Aplcada Aprendzagem de Máquna 2 Mestrado em Informátca Aplcada Aprendzagem de Máquna 22 Meddas de Promdade Meddas de Promdade Meddas de Dssmlardade (DM) Métrca l p ponderada Métrca Norma l ponderada Métrca l 2 ponderada (Mahalanobs) Métrca l p especal (Manhattan) Dstânca de Hammng Meddas de Smlardade (SM) Produto nterno (nner) Medda de Tanmoto Métrca l p ponderada (reas): d / p l p p(, ) w onde e são as ésmas coordenadas de e,,2,...,l e w 0 é o ésmo coefcente de ponderação. Caso partcular: p 2 Dstânca Eucldana. Mestrado em Informátca Aplcada Aprendzagem de Máquna 23 Mestrado em Informátca Aplcada Aprendzagem de Máquna 24

7 Mestrado em Informátca Aplcada Aprendzagem de Máquna 25 Meddas de Promdade Métrca Norma l ponderada: Métrca l 2 ponderada: onde B é uma matrz smétrca postva (Mahalanobs) ma ), ( l w d ) ( ) ( ), ( B d T Mestrado em Informátca Aplcada Aprendzagem de Máquna 26 Meddas de Promdade Métrca l p especal: é também chamada de norma Manhattan. l w d ), ( Mestrado em Informátca Aplcada Aprendzagem de Máquna 27 Meddas de Promdade Eemplo: Mestrado em Informátca Aplcada Aprendzagem de Máquna 28 Meddas de Promdade Produto nterno (nner): Medda de Tanmoto: l T nner s ), ( s T T T ) ( ) ( ), ( +

8 Meddas de Promdade Meddas de Promdade Consderamos agora, vetores cujas coordenadas pertencem ao conjunto fnto F {0,,2,..., k }, onde k é um ntero postvo. Grd l dmensonal. Estem eatamente k l vetores F l Estes vetores podem ser consderados como vértces em um grd l dmensonal. Mestrado em Informátca Aplcada Aprendzagem de Máquna 29 Mestrado em Informátca Aplcada Aprendzagem de Máquna 30 Meddas de Promdade Meddas de Promdade Dstânca de Hammng: d (, ) k k H a j 0 j 0, j sto corresponde a soma de todos os elementos fora da dagonal de A, os quas ndcam as posções onde e dferem. Medda de Tanmoto: s T (, ) k k k k k k j 0 a j + 0 k j j Estem anda dversas outras meddas... a a j a j Mestrado em Informátca Aplcada Aprendzagem de Máquna 3 Mestrado em Informátca Aplcada Aprendzagem de Máquna 32

9 Meddas de Promdade Número de Agrupamentos Vetores com valores dscretos e reas A melhor manera de desgnar quas vetores de atrbutos,, 2,..., N de um conjunto X vetores pertencem a quas clusters sera: dentfcar todas as partções possíves e seleconar a mas sensível de acordo com um crtéro pré estabelecdo. Entretanto... fazer sto é muto dfícl (trabalhoso!!!) Mestrado em Informátca Aplcada Aprendzagem de Máquna 33 Mestrado em Informátca Aplcada Aprendzagem de Máquna 34 Número de Agrupamentos Número de Agrupamentos Fazendo S (N, m) representar número de todos os clusters possíves de N vetores em m grupos. As seguntes condções se mantêm... L S (N,) S (N,N) S (N,m) 0, para m > N k N : lsta contendo todos os agrupamentos possíves de N vetores em k clusters, para k m, m. O N ésmo vetor: ou será adconado a um cluster de qualquer membro m ou formará um novo cluster para cada membro L N m LN Solução Números de Strlng: S( N, m) m! Eemplo: Para X{, 2, 3 }, quas os agrupamentos possíves dos elementos em 2 clusters? Eemplos numércos: 0 ( ) m S (5,3) S (25,8) S (00,5) 0 68 m m N Mestrado em Informátca Aplcada Aprendzagem de Máquna 35 Mestrado em Informátca Aplcada Aprendzagem de Máquna 36

10 Número de Agrupamentos Algortmos de Clusterng Os resultados anterores são para um número fo de clusters, m fo Para enumerar todos os clusters possíves para todos os valores possíves de m computaconalmente ntratável Eemplo: 00 objetos, 5 clusters, 0-2 seg/cluster 0 48 anos Entretanto, o objetvo é sempre tentar dentfcar o agrupamento mas sensível ( ou representatvo). Objetvo: Encontrar agrupamentos representatvos consderando somente uma pequena fração do conjunto contendo todas as partções possíves de X. Solução: Algortmos de Clusterng Problema: Os resultados dependem: de um algortmo específco; dos crtéros utlzados. Mestrado em Informátca Aplcada Aprendzagem de Máquna 37 Mestrado em Informátca Aplcada Aprendzagem de Máquna 38 Algortmos de Clusterng Algortmos Seqüencas O que é um algortmo de Clusterng? É um procedmento de aprendzagem que tenta dentfcar característcas específcas dos agrupamentos ntrínsecos (ou estentes) em um conjunto de dados. Os algortmos de clusterng podem ser dvddos em categoras: Seqüencas Herárqucos Baseados na otmzação de funções custo Outros: Fuzz, LVQ, SOM Prncpas característcas dos algortmos seqüencas: Algortmos desta categora produzem um únco agrupamento. São algortmo dretos e rápdos. Geralmente, todos os vetores de característcas são apresentados ao algortmo uma ou váras vezes (até 5 ou 6 vezes). O resultado fnal geralmente depende da ordem de apresentação. Mestrado em Informátca Aplcada Aprendzagem de Máquna 39 Mestrado em Informátca Aplcada Aprendzagem de Máquna 40

11 Algortmo BSAS Algortmo BSAS Basc Sequental Algorthmc Scheme (BSAS) Todos os vetores são apresentados uma únca vez ao algortmo. Número de clusters não é conhecdo a pror. Novos clusters são crados enquanto o algortmo evolu. Parâmetros do BSAS d (, C): dstânca (ou dssmlardade) entre um vetor de característcas e um cluster C. Θ: lmar de dssmlardade q: número mámo de clusters. m: número de clusters que o algortmo crou até o momento. Idéa Básca do BSAS: para um dado vetor, desgná lo para um cluster estente ou crar um novo cluster (depende da dstânca entre o vetor e os clusters já formados). Mestrado em Informátca Aplcada Aprendzagem de Máquna 4 Mestrado em Informátca Aplcada Aprendzagem de Máquna 42 Algortmo BSAS Algortmo BSAS Para estmar o número de clusters, um procedmento aular é utlzado: 2 Esta nstrução é atvada nos casos onde cada cluster é representado por um únco vetor. Por eemplo, se cada cluster for representado por um vetor médo, ele deve ser atualzado cada vez que um novo vetor se tornar membro do cluster. Mestrado em Informátca Aplcada Aprendzagem de Máquna 43 Mestrado em Informátca Aplcada Aprendzagem de Máquna 44

12 Algortmo BSAS Melhoramento do Algortmo BSAS Modfed Basc Sequental Algorthmc Scheme (MBSAS) Two Threshold Sequental Algorthmc Scheme (TTSAS) Estes algortmos possuem estágos de refnamento, sto é: um procedmento de unr clusters um procedmento de re atrbução de vetores aos clusters. Mestrado em Informátca Aplcada Aprendzagem de Máquna 45 Mestrado em Informátca Aplcada Aprendzagem de Máquna 46 Melhoramento do Algortmo BSAS Melhoramento do Algortmo BSAS Estágo de refnamento: procedmento para unr clusters Estágo de refnamento: procedmento para re atrbução, ou seja, retrar um vetor de um cluster e colocá lo em outro mas prómo. Mestrado em Informátca Aplcada Aprendzagem de Máquna 47 Mestrado em Informátca Aplcada Aprendzagem de Máquna 48

13 Algortmos Herárqucos Algortmos Herárqucos Podem ser dvddos em 2 subcategoras: Aglomeratvos produzem uma seqüênca de agrupamentos com um número decrescente de clusters, m a cada passo. Os agrupamentos produzdos em cada passo resultam do anteror pela fusão de dos clusters em um. Dvsvos Atuam na dreção oposta, sto é, eles produzem uma seqüênca de agrupamentos com um número crescente de clusters, m a cada passo. Os agrupamentos produzdos em cada passo resultam da partção de um únco cluster em dos. Os algortmos herárqucos tem uma flosofa dferente dos algortmos seqüencas. ao nvés de produzr um únco agrupamento, eles produzem uma herarqua de agrupamentos. Consderando um conjunto de vetores d dmensonas a serem agrupados: X {,,2,..., m} Defnção de agrupamento: R {C j, j,2,...,m} onde C j X. Mestrado em Informátca Aplcada Aprendzagem de Máquna 49 Mestrado em Informátca Aplcada Aprendzagem de Máquna 50 Algortmos Herárqucos Algortmos Herárqucos Um agrupamento R contendo k clusters édto annhado (nested) no agrupamento R 2, o qual contém r (<k) clusters, se: Algortmos herárqucos de agrupamento produzem uma herarqua de agrupamentos annhados. cada cluster em R for um subconjunto de um conjunto em R 2 e pelo menos um cluster de R for um subconjunto própro de R 2. Neste caso, escrevemos R R 2 Eemplo Estes algortmos envolvem N passos, ou seja, tantos passos quanto o número de vetores. Em cada passo t, um novo agrupamento é obtdo baseando se nos agrupamentos produzdos no passo anteror (t ). Mestrado em Informátca Aplcada Aprendzagem de Máquna 5 Mestrado em Informátca Aplcada Aprendzagem de Máquna 52

14 Herárqucos Aglomeratvos Herárqucos Aglomeratvos O agrupamento ncal R 0 para o algortmo aglomeratvo consste de N clusters cada um contendo um únco elemento de X. No prmero passo, o agrupamento R é produzdo. Ele contém N conjuntos, tal que R 0 R. Este procedmento contnua até o agrupamento fnal, R N ser obtdo, o qual contém um únco conjunto, sto é, o conjunto de dados X. A herarqua dos agrupamentos resultantes é: R 0 R R 2... R N Mestrado em Informátca Aplcada Aprendzagem de Máquna 54 Mestrado em Informátca Aplcada Aprendzagem de Máquna 53 Herárqucos Aglomeratvos Herárqucos Aglomeratvos Mestrado em Informátca Aplcada Aprendzagem de Máquna 55 Mestrado em Informátca Aplcada Aprendzagem de Máquna 56

15 Herárqucos Aglomeratvos Herárqucos Aglomeratvos Algortmos aglomeratvos baseados na teora das matrzes MUAS: Matr Updatng Algorthmc Scheme WPGMA: Weghted Par Group Method Average UPGMA: Unweghted Par Group Method Average UPGMC: Unweghted Par Group Method Centrod WPGMC: Weghted Par Group Method Centrod Ward s Algorthm Referênca: S. Theodords & K. Koutroumbas, Pattern Recognton, Academc Press, 999. Algortmos aglomeratvos baseados na teora dos grafos GTAS: Graph Theor Based Algorthmc Scheme Algortmos aglomeratvos baseados na árvore mínma MST: Mnmum Spannng Tree Referênca: S. Theodords & K. Koutroumbas, Pattern Recognton, Academc Press, 999. Mestrado em Informátca Aplcada Aprendzagem de Máquna 57 Mestrado em Informátca Aplcada Aprendzagem de Máquna 58 Herárqucos Dvsvos Herárqucos Dvsvos Os algortmos dvsvos trabalham de manera nversa. O agrupamento ncal R 0 para o algortmo dvsvo consste de um únco conjunto X. No prmero passo, o agrupamento R é produzdo. Ele consste de dos conjuntos tal que R R 2. Este procedmento contnua até que o agrupamento fnal R N seja obtdo, o qual contém N conjuntos, cada um consstndo de um únco elemento de X. O método dreto consdera todas as 2 N possíves partções de X em dos conjuntos e selecona o ótmo de acordo com um crtéro pré especfcado. Este procedmento é aplcado teratvamente a cada um dos dos conjuntos produzdos no estágo precedente. O agrupamento fnal consste de N clusters cada R N R N 2... R 0 um contendo um únco vetor de X. Mestrado em Informátca Aplcada Aprendzagem de Máquna 60 A herarqua dos agrupamentos resultantes é: Mestrado em Informátca Aplcada Aprendzagem de Máquna 59

16 Herárqucos Dvsvos Algortmos Herárqucos Escolha do melhor número de clusters O problema é dentfcar o melhor agrupamento dentro de uma dada herarqua. Isto corresponde a dentfcação do número de clusters que melhor se ajusta aos dados. Solução: buscar por clusters que tenham um grande tempo de vda em um dendograma de promdades. Tempo de vda de um cluster: é valor absoluto da dferença entre o nível de promdade no qual ele é crado e o nível de promdade no qual ele é absorvdo por um cluster maor. Mestrado em Informátca Aplcada Aprendzagem de Máquna 6 Mestrado em Informátca Aplcada Aprendzagem de Máquna 62 Algortmos Herárqucos Algortmos Herárqucos Método Etrínseco requer a determnação do valor de um parâmetro específco,.e. a defnção de uma função h(c) que mede a dssmlardade entre vetores do mesmo cluster C. Θ : lmar (threshold) aproprado para a h(c) Então o algortmo termna em R t se C R + : h( C ) > Θ j t j ou seja, R t é o agrupamento fnal se estr um cluster C em R t+, com dssmlardade entre seus vetores h(c) maor do que Θ. Mestrado em Informátca Aplcada Aprendzagem de Máquna 63 Mestrado em Informátca Aplcada Aprendzagem de Máquna 64

17 Algortmos Herárqucos Algortmos Herárqucos Método Intrínseco O agrupamento fnal R t deve satsfazer a segunte relação: d ss mn ( C, C j ) > ma{ h( C ), h( C )}, C, C j j R t h ( C) ma{ d(, ),, C} h ( C) med{ d(, ),, C} 2 ou seja, no agrupamento fnal, a dssmlardade entre cada par de clusters é maor do que a auto smlardade entre cada um deles. Mestrado em Informátca Aplcada Aprendzagem de Máquna 65 Mestrado em Informátca Aplcada Aprendzagem de Máquna 66 Algortmos Baseados em Otmzação Algortmos Baseados em Otmzação Baseam se na otmzação de uma função custo J usando dferente técncas de cálculo. O custo J é uma função dos vetores do conjunto de dados X e ele é parametrzado em termos de um vetor de parâmetros desconhecdos Θ. O número de clusters m assume se como sendo conhecdo. Meta: estmação do Θ que melhor caracterze os clusters ntrínsecos em X. Três categoras prncpas de algortmos baseados na otmzação de uma função custo: Decomposção de msturas Método Fuzz Métodos Possblístcos Métodos Hard Mestrado em Informátca Aplcada Aprendzagem de Máquna 67 Mestrado em Informátca Aplcada Aprendzagem de Máquna 68

18 Algortmos Baseados em Otmzação Algortmos Baseados em Otmzação Decomposção de Msturas: a função custo é construída com base em vetores aleatóros e a atrbução aos clusters segue argumentos probablístcos. Método Fuzz: é defnda uma função de promdade entre um vetor e um cluster e o grau de aflação (adesão) de um vetor a um cluster é fornecdo por um conjunto de funções aflação. Métodos Hard Cada vetor pertence eclusvamente a um únco cluster. Por sso estes métodos são chamados de hard. A maora dos algortmos de clusterng mas conhecdos recaem nesta categora. k Means ou c Means se encaa nesta categora!!! Mestrado em Informátca Aplcada Aprendzagem de Máquna 69 Mestrado em Informátca Aplcada Aprendzagem de Máquna 70 Outros Algortmos Valdade dos Clusters Algortmos que não podem ser ncluídos nas categoras prévas. Algortmos baseados na teora dos grafos Algortmos de aprendzagem compettva Algortmos branch and bound Algortmos baseados em transformações morfológcas Algortmos baseados em lmtes entre os clusters Algortmos de regões compactas Algortmos baseados na otmzação de funções (annealng) Algortmos baseados em GA Estem métodos para avalar quanttatvamente os resultados dos algortmos de agrupamento. Referênca: S. Theodords & K. Koutroumbas, Pattern Recognton, Academc Press, 999. Mestrado em Informátca Aplcada Aprendzagem de Máquna 7 Mestrado em Informátca Aplcada Aprendzagem de Máquna 72

19 Resumo Introdução: Aprendzagem Aprendzagem não supervsonada ou clusterng (agrupamento) busca etrar nformação relevante de dados não rotulados. D (eemplos de trenamento) H (conjunto de hpóteses) Uma solução mas geral consste em defnr meddas de smlardade entre dos clusters assm como um crtéro global como a soma do erro quadrátco. trenamento Estem város algortmos que fazem agrupamento. Os algortmos de agrupamento são classfcados como herárqucos ou seqüencas (ou teratvos). Árvore h h 2 h 4 Hpóteses P(h ), P(D h ) P(h 2 ), P(D h 2 ) P(h 3 ), P(D h 3 ) Baes Mestrado em Informátca Aplcada Aprendzagem de Máquna 73 Mestrado em Informátca Aplcada Aprendzagem de Máquna 74 Introdução: Classfcação Árvore de Decsão (eemplo de teste) h h 2 h 4 Hpóteses P(h ), P(D h ) P(h 2 ), P(D h 2 ) P(h 3 ), P(D h 3 ) Baes Valor do Conceto Alvo Mestrado em Informátca Aplcada Aprendzagem de Máquna 75