Aprendizagem de Máquina

Transcrição

1 predizagem de Máquia Modelos de Mistura lgoritmo EM Estimação semi-paramétrica de desidade abordagem paramétrica para estimação de desidade supõe que a amostra X é extraída de uma distribuição que segue uma determiada família de fuções de desidade, como a gaussiaa, especificada por um pequeo úmero de parâmetros. Etretato, esta abordagem pode itroduzir um forte viés em aplicações ode as istâcias pertecem a uma classe multimodal, costituída de mais de um grupo de istâcias (agrupameto). Isto ocorre frequetemete em aplicações como recohecimeto de caracteres, recohecimeto da fala e em recohecimeto de objetos visuais. Neste caso, cada grupo de istâcias similares, correspodete a um modo da classe de iteresse, pode ser represetado por uma úica fução de desidade, como uma gaussiaa. Com isso, a amostra X da classe de iteresse pode ser represetada por uma mistura de K gaussiaas, ode K é o úmero de agrupametos correspodete. Esta abordagem é deomiada estimação semi-paramétrica de desidade.

2 Modelos de Mistura de Gaussiaas (GMM) Uma distribuição do tipo mistura de gaussiaas (GM), formada pela superposição liear de K gaussiaas, pode ser escrita como:, Cada gaussiaa, é deomiada uma compoete da mistura, sedo determiada pela sua média e matriz de covariâcias. Os parâmetros 0 são chamados de coeficietes de mistura e sujeitos a: Comparado com a regra de codicioameto para a desidade margial: vemos que = p(k), é a probabilidade a priori de escolher a compoete k, e, = p(x k) é a probabilidade de x codicioada a k. 3 Distribuição gaussiaa multivariada N( x μ, Σ) ( ) D e ( xμ) T ( xμ) Matriz de covariâcias de uma distribuição bivariada: ode e são as variâcias margiais e é a covariâcia 4

3 Distribuição gaussiaa bivariada 5 Mistura de Gaussiaas com variáveis latetes Podemos formular uma mistura de gaussiaas em termos de variáveis latetes. Para isso, itroduzimos uma variável idicadora multiomial z, de dimesão K, a qual um elemeto particular z k é igual a um e todos os demais são ulos. ssim, existem K estados possíveis para z, de acordo com o elemeto que é um. Os coeficietes de mistura especificam a probabilidade de um determiado elemeto z k ser igual a um: Como z é uma variável multiomial, esta distribuição pode ser escrita como: distribuição codicioal de x dado um valor particular de z é uma gaussiaa:, Resultado uma distribuição codicioal de x dado z dada por:, 6

4 Estimativa de rotulação partir do TB e da probabilidade codicioal podemos calcular a probabilidade a posteriori p(z k = x), que correspode a uma rotulação suave (etre 0 e ) associada à resposabilidade,, da compoete k em explicar a observação x.,, Os coeficietes de mistura podem ser vistos como a probabilidade a priori de (que a compoete k seja a resposável por gerar a observação atual) e a quatidade como a probabilidade a posteriori correspodete, após observarmos x. 7 Exemplo de mistura de gaussiaas Exemplo de 500 istâcias extraídas de um modelo mistura de 3 gaussiaas. (a) s istâcias estão rotuladas segudo o grupo (z k ) que gerou a amostra. Neste caso, o cojuto de dados completo é cohecido, gerado pela distribuição cojuta p(x, z) = p(z)p(x z). (b) O cojuto de dados icompleto, correspodete à distribuição margial p(x), obtida pelo gráfico de x, sem o cohecimeto da rotulação de z. (c) Mesma amostra, mas as cores correspodem às proporções correspodetes às probabilidades a posteriori dos grupos, p(z k = x), obtidas pelo TB, idicado a resposabilidade da compoete k, em explicar a observação x. 8

5 Fução de verossimilhaça de mistura de Gaussiaas distribuição cojuta p(x, z) é dada pelo produto p(z) p(x z) e, com isso, a distribuição margial de x é obtida pela soma da cojuta para todos os z:, ssim, a distribuição margial para x é uma mistura de gaussiaas, e a cada observação x existe uma variável latete z correspodete. Cosidere que desejemos modelar um cojuto de observações idepedetes {x,..., x N }, represetado por uma matriz X de dimesão N D, usado um modelo mistura de K gaussiaas, em que as variáveis latetes correspodetes às observações, {z,..., z N }, formem uma matriz Z de dimesão N K. Neste caso, o log da fução de verossimilhaça dos dados em relação ao modelo é: l,, l, O algoritmo EM é um método poderoso para ecotrar soluções de máxima verossimilhaça para modelos com variáveis latetes, icluido o GMM. 9 No processo de maximização da fução de verossimilhaça, as variáveis latetes são cosideradas dados faltates de um cojuto de dados completo, {X, Z}, ode seria cohecido o valor de z para cada istâcia de treiameto. O objetivo do algoritmo é maximizar, correspodete à probabilidade dos valores observados de X, mas como os cojuto de dados é icompleto (Z é descohecido), ele apeas cosegue maximizar a verossimilhaça codicioada a Z, ou seja,. Etretato, o osso cohecimeto sobre Z é dado apeas pela distribuição a posteriori p(z X, ), que pode estimada o passo E do algoritmo EM, a partir dos valores corretes dos parâmetros, old. Esta distribuição a posteriori é usada etão para avaliar o valor esperado (expectatio) do log da fução de verossimilhaça, com respeito à distribuição codicioal de Z dado X, sob a estimativa correte dos parâmetros, (, old )., lgoritmo EM,,,, l, 0

6 lgoritmo EM O algoritmo EM procede em dois passos. No passo E, de expectatio, é formada uma expectativa para a verossimilhaça dos dados completos, dado X e os parâmetros corretes old : Passo E:,,, O passo E equivale a calcular as probabilidades a posteriori de cada compoete, (resposabilidades) para cada istâcia de treiameto. No passo M, de maximização, os valores dos parâmetros são atualizados de forma a maximizar a expectativa, : Passo M: argmax, Dempster, Lair e Rubi provaram que um aumeto em implica um aumeto a verossimilhaça icompleta: s expressões para atualizar os parâmetros de uma mistura de gaussiaas de forma a maximizar, são obtidas igualado-se as derivadas de l,,, em relação a cada um dos parâmetros, (,, ), a zero. lgoritmo EM para mistura de gaussiaas Dada uma distribuição cojuta p(x, Z ) sobre as variáveis observadas X e as variáveis latetes Z, regida pelos parâmetros, o objetivo é maximizar a fução de probabilidade das observações em relação a, p(x ).. Escolha um cojuto iicial de valores para os parâmetros old.. Passo E: valie p(z X, old ). 3. Passo M: valie ew dado por argmax, ode,, l, 4. Verifique a covergêcia do log da verossimilhaça ou dos valores dos parâmetros. Se o critério de covergêcia ão for satisfeito, faça retore ao passo.

7 lgoritmo EM para mistura de gaussiaas Iicializar as médias, as matrizes de covariâcias e os coeficietes de mistura, e calcular o log da verossimilhaça, l,,. Passo E. Para cada dado, calcular a resposabilidade (prob. a posteriori) de cada compoete por:,, Passo M. tualizar os parâmetros usado as resposabilidades calculadas em E: com Calcular a verossimilhaça e verificar a sua covergêcia ou a dos parâmetros; se o critério de covergêcia ão for satisfeito, voltar ao passo E. 3 Exemplo: um modelo mistura de duas classes uidimesioais 5 43 B B B B 6 49 B dados 5 B B 65 B 66 B B 6 5 B modelo =50, =5, p =0.6 B =65, B =, p B =0.4 4

8 O algoritmo EM versão uivariada O algoritmo iicia com valores arbitrários dos parâmetros do modelo mistura (,, B, B, p ). p B é obtido idiretamete: p + p B =. partir desses parâmetros, calcula-se as probabilidades de cada amostra pertecer a cada uma das distribuições, pela regra de Bayes (expectatio: valor esperado da classe): x x x f ( x;, ) p x ode f(x;, ) é a distribuição ormal para o grupo : f x ( ;, ) x e 5 O algoritmo EM versão uivariada partir das probabilidades, são calculadas ovas estimativas dos parâmetros dos grupos (maximizatio: maximização da probabilidades das distribuições para os dados): x x x x x x x x x x x x x x x x x x p N x i N i prob( ) 6

9 O algoritmo EM versão uivariada O algoritmo iicia com valores arbitrários dos parâmetros do modelo mistura (,, B, B, p ). p B é obtido idiretamete: p + p B =. partir desses parâmetros, calcula-se as probabilidades de cada amostra pertecer a cada uma das distribuições, pela regra de Bayes (expectatio: valor esperado da classe): x x x f ( x;, ) p x ode f(x;, ) é a distribuição ormal para o grupo : f x ( x;, ) e 7 O algoritmo EM versão uivariada partir das probabilidades, são calculadas ovas estimativas dos parâmetros dos grupos (maximizatio: maximização da probabilidades das distribuições para os dados): x x x x x x x x x x x x x x x x x x p N x i N i prob( ) 8

10 lgoritmo EM para mistura de gaussiaas multivariadas Iicialização: Escolha um cojuto iicial de valores para os parâmetros old. Uma alterativa é rodar o algoritmo k-médias para obter as médias iiciais,. Neste caso, as matrizes de covariâcias iiciais,, são calculadas cosiderado as resposabilidades de cada compoete (z k ) como o vecedor leva tudo, ou seja, (z k ) =, quado x pertece ao agrupameto k, e (z k ) = 0, caso cotrário, e calculado: ode é a cardialidade da compoete k: Os coeficietes de mistura são iicializados pela equação: pós a iicialização, repetir sucessivamete os passos E e M, coforme a próxima trasparêcia. 9 lgoritmo EM para mistura de gaussiaas multivariadas Passo E. Para cada dado, calcular a resposabilidade (prob. a posteriori) de cada compoete por:,, Passo M. tualizar os parâmetros usado as resposabilidades calculadas em E: com Calcular a verossimilhaça e verificar a sua covergêcia ou a dos parâmetros; se o critério de covergêcia ão for satisfeito, voltar ao passo E. 0

11 oblema Para os dados do arquivo dist.txt, desejamos gerar modelos de agrupameto com dois grupos, utilizado para tato os algoritmos K-médias e EM. Ecotre os parâmetros dos modelos gerados pelos algoritmos: K-médias: parâmetros e os rótulos de classe. EM: parâmetros, e. e os rótulos de classe pela hipótese MP.