REDUÇÃO DE DIMENSIONALIDADE

Transcrição

1 Análise de componenes e discriminanes REDUÇÃO DE DIMENSIONALIDADE Uma esraégia para abordar o problema da praga da dimensionalidade é realizar uma redução da dimensionalidade por meio de uma ransformação linear do espaço das caracerísicas O méodo linear é simples de calcular e ambém analiicamene raável A idéia básica é: Projear os dados de ala dimensão num espaço de menor dimensão (subespaço) Há dois enfoques clássicos: Análise de componenes principais (PCA) (ransformada de Karhunen-Loève): procura a projeção que melhor represena os dados, de acordo com o criério dos mínimos quadrados Análise discriminane múlipla (MDA): procura a projeção que melhor separa os dados, de acordo com o criério dos mínimos quadrados 3 Análise de componenes principais (PCA) Seja um conjuno de n veores x,..., x n (dimensão d) Passo : represenação dos dados na dimensão zero Represenando esses veores por um único veor x 0, al que, a soma dos quadrados das disâncias enre x 0 eosváriosx x k seja mínima Definindo a função criério (erro quadráico) e procurando x 0 que minimiza J 0 (x 0 ) x 0 =m onde Isso porque... 4 x 0 =mm m represena os dados na dimensão zero (um pono) Não mosra qualquer variabilidade Passo : represenação dos dados em uma dimensão (numa linha passando pela média amosral) Seja x=m+ae, onde e é um veor uniário e a um escalar que corresponde a disância de x a média m Para represenar um veor x k por m+a k e, deermina-se a k de modo a minimizar o erro quadráico 5 ou seja, a solução é projear o veor x k na linha de direção e e que passa por m 6

2 Qual é a direção de e? Subsiuindo em Onde é a chamada mariz de espalhameno (proporcional a mariz de covariância amosral) 7 De J (e) = o veor e que minimiza J ambém maximiza e Se Uiliza-se o muliplicador de Lagrange para maximizar e Se sujeia a resrição e =, ou seja, Derivando em relação a e e igualando a zero = 0 Se = λe ou seja, e é um auoveor da mariz de espalhameno, e como e Se = λe e = λ, deve-se escolher o auoveor (a direção da projeção) correspondene ao maior auovalor λ da mariz de espalhameno S 8 Passo 3: generalizando para d <=d dimensões Represenado x como Resula que a função criério Os coeficienes a i de x na base são as componenes principais Geomericamene, se os veores x formam um hiperelipsóide, os auoveores de S são os eixos principais é minimizada quando: os veores e,..., e d são os d auoveores da mariz de espalhameno S com os maiores auovalores Como S é real simérica, esses auoveores são orogonais (formam uma base) 9 0 Mas, para classificação, PCA nem sempre funciona Discriminane linear de Fisher PCA procura direções que são eficienes para represenação Análise discriminane procura direções que são eficienes para discriminação Objeivo: projear os dados num subespaço de uma dimensão (ou seja, numa direção adequada), de modo que os agrupamenos fiquem separados ano quano possível É uma redução drásica de dimensionalidade (de d para )

3 Seja um conjuno de n veores x,..., x n (dimensão d) n do subconjuno D roulado de ω n do subconjuno D roulado de ω Seja a projeção de x na direção w ( w =) y = w x Assim, correspondenemene aos veores x,..., x n das classes ω e ω, obém-se os escalares y,..., y n divididos nos subconjunos Y e Y 3 4 Procurando a melhor direção w para a separação... Uma medida de separação dos subconjunos projeados é a separação de suas médias A média m i de x é e a média dos ponos projeados A disância enre as médias projeadas é Essa medida não é suficiene para avaliar a separação (Por que?) É necessário calcular a disância enre as médias projeadas relaiva a alguma medida de espalhameno (ex.: variância) das classes O espalhameno das amosras de ω i projeadas é Assim, é uma esimaiva da variância de odos dados (pooled) é chamado de espalhameno (oal) denro das classes (wihin-class) das amosras projeadas Logo O discriminane linear de Fisher uiliza a ransformação y = w x, e maximiza a função criério De mas de forma independene de w (isso para ober a melhor separação) Vamos ober J(w) de forma explícia (função de w) Escrevendo em função de w... 7 onde S i é a chamada mariz de espalhameno Porano, a soma dos espalhamenos é onde e a separação das médias projeadas em função de w é onde 8 3

4 Logo, de w S Bw J w onde w S w S B é a mariz de espalhameno enre classes (beweenclass) S m m m B m S é a mariz de espalhameno denro das classes (wihin-class) (proporcional a mariz de covariância amosral de odos os dados) S S S x mx m x m x m xd xd Procurando a direção de w... Derivando w S Bw J w w S w em relação a w e igualando a zero J(w) é máximo quando (w S B w)s w = (w S w)s B w ou S w S B w (aula 9-complemeno) 9 (aula 9-complemeno) 0 Muliplicando S w S B w por S - w S - S B w Como m~ = w (m m ) = (m m ) m~ w e S B = (m m ) (m m ) resula que S B w em sempre a direção de (m m ) Enão, de w S - S B w w S - (m m ) Noe que w S - (m m ) não é um discriminane, mas uma direção de projeção dos dados em uma dimensão Se S é isorópica w (m m ) Discriminane linear de Fisher (aula 9-complemeno) (aula 9-complemeno) Classificação Os dados projeados podem ser uilizados para consruir um discriminane Escolhe-se um limiar y 0 de modo que Se w x > y 0 classifica-se em ω, senão em ω Noe que y=w x corresponde à soma de variáveis aleaórias, e considerando o eorema do limie cenral p(y ω i ) aproxima-se de uma disribuição normal Deerminam-se os parâmeros por esimação paramérica e, após, deermina-se y 0 (probabilidade a poseriori) (aula 9-complemeno) 3 Análise discriminane múlipla Para um problema de c classes, a generalização do eorema de Fisher envolve c- funções discriminanes Assim, a projeção y=x é realizada a parir de um espaço de dimensão d para um espaço de dimensão c- (com d>=c) Nesse caso, e as colunas da mariz óima são os auoveores generalizados que correspondem aos maiores auovalores em Veja dealhes em Duda (aula 9-complemeno) 4 4

5 (aula 9-complemeno) 5 5