Reconhecimento de Padrões

Transcrição

1 Capítulo 2 Reconhecmento de Padrões 2.1 O que é reconhecmento de padrões? Há duas maneras de se reconhecer e/ou classfcar um padrão [CONNEL, S. D. & JAIN, A. K. (2001)]: () classfcação supervsonada: o padrão de entrada é dentfcado como um membro de uma classe pré-defnda, ou sea, a classe é defnda pelo proetsta do sstema, ou () classfcação não supervsonada: o padrão é determnado por uma frontera de classe desconhecda. Um problema de reconhecmento de padrão consste de uma tarefa de classfcação ou categorzação, onde as classes são defndas pelo proetsta do sstema (classfcação supervsonada) ou são aprenddas de acordo com a smlardade dos padrões (classfcação não supervsonada). O nteresse na área de reconhecmento de padrões tem crescdo muto devdo as aplcações que, além de serem desafantes, são também computaconalmente cada vez mas exgentes. A Tabela 2.1 mostra exemplos de domínos do problema com suas respectvas classes de padrões. Com o avanço e a dsponbldade de város recursos computaconas, tornou-se fácl o proeto e a utlzação de elaborados métodos de análse e classfcação de padrões. Em mutas aplcações, não exste somente uma únca abordagem para

2 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 22 classfcação que sea ótma e, por sso, a combnação de váras abordagens de classfcadores é uma prátca bastante usada. O proeto de um sstema de reconhecmento de padrões, envolve, essencalmente, três etapas: () aqusção de dados (extração de característcas) e pré-processamento (seleção das característcas mas dscrmnatvas); () representação de dados; () tomada de decsão (construção de um classfcador ou descrtor). A escolha de sensores, técncas de pré-processamento, esquema de representação e método para a tomada de decsão, depende do domíno do problema. Um problema bem defndo e sufcentemente detalhado, onde se tem pequenas varações ntra-classes e grandes varações nter-classes, produzrá representações compactas de padrões e, consequentemente a estratéga de tomada de decsão será smplfcada. Aprender, a partr de um conunto de exemplos (conunto de trenamento), é um atrbuto mportante deseado na maora dos sstemas. Domíno do Problema Aplcação Padrão de Entrada Classes de Padrões Bonformátca Análse de Seqüênca DNA/Seqüênca de Proteína Tpos conhecdos de genes/padrões Mneração de dados Busca por padrões sgnfcantes Pontos em um espaço mult-dmensonal Compactar e separar grupos Classfcação de documentos Busca na Internet Documento texto Categoras semântcas, (negócos, entre outros) Análse de documento de magem Máquna de letura para cegos Imagem de Documento Caracteres alfa-numércos, palavras Automação ndustral Inspeção de placas de crcuto mpresso Intensdade ou alcance de magem Natureza do produto (defetuosa ou não) Recuperação de base de dados multmída Busca Internet Vídeo clp Gêneros de vídeo (p.e. ação, dálogo, entre outros.) Reconhecmento bométrco Identfcação pessoal Face, írs, mpressão dgtal Usuáros autorzados para controle de acesso Sensoramento remoto Prognóstco da produção de colheta Imagem mult-espectral Categoras de aprovetamento de terra, desenvolvmento de padrões de colheta Reconhecmento de voz Inquérto por telefone sem assstênca de operador Voz em forma de onda Palavras faladas Tabela 2.1: Exemplos de aplcações para o reconhecmento de padrões [JAIN, A. K. et al. (2000b)].

3 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 23 A escolha de uma abordagem para o reconhecmento de padrões não é uma tarefa smples e mutas vezes ela conta com a experênca do proetsta. Na próxma seção, váras abordagens para o reconhecmento de padrões são apresentadas. Vale observar que elas não são necessaramente ndependentes, pos desde os prmórdos da pesqusa em reconhecmento de padrões, váras são as tentatvas para o proeto de sstemas híbrdos [FU, K. S. (1983)]. E na lteratura de reconhecmento de padrão, às vezes a mesma abordagem possu dferentes nterpretações. 2.2 Algumas Técncas para reconhecmento de padrões Esta seção apresenta as prncpas técncas para reconhecmento de padrões Casamento de modelos (Template Matchng) Uma das prmeras e mas smples abordagens para reconhecer padrões é a técnca de casamento de modelos. O casamento é uma operação genérca usada para determnar a smlardade entre duas entdades do mesmo tpo. O modelo é tpcamente um protótpo. O padrão a ser reconhecdo é comparado com os modelos armazenados, observando todas as varações possíves em termos de: translação, rotação e mudanças de escalas. A medda de smlardade é frequentemente uma correlação ou uma função de dstânca. Mutas vezes o modelo, por s mesmo, é aprenddo a partr do conunto de trenamento. Esse método é computaconalmente exgente, mas a atual dsponbldade de recursos computaconas permte com que essas abordagens vablzem-se mas faclmente [JAIN, A. K. et al. (2000a)]. O casamento de modelos faz parte das abordagens de decsão teórca que se baseam na utlzação de funções de decsão (ou dscrmnantes). Sea x ) T = ( x1, x2,..., x n um vetor de padrão n-dmensonal. Para M classes de padrões w 1, w2,..., w M, o problema básco é encontrar M funções de decsão d x), d,..., dm ( ), com a propredade de que, se o padrão x pertencer à classe 1( 2 x w,então: d > d = 1,2,..., M;. (2.1)

4 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 24 ou sea, um padrão desconhecdo x pertencerá à -ésma classe de padrões se a substtução de x em todas as funções de decsão fzer com que d (x) tenha o maor valor numérco. Empates são resolvdos arbtraramente. A frontera de decsão que separa as classes w e w é dada pelos valores de x para os quas d = d ou, equvalentemente, pelos valores de x para os quas d d = 0 (2.2) É comum dentfcar a frontera de decsão entre duas classes pela função d = d d = 0. Portanto, d > 0 para padrões de classe w e d < 0 para padrões de classe w [GONZALEZ, R. C. & WOODS, R. E. (1992)]. Mutos pesqusadores atualmente se utlzam da abordagem de casamento de modelos em dversas áreas de aplcações: ) para determnar a presença de uma magem ou obeto dentro de uma cena [CHOI, M.S. & KIM, W.Y. (2000)] e ) para reconhecmento de caracteres [CONNEL, S. D. & JAIN, A. K. (2001)]. O aspecto da segurança em sstemas que utlzam técncas de casamento de modelos, em aplcações de reconhecmento de pessoas, é nvestgado em [BOLLE, R. M. et al. (2001)], pos eles são mas vulneráves a ataques de força bruta. Isto resulta em nvasões de prvacdade que acarretam grandes problemas, pos o usuáro tem regstrado uma magem de parte de seu corpo no banco de dados do sstema Classfcador de dstânca mínma protótpo (ou médo): Suponha que cada classe de padrões sea representada por um vetor 1 (2.3) m = x = 1,2,..., M N x w em que N é o número de vetores de padrões de classe w e a soma é realzada sobre esses vetores. Uma manera de defnr a pertnênca de um vetor padrão x desconhecdo é atrbuí-lo à classe de seu protótpo mas próxmo. A dstânca Eucldana, ou a de

5 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 25 Hammng, pode ser usada para determnar a proxmdade, reduzndo o problema à computação das dstâncas: D = x m = 1,2,..., M (2.4) 1 T 2 em que a = ( a a) é a norma Eucldana. Atrbu-se então, x à classe w se D (x) for a menor dstânca. Ou sea, a menor dstânca mplca no melhor casamento nessa formulação. Não é dfícl mostrar que sso é equvalente a avalar a função T 1 T d = x m m m = 1,2,..., M 2 (2.5) e atrbur x à classe w se (x) levar ao maor valor numérco. Essa formulação está de d acordo com o conceto de função de decsão, como defndo na Equação (2.1). A partr das Equações (2.2) e (2.5), pode-se ver que a frontera de decsão entre as classes w e w para o classfcador de dstânca mínma é d T 1 T = d d = x ( m m ) ( m m ) ( m m ) = 0 2 (2.6) A superfíce dada pela Equação (2.6) é a bsseção perpendcular do segmento de lnha entre m e m. Para n=2 a bsseção perpendcular é uma lnha, para n=3 é um plano e para n>3 é chamado de hperplano [GONZALEZ, R. C. & WOODS, R. E. (1992)] Casamento de modelos por correlação Segundo [GONZALEZ, R. C. & WOODS, R. E. (1992)], o conceto básco de correlação de magens é consderado como a base para encontrar casamentos de uma sub- magem w ( x, y) de tamanho J x K dentro de uma magem f(x,y) de tamanho M x N, supondo-se que J M e K N. Embora a abordagem por correlação possa ser

6 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 26 formulada na forma vetoral, o tratamento dreto com uma magem ou sub-magem é mas ntutvo. Em sua forma mas smples, a correlação entre f(x,y) e w(x,y) é c ( s, t) = f ( x, y) w( x s, y t) (2.7) x y em que s=0,1,2,...,m-1 e t=0,1,2,...,n-1, e a soma é realzada sobre a regão da magem em que f e w se sobreponham. A Fgura 2.1 lustra este procedmento, sendo consderada a orgem de f(x,y) o topo à esquerda e a de w(x,y) a regão de seu centro. Para qualquer valor de (s,t) dentro de f(x,y), a aplcação da Equação (2.7) leva a uma valor c. Na medda que s e t são varrdos, w(x,y) é movdo na área da magem, fornecendo uma função c(s,t). O valor máxmo de c(s,t) ndca a posção em que w(x,y) melhor se casa com f(x,y). Note que se perde precsão para valores de s e t perto das bordas de f(x,y), com a ampltude de erro sendo proporconal ao tamanho de w(x,y). Fgura 2.1: Esquema para se obter a correlação de f(x,y) e w(x,y) no ponto (s,t) [GONZALEZ, R. C. & WOODS, R. E. (1992)]. A função de correlação dada na equação (2.7) possu a desvantagem de ser sensível a mudanças na ampltude de f(x,y) e de w(x,y). Por exemplo, dobrando-se todos os valores de f(x,y), dobrar-se-ão os valores de c(s,t). Uma abordagem frequentemente usada para evtar essa dfculdade é realzar o casamento através do coefcente de correlação, que é defndo como

7 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 27 γ ( s, t) = x y [ f ( x, y) f ( x, y)][ w( x s, y t) w] [ f ( x, y) f ( x, y)] 2 x y x y 2 [ x( x s, y t) w] 1 2 (2.8) em que s=01,2,3,...,m-1 e t=0,1,2,..,n-1, w é o valor médo dos pxels em w(x,y) (computado apenas 1 vez), f ( x, y) é o valor médo de f(x,y) na regão concdente com a posção corrente de w, e as somas são realzadas sobre as coordenadas comuns, tanto a f como a w. O coefcente de correlação γ ( s, t) tem sua escala no ntervalo -1 a 1, ndependentemente de mudanças na ampltude de f(x,y) e w(x,y). Embora a função de correlação possa ser normalzada para mudanças de ampltude através do coefcente de correlação, a obtenção da normalzação para mudanças de tamanho e rotação pode ser dfícl. A normalzação em relação ao tamanho envolve mudança de escala espacal, um processo que acrescenta um custo computaconal consderável. Se uma psta em relação à rotação puder ser extraída de f(x,y), então bastará rotaconar w(x,y) de manera que ela mesma se alnhe com o grau de rotação de f(x,y). Entretanto se a natureza da rotação for desconhecda, as busca pelo melhor casamento requererá rotações exaustvas de w(x,y). Esse procedmento é mpratcável e, por consegunte, a correlação é raramente usada em casos em que rotação arbtrára ou sem restrções esteam presentes [GONZALEZ, R. C. & WOODS, R. E. (1992)] Técncas estatístcas Em reconhecmento de padrões com abordagem estatístca, um padrão é representado por um conunto de característcas chamado de vetor de característcas d- dmensonal. Os concetos da teora de decsão estatístca são utlzados para estabelecer fronteras de decsão entre classes e padrões. O sstema de reconhecmento é operado em dos modos: trenamento (aprendzagem) e classfcação (teste) (de acordo com a Fgura 2.2) [JAIN, A. K. et al. (1996)].

8 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 28 Fgura 2.2: Blocos funconas para o reconhecmento de padrão na abordagem estatístca [JAIN, A. K. et al. (2000a)]. Na Fgura 2.2 a função do módulo de pré-processamento é capturar o padrão de nteresse, remover ruído, normalzar e realzar qualquer outra operação que contrbua para a defnção de uma representação compacta do padrão. Um dos problemas óbvos encontrados, prncpalmente quando o padrão trata-se de uma magem, é a alta dmensonaldade dos dados de entrada. Técncas que combnam as varáves (característcas) de entrada mas próxmas para produzr um menor número das mesmas, audam a alvar tas problemas. Essas técncas podem ser construídas manualmente, com base no problema partcular, ou podem ser dervadas dos dados, a partr de procedmentos automátcos [BISHOP, C. M. (1996)]. Esses métodos são chamados de extração e seleção de característcas e serão vstos com mas detalhes nas seções seguntes. Eles estão presentes no módulo de trenamento, parte superor da Fgura 2.2. Para encontrar característcas apropradas às representações de padrões de entrada o classfcador é trenado para partconar o espaço de característcas. Otmzações do pré-processamento e das estratégas de extração e seleção de característcas são realzados no camnho recorrente da Fgura 2.2. No modo classfcação, o classfcador trenado mapea o padrão de entrada em uma das classes de padrões sob consderação, baseado nas característcas meddas. O processo de tomada de decsão estatístca em reconhecmento de padrões pode ser sntetzado como segue: sea um padrão representado por um vetor x = ( x1, x2,..., xd w,..., ) com d característcas, ele será determnado a uma das c classes 1, w2 w c. Supõe-se que cada característca apresente uma densdade de probabldade (dependendo das característcas serem contínuas ou dscretas)

9 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 29 condconada à cada classe. Assm, um padrão x pertencente a uma classe w é vsto como uma observação extraída aleatoramente a partr de uma função de probabldade classe-condconal p x w ). As regras de decsão, nclundo a regra de decsão de ( Bayes, a regra da probabldade máxma (que pode ser vsta como um caso partcular da regra de Bayes) e a regra Neyman-Peason são efcazes para defnr a frontera de decsão. A regra de decsão ótma de Bayes para a mnmzação do rsco condconal pode ser declarada como segue: R( w x) = c = 1 L( w, w ). P( w x) (2.9) Ela determna a classe w para o padrão de entrada x onde o rsco condconal é mínmo, L ( w, w ) é a função de perda causada na decsão de w quando a classe verdade é w e P( w x) é a probabldade posteror [JAMISON, T. A. & SCHALKOFF, R. J. (1998)]. No caso da função perda ser 0/1, como defndo na equação 2.10, o rsco condconal torna-se a probabldade condconal de falsa classfcação. 0, = L( w, w) = 1, (2.10) Para a escolha da função de perda, a regra de decsão de Bayes pode ser smplfcada como mostrado na equação Ela determna o padrão de entrada x para a classe w se P( w x) > P( w x), para todo (2.11) Váras estratégas são utlzadas para proetar um classfcador para o reconhecmento de padrões com abordagem estatístca, dependendo da espéce de nformação dsponível a respeto de densdades de classe-condconal. Se todas elas são especfcadas, então a regra de decsão ótma de Bayes pode ser usada para a classfcação. Entretanto, densdades de classe-condconal são frequentemente desconhecdas na prátca e devem ser aprenddas a partr dos padrões de trenamento dsponíves. Se a forma da densdade classe-condconal é conhecda, por exemplo uma Gaussana multvarada, mas alguns dos parâmetros de densdades, por exemplo,

10 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 30 vetores médo e matrzes de covarânca, são desconhecdos, então tem-se um problema de decsão paramétrco. Uma estratéga comum para esses tpos de problemas é substtur os parâmetros desconhecdos na função densdade por seus valores estmados. Se a forma da densdade classe-condconal não é conhecda, então opera-se em um modo não paramétrco. Neste caso, estma-se a função densdade (ex: abordagem anela Parzen) ou constró-se dretamente a frontera de decsão baseada nos dados de trenamento (ex: k-ézmo vznho mas próxmo). O perceptron multcamada pode ser vsto como um método supervsonado não paramétrco que constró uma frontera de decsão. Outra dcotoma na abordagem estatístca para o reconhecmento de padrões é a do aprendzado supervsonado versus o aprendzado não supervsonado. Em um problema de aprendzado não supervsonado, algumas vezes o número e as estruturas de classes devem ser aprenddas medante o conunto de exemplos de trenamento. As váras dcotomas são mostradas na árvore de estruturas da Fgura 2.3. Fgura 2.3: As váras abordagens estatístcas para o reconhecmento de padrão. [JAIN, A. K. et al. (2000a)]. À medda que se percorre a árvore de cma para baxo e da esquerda para a dreta, menos nformações a respeto das característcas e classes de padrões são dsponíves e, como resultado, a dfculdade de classfcação aumenta. Em alguns casos, a maora dos métodos (nas folhas da árvore da Fgura 2.3) são tentatvas de

11 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 31 mplementar a regra de decsão de Bayes. A análse de agrupamentos (cluster) trata de problemas de tomada de decsão no modo não paramétrco e aprendzado não supervsonado [JAIN, A. K. & DUBES, R. C. (1998)], onde o número de categoras ou clusters não é especfcado; a tarefa é descobrr uma categorzação razoável dos dados (se exstr alguma). Algortmos de análse de agrupamentos unto com váras técncas para vsualzação e proeção de dados mult-dmensonas são também referdas como métodos de análse exploratóra de dados. Anda outra dcotoma basea-se na manera como as fronteras de decsão são obtdas: dreta (abordagem geométrca) ou ndreta (abordagem baseada em densdade probablístca). A abordagem probablístca requer prmero que a função de densdade sea estmada, para então construr as funções dscrmnantes que especfcam as fronteras de decsão. Por outro lado a abordagem geométrca frequentemente constró fronteras de decsão dretamente, através de funções de custo fxo. Não mporta qual sea a regra de classfcação ou decsão usada, ela deve ser trenada usando os exemplos de trenamento dsponíves e o desempenho de um classfcador dependerá dsso e da quantdade desses exemplos. Ao mesmo tempo, o obetvo prncpal de um sstema de reconhecmento é classfcar exemplos de testes futuros, os quas são provavelmente dferentes dos exemplo vstos durante o trenamento. 2.3 Super-trenamento e super-adaptação Otmzar um classfcador para maxmzar seu desempenho sobre o conunto de trenamento pode nem sempre resultar no desempenho deseado para um conunto de teste. A habldade de generalzação de um classfcador refere-se ao seu desempenho em classfcar padrões de testes que não foram usados durante o estágo de trenamento. Uma habldade pobre de generalzação pode ser atrbuída a qualquer um dos seguntes fatores: () número de característcas muto grande relatvo ao número de exemplos de trenamento; () grande número de parâmetros desconhecdos assocados ao classfcador (ex: classfcadores polnomas ou uma rede neural com número excessvo de neurônos na camada ntermedára);

12 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 32 () um classfcador ser ntensvamente otmzado no conunto de trenamento (super-trenamento). O super-trenamento, também é análogo ao fenômeno de super-adaptação em regressão, quando exstem mutos parâmetros lvres. Esses fenômenos são teorcamente nvestgados através de classfcadores que mnmzam a taxa de erro aparente (o erro no conunto de trenamento). Há váras fases no fenômeno de super-trenamento, por exemplo, dependendo da relação entre o numero t de exemplos e o número m de parâmetros modfcáves. Quando t é menor ou quase gual a m, os exemplos podem em prncípo, ser memorzados e a sobre-adaptação é elevada nesta fase, prncpalmente quando t m. O super-trenamento pode ser dvddo em duas categoras: () Absoluto, quando o desempenho de classfcação degrada para todas as categoras de padrões e () Relatvo, quando o desempenho de classfcação degrada para algumas categoras, enquanto para outras permanece nalterado ou até mesmo melhora. Às vezes, há domnânca de padrões de algumas categoras no conunto de trenamento, ocasonando um super-trenamento do classfcador que se adaptará às mesmas. Isso é consderado um super-trenamento relatvo. O super-trenamento absoluto ocorre prncpalmente devdo ao conunto de trenamento ser um lmar representatvo para o conunto de teste. Por outro lado, o super-trenamento ocorre usualmente devdo ao conunto de trenamento apresentar padrões confusos nas regões do envoltóro da frontera de decsão [CHOI, M.S. & KIM, W.Y. (2000)]. Os estudos clásscos de [GROHMAN, W. M. & DHAWAN, A. P. (2001)], sobre a capacdade de complexdade de classfcadores, provêem um bom entendmento dos mecansmos que levam ao super-trenamento. Classfcadores complexos, por exemplo, aqueles tendo mutos parâmetros ndependentes, podem ter uma grande capacdade, sto é, eles são hábes para representar mutas dcotomas para um dado conunto de dados. As armadlhas da super-adaptação em estmadores, para um dado conunto de trenamento, são observadas em mutos estágos de um sstema de reconhecmento de padrões, tas como na redução de dmensonaldade, estmatva de densdade, e construção do classfcador. O conceto de super-adaptação refere-se à demasada

13 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 33 adaptação e auste do classfcador a exemplos específcos, perdendo assm sua capacdade de generalzação. Em alguns casos consste de uma dstorção local da frontera de decsão, ou sea, não cabe supor que sua ocorrênca é smultânea em todo o espaço de característcas e a dstorção pode ocorrer em dferentes locas em dferentes momentos. Isto mplca que em alguns locas a frontera de decsão é contnua, enquanto em outras áreas a super-adaptação á está presente [ROSIN, P. L. & FIRENS, F. (1995)]. Uma solução certa é sempre usar um conunto teste ndependente do conunto de trenamento para avalação. Para evtar a necessdade de mutos conuntos de testes ndependentes, estmadores são frequentemente baseados em subconuntos dos dados rotaconados, preservando dferentes partes dos dados para otmzação e avalação. 2.4 O problema da dmensonaldade e o fenômeno de máxmo O desempenho de um classfcador depende do nter-relaconamento entre o tamanho do conunto de exemplos, o número de característcas dos padrões e a sua complexdade. Sea o exemplo de uma smples técnca de tabela de consulta, onde se partcona o espaço de característcas em células e se assoca um nome de classe a cada célula. Isso requer que o número de exemplos de trenamento sea uma função exponencal da dmensão de característcas [CHAMP, P. (1994)]. Esse fenômeno é chamado de maldção da dmensonaldade, que conduz ao fenômeno de máxmo em um proeto de classfcador [JAIN, A. K. et al. (2000a)]. A probabldade de classfcação falsa de uma regra de decsão não aumenta na mesma proporção que aumenta o número de característcas, dado que as densdades classe-condconal seam completamente conhecdas. Entretanto, tem-se frequentemente observado que, na prátca, o aumento de característcas pode degradar o desempenho de um classfcador se o número de exemplos de trenamento que fo usado para proetar o classfcador é relatvamente pequeno em relação ao número de característcas. Este é um comportamento paradoxal referdo como fenômeno de máxmo [SUNG, K. K. & POGGIO, T. (1998)]. Uma smples explanação sobre este fenômeno é dada a segur. A maora dos classfcadores paramétrcos geralmente usados estma parâmetros não conhecdos e lga-os a parâmetros verdaderos nas densdades de classe-condconal. Em uma amostra de tamanho fxo, quando o número de característcas cresce (à medda que aumenta o número de parâmetros desconhecdos ) a confança dos parâmetros estmados

14 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 34 decresce. Consequentemente, o desempenho dos classfcadores, para uma amostra de tamanho fxo, pode degradar com um aumento no número de característcas. Todos os classfcadores geralmente usados, nclundo redes neuras dretas, podem sofrer o problema da dmensonaldade, pos é muto dfícl estabelecer um exato relaconamento entre a probabldade de falsa classfcação, o número de exemplos de trenamento, o número de característcas e os parâmetros verdaderos das densdades de classe-condconal. Algumas lnhas de dreção são sugerdas com base no tamanho do conunto de exemplos para dmensonaldade. É geralmente acetável que o número de exemplos de trenamento por classe sea, pelo menos, dez vezes o número de característcas (n/d>10). Isto sera uma boa prátca a se segur no proeto de um classfcador [SUNG, K. K. & POGGIO, T. (1998)], maor devera ser a proporção do tamanho de exemplos para ser evtado o problema da dmensonaldade. 2.5 Redução da dmensonaldade As vantagens em reduzr a dmensonaldade da representação do padrão refletem-se na medda de custo e precsão do classfcador. Além dsso, uma pequena quantdade de característcas pode alvar o problema da dmensonaldade, quando o número de exemplos de trenamento é pequeno. Porém, um reduzdo número de característcas pode levar a uma fraca dscrmnação e consequentemente a uma precsão nferor no sstema de reconhecmento resultante. Mas a redução de dmensonaldade é necessára quando, por exemplo, é possível construr dos padrões arbtráros smlares, codfcando-os a partr de um grande número de característcas redundantes [WATANABE, S. (1985)]. No entanto, toda redução de dmensonaldade mplca numa perda de nformação, e esta últma pode vr a ser fundamental para dscrmnação dos padrões. Por sto, o obetvo prncpal das técncas de redução de dmensonaldade é preservar o máxmo possível da nformação relevante dos dados. Exstem dferenças entre seleção e extração de característcas, embora na lteratura elas seam usadas ndstntamente. O termo seleção refere-se a algortmos que procuram seleconar o melhor subconunto de um conunto de característcas de entrada. Já algortmos de extração são métodos que cram novas característcas a partr de transformações ou combnações do conunto de característcas orgnal. Frequentemente, a extração precede a seleção, pos prmero as característcas são extraídas a partr do sentdo dos dados (usando componente prncpal ou análse

15 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 35 dscrmnante) e então algumas característcas extraídas, com baxa habldade de dscrmnação, são descartadas. A escolha entre seleção e extração depende do domíno de aplcação e dos dados específcos de trenamento dsponíves. A seleção conduz à economa na medda de custo quando algumas característcas são descartadas e as que foram seleconadas, retém suas nterpretações físcas orgnas. Além do mas, as mesmas podem ser mportantes para o entendmento do processo físco que gera os padrões. Por outro lado, transformações geradas por extração podem prover uma melhor habldade dscrmnatva do que o melhor subconunto de característcas orgnas, mas estas novas característcas podem não ter um claro sentdo físco. O ponto prncpal da redução de dmensonaldade é a escolha de uma função de crtéro. Um crtéro geralmente usado é o erro de classfcação segundo um subconunto de característcas. Porém, o erro de classfcação, por s só, não é confável quando a quantdade de exemplos de padrões é pequena em relação ao número de característcas. E anda mas, para a escolha de uma função crtéro, é necessáro determnar a dmensonaldade aproprada do espaço de característcas reduzdo. E em reposta a sto surge a noção de dmensonaldade ntrínseca dos dados, que consste em determnar se os padrões d-dmensonas orgnas podem ser descrtos adequadamente em um subespaço de dmensonaldade menor do que d. Por exemplo, padrões d-dmensonas ao longo de uma curva aplanada tem uma dmensonaldade ntrínseca de um, ndependente do valor de d. Deve-se perceber que dmensonaldade ntrínseca não é o mesmo que dmensonaldade lnear, que consste de uma propredade global dos dados, envolvendo o número de autovalores sgnfcatvos da matrz de covarânca dos dados. Apesar de haver mutos algortmos dsponíves para estmar a dmensonaldade ntrínseca [TIBBALDS, A. D. (1998)], eles não ndcam quão faclmente um subespaço de dmensonaldade pode ser dentfcado. 2.6 Extração de característcas Segundo [JAIN, A. K. et al. (2000a)], um método de extração de característcas determna um subespaço aproprado de dmensonaldade m (de uma manera lnear ou não lnear) no espaço de característcas orgnal de dmensonaldade d ( m d ). A transformada lnear, assm como a análse de componentes prncpas (PCA) ou

16 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 36 expansão Karhunen-Loève computam os m maores autovetores da matrz de covarânca d x d de n padrões d dmensonas. A transformação lnear é defnda como nx m nx m T nx m Y = X H (2.12) onde X é a matrz de padrão n x d, Y é a matrz dervada n x m, e H é a matrz de transformação lnear m x d, cuas colunas são auto-vetores. Vsto que PCA usa as característcas mas expressvas (auto-vetores com os maores autovalores), ele efetvamente aproxma os dados para um subespaço lnear usando o crtéro do erro quadrátco médo. Exstem outros métodos que são mas aproprados para dstrbuções não-gaussanas. Enquanto que PCA é um método de extração de característcas lnear e não supervsonado, análse dscrmnante usa a nformação de categora assocada com cada padrão para extração (lnear) da maora das característcas dscrmnatóras. Nela a separação nter-classes é feta por uma medda de separabldade que resulta no encontro de auto-vetores de S 1 w S b (o produto do nverso da matrz de espalhamento do nteror da classe S w e a matrz de espalhamento entre as classes S b) [MARR, D. (1982)]. Exstem mutas maneras de defnr técncas de extração de característcas não lneares. Um método semelhante e dretamente relaconado ao PCA é chamado de Kernel PCA [HOPCROFT, J. E. & ULLMAN, J. D. (1979)]. A déa básca do kernel PCA é prmero mapear os dados de entrada dentro de algum novo espaço de característca F, va uma função não lnear Φ (por exemplo, polnomal de grau p;p>1) e então executar um PCA lnear no espaço mapeado. Escalonamento multdmensonal (MDS) é outra técnca de extração de característcas não lnear. Seu obetvo é representar um conunto de dados multdmensonal em 2 ou 3 dmensões semelhantes onde a matrz dstânca, no espaço de característca d-dmensonal orgnal é preservada tão felmente quanto possível no espaço proetado. Um problema com MDS é que ele não possu uma função de mapeamento explícta. Assm, não é possível estabelecer um novo padrão em um mapa á computado por um dado conunto de trenamento, sem ter que repetr o mapeamento. Mutas técncas tem sdo nvestgadas para tratar essa defcênca que abrange desde nterpolação lnear até o trenamento de uma rede neural.

17 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 37 Uma rede neural dreta oferece um procedmento ntegrado para extração de característcas e classfcação. A saída de cada camada ntermedára pode ser nterpretada como um conunto de novas característcas, frequentemente não lneares, apresentadas à camada de saída para classfcação. Nesse sentdo, redes mult-camadas servem como extratores de característcas [ZIMMERMANN, A. C. et al. (2000)]. Por exemplo, as redes que apresentam as então chamadas camadas de pesos compartlhados, são de fato fltros para extração de característcas em magens bdmensonas. Durante o trenamento, os fltros são dreconados para os dados de manera a maxmzar o desempenho da classfcação. Fgura 2.4: Redes Auto-assocatvas para encontrar um subespaço. (a) lnear, (b) não-lnear (nem todas as conexões são mostradas) [JAIN, A. K. et al. (2000a)]. Redes neuras também podem ser usadas dretamente para extração de característcas em um modo não supervsonado. A Fgura 2.4 mostra a arqutetura de uma rede que é hábl para encontrar o subespaço PCA. Ao nvés de funções sgmódes, os neurônos tem funções de transferênca lneares. Esta rede tem d entradas e d saídas, onde d é o número de característcas dado. As entradas são também usadas como saídas deseadas, forçando a camada de saída a reconstrur o espaço de entrada usando somente uma camada ntermedára. Os três nós na camada ntermedára capturam os prmeros três componentes prncpas [CHAMP, P. (1994)]. Se duas camadas não lneares, com undades ntermedáras contendo funções de transferênca sgmodas, são ncluídas

18 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 38 também (vea Fgura 2.4(b)), então um subespaço não lnear é encontrado na camada ntermedára (também chamada de camada de gargalo). A não lneardade é lmtada pelo tamanho dessas camadas adconas. Estas, então chamadas redes auto-assocatvas, ou redes PCA não lneares, oferecem uma poderosa ferramenta para trenar e descrever subespaços não lneares [ZADEH, L.A. (1973)]. O mapa de Kohonen [KOHONEN, T. (1995); YAO, X. & LIU, Y. (1998)], pode também ser usado para extração de característcas não lneares. Nesta rede, conhecda como rede SOM, os neurônos são dspostos em um espaço m-dmensonal, onde m é geralmente 1,2 ou 3. Cada neurôno é conectado a todas às d undades de entrada. Os pesos das conexões de cada neurôno formam um vetor de pesos d-dmensonal. Durante o trenamento, padrões são apresentados à rede de forma aleatóra. A cada apresentação o vencedor, que é o vetor peso mas próxmo do vetor de entrada, é dentfcado prmero. Então, todos os neurônos na vznhança do vencedor são atualzados de modo que seus vetores de pesos movam-se em dreção ao vetor de entrada. Depos que o trenamento é feto, os vetores de pesos dos neurônos da vznhança tornam-se bem parecdos com os padrões de entrada que estão próxmos no espaço de característcas orgnal. Assm, uma mapa de preservação de topologa é formado, ou sea, a rede SOM oferece um mapa m-dmensonal com uma conectvdade espacal, que pode ser nterpretada com a extração de característcas. 2.7 Seleção de Característcas O problema da seleção é: para um dado conunto de d característcas, seleconar um subconunto de tamanho m que conduza ao menor erro de classfcação. O nteresse da aplcação de métodos de seleção deve-se ao grande número de característcas encontradas nas seguntes stuações: () unão de mult-sensores e () ntegração de múltplos modelos de dados [JAIN, A. K. et al. (2000a)]. Sea Y o conunto de característcas dado, com cardnaldade d e sea m o número de característcas deseado no subconunto seleconado X, X Y. Sea J(X) a função de crtéro de seleção para o conunto X. Supõe-se que o maor valor de J ndque um melhor subconunto de característcas; a escolha natural da função crtéro é J = ( 1 Pe ), onde P e denota o erro de classfcação. O uso de P e na função crtéro faz o procedmento de seleção depender do classfcador usado e dos tamanhos dos conuntos

19 CAPÍTULO 2. RECONHECIMENTO DE PADRÕES 39 de trenamento e teste. A maora das abordagens dretas para o problema de seleção rá d d! requerer () exame de todos os possíves = subconuntos de tamanho m m m! ( d m)! e () seleção do subconunto com o maor valor de J(.). Entretanto o número de subconuntos possíves cresce combnatoralmente, fazendo desta uma busca exaustva mpratcável mesmo para valores pequenos de m e d. O únco método de seleção ótmo que evta a busca exaustva pelo uso de resultado ntermedáros para o valor fnal de crtéro, está baseado no algortmo de ramfcação e frontera [JAIN, A. K. et al. (2000a)]. Dado que os procedmentos de extração e seleção de característcas tenham encontrado uma representação aproprada para os padrões, deve-se escolher a abordagem na qual o classfcador estatístco será proetado, que na prátca é um problema dfícl e na maora das vezes esta escolha é frequentemente baseada na experênca do proetsta e nos acontecmentos ocorrdos entre classfcador e usuáro [JAIN, A. K. et al. (2000a)]. 2.8 Consderações Fnas Neste capítulo foram dscutdos métodos de reconhecmento de padrões, consderando os métodos de extração de característcas que determnam um subespaço aproprado de dmensonaldade m (de uma manera lnear ou não lnear) no espaço de característcas orgnal de dmensonaldade d ( m d ). Também fo abordado o problema da seleção, no qual dado conunto de d característcas, seleconar um subconunto de tamanho m que conduza ao menor erro de classfcação. Fo também mostrado o problema da dmensonaldade no qual a probabldade de classfcação falsa de uma regra de decsão não aumenta na mesma proporção que aumenta o número de característcas, dado que as densdades classe-condconal seam completamente conhecdas e com sto fo mostrado também as vantagens em reduzr a dmensonaldade da representação do padrão que se refletem na medda de custo e precsão do classfcador.