Classificação de Imagens Tomográficas de Ciência dos Solos Utilizando Redes Neurais e Combinação de Classificadores

Transcrição

1 Classfcação de Imagens Tomográfcas de Cênca dos Solos Utlzando Redes Neuras e Combnação de Classfcadores Fabrco A. Breve, Nelson D. A. Mascarenhas Departamento de Computação Unversdade Federal de São Carlos, São Paulo, SP, Brasl {fabrco, nelson}@dc.ufscar.br Abstract Pattern Recognton s a subect beng used n a multdscplnary scope, wth dfferent approaches. One of them s ts applcaton n computerzed tomography mages, commonly acqured n order to do medcal dagnoss, but they have been used n several other applcatons as well, ncludng Sol Scence. The obectve of ths work s to study and to dscuss the performance of neural network-based classfers (Multlayer Perceptron and Radal Bass Functons) and classfer combners (Baggng, Decson Templates and Dempster-Shafer) appled to dentfy materals n Sol Scence multspectral mages, acqured usng Computerzed Tomography. The results were evaluated by error estmaton by Hold-Out and the Kappa coeffcent. 1. Introdução Reconhecmento de Padrões é um processo de descobrmento, de dentfcação e entendmento de padrões que seam relevantes à realzação de uma tarefa que pode ser baseada em magens [1]. As técncas de Reconhecmento de Padrões podem ser aplcadas às mas dversas áreas e aos mas dversos tpos de magens e snas, sendo que a Tomografa Computadorzada é uma das áreas onde elas vêm sendo amplamente utlzadas. A EMBRAPA Instrumentação Agropecuára da cdade de São Carlos proetou e construu um mntomógrafo para obtenção de magens de Cêncas de Solos. Com este equpamento, magens podem ser adqurdas com o uso de dferentes fontes de energa: raos gama provenentes de fontes radoatvas como Céso (137Cs) e Ameríco (241Am) ou raos-x com múltplas energas. Alguns trabalhos foram desenvolvdos aplcando-se técncas de classfcação multespectral com o ntuto de dentfcar materas em magens obtdas através de testes não destrutvos com tecnologa do mntomógrafo, utlzando raos-γ e raos-x com múltplas energas [2][3][4][5]. Com as crescentes pesqusas em técncas de reconhecmento de padrões baseadas em redes neuras, redes de base radal e sstemas de combnação de classfcadores, abre-se espaço para propor e apresentar novos algortmos para classfcação das magens e para combnação de classfcadores. Dentro deste contexto as Redes Neuras surgem como uma extensão das mutas técncas convenconas que vêm sendo desenvolvdas por décadas. Em determnados tpos de problema as Redes Neuras apresentam mutas vantagens com relação aos classfcadores tradconas. Neste trabalho são estudados e aplcados os classfcadores Perceptron de Múltplas Camadas e Redes de Base Radal, ambos desenvolvdos a partr do estudo das redes neuras. Combnação de Classfcadores é uma área muto dnâmca e que vem crescendo de forma extremamente rápda. Portanto se torna bastante nteressante aplcar alguns de seus métodos para avalar seus possíves benefícos. Neste trabalho são utlzadas as técncas de Baggng e os combnadores Decson Templates e Dempster-Shafer. O obetvo deste trabalho é apresentar métodos para dentfcação de materas em magens tomográfcas de solo utlzando técncas de reconhecmento de padrões baseadas em redes neuras, dando contnudade aos trabalhos anterores [2][3][4][5]. Ao classfcar amostras de solo e verfcar o desempenho de dversos algortmos de classfcação e combnação, esta dssertação deverá contrbur para as pesqusas e trabalhos nas áreas de Cênca dos Solos, Reconhecmento de Padrões e Redes Neuras. 2. Classfcação Classfcação de Imagens é o tema prncpal deste trabalho. Neste capítulo são apresentados os classfcadores baseados em redes neuras que foram utlzados.

2 2.1 Classfcadores e Redes Neuras Uma rede neural artfcal é uma máquna proetada para modelar a manera como o cérebro realza uma determnada tarefa; é mplementada por componentes eletrôncos ou smulada por programação em um computador dgtal. Para alcançar um bom resultado as redes neuras utlzam dversas células computaconas smples (denomnadas neurônos) e altamente nterlgadas. Seu obetvo é armazenar conhecmento expermental e torná-lo dsponível para uso. O conhecmento é adqurdo pela rede através de um processo de aprendzagem. O conhecmento é armazenado nos neurônos em undades denomnadas pesos snáptcos. O processo de aprendzagem consste em modfcar os pesos snáptcos da rede de uma forma ordenada para alcançar o obetvo deseado. A combnação de dversos neurônos artfcas forma a chamada rede neural. A saída de cada neurôno pode ser conectada à(s) entrada(s) de outro(s) neurôno(s) formando assm uma rede. Cada neurôno pode então ser defndo como um nó dessa rede. A formação da rede pode assumr mutas estruturas dferentes, das quas se destacam duas de partcular nteresse na tarefa de reconhecmento de padrões que serão descrtas a segur Perceptron de Múltplas Camadas O Perceptron de Múltplas Camadas é um tpo de rede que consste de um conunto de undades sensoras, que consttuem a camada de entrada, uma ou mas camadas ocultas e uma camada de saída de nós computaconas. O snal que é colocado nas entradas se propaga para frente camada por camada até chegar à camada de saída. Este tpo de rede vem sendo utlzado com sucesso para resolver problemas dfíces através de seu trenamento utlzando o algortmo de retropropagação de erro, que consste bascamente em dos passos: um passo para frente em que o snal aplcado à entrada va se propagando pelos nós computaconas da rede até chegar aos nós de saída; e um passo para trás, no qual todos os pesos snáptcos são austados de acordo com uma regra de correção de erro [6][7][8] Redes de Função de Base Radal Dferentemente das redes neuras do tpo Perceptron (que utlza uma técnca recursva conhecda na estatístca como aproxmação estocástca), as Redes de Função de Base Radal utlzam uma abordagem que vê a rede neural como um problema de auste de curva em um espaço de alta dmensonaldade. Neste contexto, aprender equvale a encontrar uma superfíce num espaço multdmensonal que forneça o melhor auste para os dados de trenamento do ponto de vsta estatístco. A construção de uma rede de função de base radal envolve três camadas com papés totalmente dferentes. A prmera camada é consttuída de nós sensoras que recebem os dados do ambente. A segunda camada, que é a únca camada oculta da rede, faz uma transformação não-lnear do espaço de entrada para um espaço oculto, normalmente de alta dmensonaldade. Fnalmente a camada de saída é lnear e fornece a resposta da rede ao snal de entrada [6]. 2.2 Avalação de Desempenho dos Classfcadores Através de métodos de avalação podemos obter números que ndcam qual fo o desempenho dos classfcadores que trenamos. Neste capítulo são descrtos os métodos de avalação utlzados Método Hold-Out Neste método, tradconalmente se separa o conunto de dados dsponíves (amostras prérotuladas) em duas metades. Usa-se uma para trenar o classfcador e a outra para testá-lo, obtendo-se a taxa de erro. Separações em outras proporções também são utlzadas. Também é possível nverter os conuntos, obter outra taxa de erro e então trar uma méda dos dos [7][9] Coefcente Kappa O Coefcente Kappa pode ser utlzado para medr o grau de concordânca entre os rótulos das amostras de teste e as saídas do classfcador. Para calcular o Coefcente Kappa podemos utlzar a segunte fórmula [10]: P( A) P( E) K =, (2.1) 1 P( E) onde P(A) é a proporção de vezes em que o classfcador acerta e P(E) é a proporção de vezes que se espera que um classfcador acertasse se as classfcações fossem fetas ao acaso. Por exemplo, se temos quatro classes equprováves o valor de P(E) será 0,25. Os valores de K podem varar entre -1 e 1. Quando não há concordânca alguma além da

3 esperada com a classfcação sendo feta ao acaso K será gual a zero. E quando há uma concordânca total entre os rótulos pré-estabelecdos e a saída do classfcador a saída será um. Valores menores que zero ndcam concordânca menor do que a esperada com a classfcação sendo feta ao acaso. 3. Combnação de Classfcadores Ao combnar classfcadores, as defcêncas de um determnado classfcador são compensadas pelas qualdades de outro [11]. A segur são descrtos os métodos utlzados neste trabalho. 3.1 Combnação de Classfcadores com Valores de Saída Contínuos O grau de suporte para uma dada entrada x pode ser nterpretado de dferentes maneras, sendo que as mas comuns são conhecdas como confança nos rótulos sugerdos e estmação de probabldades a posteror para as classes [7]. n Sea x R o vetor de característcas e Ω = { ω 1, ω2,..., ω c } o conunto de rótulos das classes. Cada classfcador D do conunto { D } D = 1,..., D L fornece c graus de suporte. Sem perda de generaldade pode-se assumr que todos os c graus estão no ntervalo [0, 1], sto é, D n [ ] c : R 0, 1. A notação d, representa o suporte que o classfcador D dá para a hpótese de que x vem da classe ω. As L saídas dos classfcadores para uma determnada entrada x pode ser organzado em um perfl de decsão (DP(x)) como a matrz: d1,1 L d1, L d1, c M M M. DP( x) = d ( ) ( ) ( ),1 x K d, x L d, c x (3.1) M M M d L,1( x) K d L, L d L, c Város métodos de combnação utlzam DP(x) para encontrar o suporte geral para cada classe e rotular a entrada x de acordo com a classe de maor suporte. 3.2 Combnador Decson Templates Neste método os combnadores dervam μ usando todos os L c graus de suporte em DP(x). Cada vetor no espaço de atrbutos ntermedáro é uma versão expandda das DP(x) obtdas concatenando-se suas L lnhas. São crados padrões de decsão (DT) que armazenam o perfl de decsão mas típco para cada classe ω. Os perfs de decsão DP(x) são então comparados com os DT. O rótulo de x é dado então a partr do DT mas smlar. O trenamento de um padrão de decsão é feto calculando-se a méda dos perfs de decsão DP ( z k ) de todos os membros de ω do conunto de dados Z [7]: 1 DT = DP( zk ), N (3.2) zk ω zk Z onde N é o número de elementos de Z vndos de ω. Após o trenamento, dada uma entrada, é possível construr seu perfl de decsão smlardade S entre DP e cada DT : u S DP, ( ) DT DP e calcular a = = 1,,c. (3.3) A smlardade S pode ser a dstânca Eucldana ou qualquer outra medda de dstânca. A classe cuo DT for mas próxmo ao perfl padrão de decsão ( ) de decsão DP rá dar rótulo à amostra. 3.3 Combnador de Dempster-Shafer Este método é baseado na teora da evdênca, ntroduzda por Glenn Shafer como uma manera de representar conhecmento cogntvo. Neste formalsmo a melhor representação de uma possbldade é uma função de crença em vez de uma dstrbução Bayesana. [12] O trenamento do combnador de Dempster-Shafer é gual ao do Decson Templates. Porém, em vez de calcular a smlardade entre o padrão de decsão e o perfl de decsão, são calculadas a proxmdade entre o modelo de decsão e a saída de cada classfcador. Estas são usadas para calcular o grau de crença para

4 cada classe. Fnalmente os graus de suporte para cada classe são calculados a partr dos graus de crença. Estes passos estão descrtos abaxo: [7]: DT 1. Sea a ésma lnha do padrão de decsão DT D e a saída de D, ou sea, D ( ) [ ( ) ( )] T x = d, 1 x,..., d, c x : a ésma lnha do perfl de decsão DP(x). Calculamos a proxmdade φ DT entre e a saída do classfcador D para a entrada x: φ, = 1+ DT c k = 1 1+ DT D k 2 D 1 2 1, (3.4) onde. é qualquer norma de matrz. Por exemplo, pode-se usar a dstânca eucldana entre os dos vetores. Portanto para cada padrão de decsão exstem L proxmdades. 2. Usando a equação anteror calculamos todas as classes, = 1,...,c; e para cada classfcador, = 1,...,L, os seguntes graus de crença φ, ( 1 Φ ( )) k k, x b ( D ) = [ ( ( ))] (3.5) 1 φ, 1 1 φ k k, x. 3. Os graus de suporte fnas são μ L = K b ( D ) = 1 = 1,..., c. onde K é uma constante de normalzação. 3.4 Baggng (3.6) Este método consste em construr réplcas do tpo bootstrap do conunto de trenamento e trená-las ndvdualmente. A saída dos dversos classfcadores é então combnada usando votação, ou sea, a saída apontada pela maora dos classfcadores é a escolhda [13]. A partr de um conunto de trenamento prérotulado são gerados aleatoramente dversos outros conuntos utlzando substtução. Para trar proveto deste método é necessáro que o classfcador base sea nstável, ou sea, um classfcador em que pequenas mudanças no conunto de trenamento levam a grandes mudanças na saída do classfcador. Se esta regra não for obedecda o que se obtém é somente um conunto de classfcadores quase dêntcos, que dfclmente rão melhorar a performance do classfcador. Neste trabalho os classfcadores utlzados são baseados em redes neuras, de natureza nstável, portanto espera-se que o uso do método Baggng possa melhorar sgnfcatvamente o desempenho dos classfcadores obtdos. 4. Metodologa Este trabalho propõe métodos para dentfcação de materas em magens multespectras rudosas de tomografa de transmssão utlzando múltplas energas. A proposta consste em explorar técncas de classfcação de magem e combnação de classfcadores nas magens tomográfcas adqurdas de um corpo de estudo através de múltplas energas. Através dos expermentos são fetas comparações e corroborações teórcas sobre as técncas utlzadas. 4.1 Aqusção de Imagens O mntomógrafo utlzado para a aqusção das magens deste trabalho fo desenvolvdo no EMBRAPA [14] e é um equpamento de prmera geração em que a fonte de raos-x ou raos-γ (que pode ser provenente de materas com decamento radoatvo como Céso ou Ameríco) e o detector (de crstal) são fxos, enquanto que a amostra em estudo sofre movmentos de rotação e translação. As magens utlzadas neste trabalho foram geradas através do mageamento de um corpo de prova nesse mntomógrafo. O corpo de prova (ou phantom) é um obeto confecconado especalmente para ser utlzado em expermentos. O phantom utlzado neste trabalho fo construído em plexglass que é um tpo de polímero e tem um formato clíndrco contendo quatro espaços (também de forma clíndrca) onde são colocados os materas a serem analsados. Nele foram nserdos 4 tpos de materas: cálco, fósforo, alumíno e água, conforme lustrado na Fgura 1. Para obtenção das proeções foram empregadas duas fontes de raos-γ (Céso e Ameríco) e duas fontes de raos-x dsponíves. As energas provenentes do céso e do ameríco são 662keV e 60keV, respectvamente e as duas energas provenentes de raos-x são 40keV e 85keV, sendo que as duas últmas foram escolhdas a partr da análse do comportamento dos coefcentes de atenuação (Fgura 2) de cada materal a ser dentfcado, de forma a obter melhor capacdade dscrmnatóra. A Tabela I mostra os valores teórcos

5 dos coefcentes de atenuação lnear de cada materal nclusve o plexglass. resultado da classfcação. Os valores observados para as bandas de 40, 60, 85 e 662 kev foram, respectvamente, 4129, 1740, 1148 e 336. Estes valores estão abaxo dos valores teórcos e esta dferença é bastante expressva em alguns casos. Pont Jr [4] atrbu esta dferença às mpurezas presentes no materal em estudo e ao ruído, nclundo o ruído nerente ao própro processo de aqusção das proeções tomográfcas e o ruído decorrente do dspostvo eletrônco de aqusção (normalmente ruído gaussano). Fgura 1 Dagrama de construção do corpo de prova (phantom) Tabela I Coefcentes de atenuação lnear em função das energas 40, 60, 85 e 662 kev. Energa (kev) Coefcentes de Atenuação Lnear dos Energas Materas Água Alumíno Cálco Fósforo Plexglass 40 0,2683 1,5349 2,8365 1,4734 0, ,2052 0,7479 1,0013 0,6315 0, ,1750 0,6250 0,7750 0,5250 0, ,0837 0,2019 0,1205 0,1365 0,0570 O procedmento de obtenção das magens fo realzado de forma que fossem geradas magens com alto nível de ruído, utlzando translação total de 7 cm, passo lnear de 0,109 cm, rotação total de 180º, passo angular de 2,81º e tempo de contagem de fótons em 3 segundos. Com o alto nível de ruído pretende-se verfcar a efcênca dos classfcadores propostos mesmo com magens de baxa qualdade. Uma vez obtdas as proeções, as magens foram reconstruídas pelo método de retroproeção fltrada. Assm, foram geradas quatro magens no tamanho 65x65 pxels, cada uma correspondendo a uma das energas utlzadas. Estas magens foram convertdas para o formato BMP (Btmap), para serem utlzadas no Matlab de forma que pudessem ser classfcadas. Nesta conversão os valores do coefcente de atenuação contdos em cada magem foram normalzados para um ntervalo de 256 valores (ntensdades). As magens utlzadas nesse trabalho são as mesmas utlzadas por Pont Jr [4][5] e são mostradas na Fgura 3. As magens mostradas são magens negatvas das orgnas e foram trabalhadas dessa forma para obter uma melhor vsualzação, uma vez que esta nversão na escala de cnzas não altera o Fgura 2 Curvas do coefcente de atenuação lnear em função da energa para a alumíno, fósforo, cálco e água [2] 40keV 60keV 85keV 662keV Fgura 3 - Imagens adqurdas com energas de 40, 60, 85 e 662 kev. 4.2 Classfcação das Imagens Uma das ferramentas utlzadas no processo de classfcação das magens e avalação dos classfcadores fo o MATLAB, um software de alto desempenho para computação técnca aplcado em dversas áreas, nclundo o Reconhecmento de Padrões. É um sstema nteratvo com dversas facldades para trabalhar com vetores e matrzes, de forma que a mplementação de um algortmo que utlza esses elementos se torna bem mas rápda no MATLAB do que em lnguagens tradconas como C, Fortran e Pascal. Ele também conta com dversas toolboxes específcas para város tpos de aplcações, nclundo aí uma toolbox específca para redes neuras, que é

6 utlzada neste trabalho e o PRTools, que é uma toolbox para o MATLAB desenvolvda pelo grupo de Reconhecmento de Padrões da Unversdade de Delft na Holanda [15]. A versão atual (4.0) do PRTools mplementa aproxmadamente 200 rotnas de reconhecmento de padrões, cobrndo uma grande parte das técncas dessa área. Foram realzados expermentos de classfcação com as magens descrtas na seção anteror. No procedmento de classfcação as quatro magens BMP são combnadas como bandas de uma únca magem multespectral. Foram consderadas 6 classes: água, alumíno, fósforo, cálco, plexglass e o fundo da magem. A probabldade a pror fo consderada gual para todas as classes por não haver nformações que pudessem ser utlzadas. 40keV 60keV 85keV 662keV Fgura 4 - Janelas de pxels escolhdos como amostras em cada magem Para o trenamento e teste foram escolhdas 80 amostras de cada classe, em anelas de 10x8 pxels que podem ser vstas na Fgura 4, totalzando 480 amostras. Este número de amostras é reduzdo devdo ao tamanho das magens geradas pelo tomógrafo, que têm apenas 65x65 pxels cada. O conunto de amostras fo subdvddo em dos subconuntos de 240 amostras cada (40 de cada classe), sendo que um subconunto fo destnado ao trenamento dos classfcadores e o outro subconunto fo destnado ao teste dos classfcadores trenados, segundo assm a técnca de hold-out. Os classfcadores escolhdos para este trabalho são o Perceptron de Múltplas Camadas e as Redes de Função de Base Radal, que foram trenados com dferentes quantdades de neurônos na camada oculta, pos a quantdade deal de neurônos depende dos dados a serem classfcados e não há nenhuma manera precsa de determnar esta quantdade a pror [16]. Desse modo, todos os classfcadores trenados têm uma camada de entrada com 4 neurônos (nós), que correspondem a cada uma das bandas da magem, uma camada ntermedára (oculta) com número de neurônos varável e uma camada de saída com 6 neurônos, que correspondem a cada uma das classes consderadas. Para o Perceptron de Múltplas Camadas foram trenados classfcadores contendo de 2 a 25 neurônos em uma únca camada oculta. Os classfcadores baseados no Perceptron de Múltplas Camadas tendem a apresentar resultados bastante dferentes dependendo dos parâmetros de ncação da rede, que são aleatóros, portanto para cada tpo de estrutura testada foram trenados 100 classfcadores dferentes (com dferentes parâmetros de ncação), de modo que fosse possível obter estatístcas confáves de seu desempenho. Assm foram obtdas as médas e desvo padrão do erro estmado e do coefcente Kappa para cada tpo de classfcador. Para as Redes de Função de Base Radal também foram trenados classfcadores contendo de 2 a 25 neurônos na camada oculta. Este tpo de rede neural não apresenta a mesma nstabldade do Perceptron de Múltplas Camadas, pos os classfcadores gerados com a mesma estrutura e as mesmas amostras tendem a ser sempre muto semelhantes. Apesar dessa observação os expermentos também foram repetdos 100 vezes com dferentes ncações para manter um padrão. Cada classfcador trenado teve seu desempenho meddo através de um teste com as amostras prevamente desgnadas. Dessa forma foram obtdos os erros estmados pelo método hold-out, bem como os Coefcentes Kappa de cada classfcador. O erro estmado representa a taxa de erro que se espera do classfcador e é obtdo pela razão entre a quantdade de erros do classfcador e o número de amostras testadas. O Coefcente Kappa é obtdo utlzando-se a equação 2.1, onde o P(E) terá sempre o valor 0, pos temos 6 classes equprováves, e P(A) é faclmente obtdo subtrando-se o erro estmado de 1. Em seguda foram executados os expermentos utlzando combnação de classfcadores. Fo utlzada prmeramente a técnca de Baggng, e em seguda foram utlzados os combnadores de Decson Templates e Dempster-Shafer. Todos foram utlzados sobre os classfcadores base Perceptron de Múltplas Camadas e Redes de Função de Base Radal, com as mesmas confgurações e quantdade de neurônos de seus respectvos testes ndvduas. Para todos os expermentos com combnadores foram trenados 10 classfcadores-base dferentes, varando sempre a ncação da rede (e também o conunto de amostras nos expermentos com Baggng). A combnação fo feta a partr das saídas desses 10 classfcadores. Todos os expermentos também foram repetdos 100 vezes para que as estatístcas fossem confáves. Assm nos expermentos utlzando Decson Templates e Dempster-Shafer foram varados os parâmetros de ncação em cada uma das 100 execuções. E nos expermentos com

7 Baggng além da varação dos parâmetros de ncação tvemos também a varação no conunto de trenamento, através dos dferentes conuntos tpo bootstrap gerados para cada classfcador. Para cada expermento com combnação também foram obtdos as estmatvas de erro por Hold-Out e os Coefcentes Kappa, para que fosse possível comparar os resultados com o dos classfcadores ndvduas. A partr dos resultados obtdos fo observado que sera nteressante estudar o que acontecera ao combnar a técnca de Baggng com os combnadores Decson Templates e Dempster-Shafer, sto é, utlzar Decson Templates e Dempster-Shafer para fazer a combnação dos classfcadores gerados para cada amostra do tpo bootstrap, e assm comparar estes resultados com os obtdos com cada técnca de combnação aplcada ndvdualmente. Dessa forma foram conduzdos expermentos utlzando Baggng com Dempster-Shafer e Baggng com Decson Templates, ambos sobre os classfcadores base Perceptron de Múltplas Camadas e Redes de Função de Base Radal, com as mesmas confgurações e quantdade de neurônos dos expermentos anterores, e também fazendo a combnação a partr de 10 classfcadores-base. Estes expermentos também foram repetdos 100 vezes, varando as ncações e os conuntos do tpo bootstrap utlzados, e assm foram obtdos as estmatvas de erro por Hold-Out e os coefcentes Kappa. 5. Resultados Neste capítulo são apresentados os resultados obtdos com os classfcadores Perceptron de Múltplas Camadas e Redes de Função de Base Radal, tanto para os classfcadores aplcados ndvdualmente (IND) como para a aplcação utlzando os combnadores: Baggng (BAG), Decson Templates (DT), Dempster-Shafer (DS), Baggng c/ Decson Templates (BAGDT) e Baggng c/ Dempster-Shafer (BAGDS). As tabelas apresentadas resumem o desempenho apresentado pelos classfcadores com cada tpo de estrutura nterna (nós na camada oculta), tanto ndvdualmente quanto com o uso de combnadores. Os melhores resultados em cada coluna estão marcados em negrto, e os pores estão marcados em tálco. Os gráfcos das tabelas e algumas magens temátcas podem ser encontradas na dssertação completa, dsponível na URL df Observando as tabelas III e IV é possível observar que todas as técncas de combnação melhoraram sgnfcatvamente o desempenho dos classfcadores Perceptron de Múltplas Camadas, pos os erros estmados dmnuíram e os coefcentes Kappa aumentaram. O combnador Decson Templates apresentou os melhores resultados, segudo por Dempster-Shafer, Baggng c/ Decson Templates e Baggng com Dempster-Shafer, nesta ordem e com pouca dferença entre os quatro. A técnca de Baggng apresentou o por desempenho entre os combnadores, prncpalmente quando foram utlzados poucos neurônos na camada oculta. A tabela V ndca que o desvo padrão dentro das 100 repetções de cada expermento dmnuu sgnfcatvamente com a aplcação de técncas de combnação de classfcadores, mostrando que todas as técncas são efcentes para establzar classfcadores Perceptron de Múltplas Camadas. Também neste caso o combnador Decson Templates apresentou o melhor desempenho, segudo por Baggng c/ Decson Templates, Dempster-Shafer e Baggng c/ Dempster-Shafer. Nos resultados para as Redes de Função de Base Radal, nas tabelas VI e VII, é possível observar que a aplcação de técncas de combnação melhora a classfcação na maora dos casos, porém essa melhora não é tão grande quanto no Perceptron de Múltplas Camadas. A técnca de Baggng apresentou os melhores resultados para as Redes de Função de Base Radal, com o combnador Baggng c/ Decson Templates sendo o segundo colocado apresentando resultados bem próxmos ao prmero. Em seguda vem o combnador Baggng c/ Dempster-Shafer c/ desempenho nferor aos dos prmeros, mas anda bastante superor a Decson Templates e Dempster- Shafer, que foram os menos efcentes. A tabela VIII mostra que as Redes de Função de Base Radal são bastante estáves nas 100 repetções de cada expermento quando comparadas ao Perceptron de Múltplas Camadas, sendo que em város casos o desvo padrão era zero, o que não fo alterado com o uso dos combnadores Baggng, Decson Templates e Dempster-Shafer. O uso dos combnadores Baggng c/ Decson Templates e Baggng c/ Dempster-Shafer causaram uma leve nstabldade nas Redes de Função de Base Radal.

8 TABELA III Erro Estmado médo para o Perceptron de Múltplas Camadas Nós IND BAG 2 0,5720 0,3675 0,0349 0,0613 0,0358 0, ,2689 0,0493 0,0163 0,0275 0,0166 0, ,1318 0,0200 0,0141 0,0177 0,0145 0, ,0976 0,0170 0,0123 0,0151 0,0150 0, ,0741 0,0168 0,0127 0,0139 0,0155 0, ,0681 0,0175 0,0129 0,0138 0,0148 0, ,0636 0,0179 0,0130 0,0137 0,0163 0, ,0511 0,0190 0,0134 0,0138 0,0167 0, ,0570 0,0190 0,0135 0,0139 0,0172 0, ,0497 0,0191 0,0136 0,0143 0,0179 0, ,0603 0,0203 0,0136 0,0143 0,0181 0, ,0525 0,0196 0,0137 0,0145 0,0185 0, ,0477 0,0204 0,0140 0,0151 0,0187 0, ,0470 0,0210 0,0143 0,0150 0,0190 0, ,0403 0,0211 0,0145 0,0147 0,0196 0, ,0426 0,0205 0,0148 0,0153 0,0185 0, ,0402 0,0211 0,0146 0,0149 0,0192 0, ,0340 0,0207 0,0145 0,0154 0,0198 0, ,0451 0,0213 0,0151 0,0153 0,0201 0, ,0275 0,0203 0,0155 0,0156 0,0201 0, ,0366 0,0215 0,0150 0,0158 0,0200 0, ,0430 0,0213 0,0150 0,0156 0,0200 0, ,0393 0,0217 0,0151 0,0156 0,0202 0, ,0348 0,0214 0,0148 0,0162 0,0204 0,0209 TABELA IV Coefcente Kappa médo para o Perceptron de Múltplas Camadas Nós IND BAG 2 0,3137 0,5591 0,9581 0,9265 0,9570 0, ,6773 0,9409 0,9805 0,9671 0,9801 0, ,8419 0,9760 0,9831 0,9788 0,9826 0, ,8829 0,9796 0,9853 0,9819 0,9821 0, ,9111 0,9799 0,9848 0,9833 0,9814 0, ,9183 0,9790 0,9845 0,9835 0,9822 0, ,9237 0,9786 0,9844 0,9836 0,9804 0, ,9387 0,9773 0,9840 0,9835 0,9800 0, ,9316 0,9773 0,9838 0,9833 0,9794 0, ,9404 0,9771 0,9837 0,9829 0,9785 0, ,9277 0,9757 0,9837 0,9829 0,9783 0, ,9371 0,9765 0,9836 0,9827 0,9778 0, ,9428 0,9756 0,9832 0,9819 0,9776 0, ,9436 0,9748 0,9828 0,9821 0,9773 0, ,9516 0,9747 0,9827 0,9824 0,9765 0, ,9489 0,9755 0,9823 0,9817 0,9778 0, ,9518 0,9747 0,9825 0,9822 0,9770 0, ,9592 0,9752 0,9826 0,9816 0,9762 0, ,9459 0,9745 0,9819 0,9817 0,9759 0, ,9671 0,9756 0,9815 0,9813 0,9759 0, ,9561 0,9743 0,9820 0,9811 0,9760 0, ,9484 0,9744 0,9821 0,9813 0,9761 0, ,9529 0,9740 0,9819 0,9813 0,9758 0, ,9583 0,9744 0,9822 0,9806 0,9756 0,9750 TABELA V Desvo Padrão do Erro Estmado e Coefcente Kappa para o Perceptron de Múltplas Camadas Nós IND BAG 2 0,2554 0,1729 0,0286 0,0348 0,0228 0, ,2892 0,0559 0,0061 0,0133 0,0064 0, ,2073 0,0079 0,0044 0,0065 0,0046 0, ,1504 0,0062 0,0029 0,0046 0,0038 0, ,1199 0,0039 0,0020 0,0028 0,0030 0, ,1065 0,0039 0,0013 0,0024 0,0026 0, ,0842 0,0037 0,0014 0,0020 0,0029 0, ,0777 0,0039 0,0018 0,0021 0,0037 0, ,0807 0,0042 0,0018 0,0023 0,0032 0, ,0770 0,0038 0,0020 0,0026 0,0036 0, ,0887 0,0050 0,0020 0,0024 0,0038 0, ,0698 0,0044 0,0021 0,0025 0,0044 0, ,0623 0,0047 0,0023 0,0026 0,0038 0, ,0704 0,0042 0,0025 0,0027 0,0042 0, ,0680 0,0041 0,0023 0,0027 0,0042 0, ,0618 0,0041 0,0027 0,0030 0,0034 0, ,0638 0,0042 0,0026 0,0025 0,0035 0, ,0480 0,0046 0,0026 0,0035 0,0041 0, ,0756 0,0044 0,0027 0,0034 0,0040 0, ,0360 0,0036 0,0029 0,0031 0,0041 0, ,0648 0,0039 0,0025 0,0031 0,0045 0, ,0650 0,0043 0,0027 0,0027 0,0037 0, ,0667 0,0039 0,0030 0,0033 0,0036 0, ,0538 0,0045 0,0027 0,0033 0,0041 0,0040 TABELA VI Erro Estmado médo para Redes de Função de Base Radal Nós IND BAG 2 0,5125 0,3720 0,4458 0,4333 0,3391 0, ,3958 0,2118 0,3583 0,3583 0,2334 0, ,2958 0,1675 0,2583 0,2583 0,2094 0, ,2292 0,1953 0,2333 0,2333 0,2100 0, ,1333 0,1269 0,1292 0,1292 0,1332 0, ,0750 0,0900 0,0708 0,0708 0,0853 0, ,0833 0,0733 0,0833 0,0833 0,0717 0, ,0750 0,0589 0,0750 0,0750 0,0596 0, ,0833 0,0500 0,0875 0,0875 0,0497 0, ,0708 0,0444 0,0667 0,0667 0,0432 0, ,0500 0,0382 0,0500 0,0500 0,0365 0, ,0390 0,0329 0,0302 0,0292 0,0321 0, ,0334 0,0265 0,0333 0,0333 0,0252 0, ,0252 0,0201 0,0250 0,0250 0,0197 0, ,0232 0,0186 0,0213 0,0208 0,0181 0, ,0219 0,0175 0,0197 0,0208 0,0175 0, ,0177 0,0160 0,0170 0,0167 0,0161 0, ,0173 0,0150 0,0166 0,0167 0,0145 0, ,0145 0,0135 0,0125 0,0125 0,0137 0, ,0130 0,0132 0,0125 0,0125 0,0130 0, ,0126 0,0129 0,0125 0,0125 0,0127 0, ,0126 0,0126 0,0125 0,0125 0,0127 0, ,0125 0,0126 0,0125 0,0125 0,0126 0, ,0125 0,0127 0,0125 0,0125 0,0126 0,0126

9 TABELA VII Coefcente Kappa médo para Redes de Função de Base Radal Nós IND BAG 2 0,3850 0,5536 0,4650 0,4800 0,5931 0, ,5250 0,7459 0,5700 0,5700 0,7199 0, ,6450 0,7990 0,6900 0,6900 0,7488 0, ,7250 0,7656 0,7200 0,7200 0,7480 0, ,8400 0,8478 0,8450 0,8450 0,8402 0, ,9100 0,8921 0,9150 0,9150 0,8976 0, ,9000 0,9120 0,9000 0,9000 0,9140 0, ,9100 0,9294 0,9100 0,9100 0,9285 0, ,9000 0,9400 0,8950 0,8950 0,9404 0, ,9150 0,9468 0,9200 0,9200 0,9482 0, ,9400 0,9542 0,9400 0,9400 0,9562 0, ,9532 0,9605 0,9638 0,9650 0,9615 0, ,9600 0,9682 0,9600 0,9600 0,9698 0, ,9698 0,9759 0,9700 0,9700 0,9764 0, ,9722 0,9777 0,9744 0,9750 0,9783 0, ,9738 0,9790 0,9764 0,9750 0,9790 0, ,9788 0,9808 0,9797 0,9800 0,9807 0, ,9793 0,9820 0,9801 0,9800 0,9826 0, ,9826 0,9838 0,9850 0,9850 0,9836 0, ,9844 0,9842 0,9850 0,9850 0,9844 0, ,9849 0,9845 0,9850 0,9850 0,9848 0, ,9849 0,9849 0,9850 0,9850 0,9848 0, ,9850 0,9849 0,9850 0,9850 0,9849 0, ,9850 0,9848 0,9850 0,9850 0,9849 0,9849 TABELA VIII Desvo Padrão do Erro Estmado e Coefcente Kappa para Redes de Função de Base Radal Nós IND BAG 2 0,0000 0,0000 0,0000 0,0000 0,0432 0, ,0000 0,0000 0,0000 0,0000 0,0357 0, ,0000 0,0000 0,0000 0,0000 0,0185 0, ,0000 0,0000 0,0000 0,0000 0,0139 0, ,0000 0,0000 0,0000 0,0000 0,0068 0, ,0000 0,0000 0,0000 0,0000 0,0097 0, ,0000 0,0000 0,0000 0,0000 0,0097 0, ,0000 0,0000 0,0000 0,0000 0,0079 0, ,0000 0,0000 0,0000 0,0000 0,0066 0, ,0000 0,0000 0,0000 0,0000 0,0063 0, ,0000 0,0000 0,0000 0,0000 0,0051 0, ,0066 0,0021 0,0019 0,0021 0,0050 0, ,0004 0,0000 0,0000 0,0000 0,0053 0, ,0012 0,0000 0,0000 0,0000 0,0029 0, ,0039 0,0015 0,0015 0,0015 0,0023 0, ,0040 0,0019 0,0020 0,0019 0,0021 0, ,0025 0,0014 0,0011 0,0014 0,0026 0, ,0015 0,0008 0,0006 0,0008 0,0024 0, ,0029 0,0000 0,0004 0,0000 0,0020 0, ,0015 0,0000 0,0000 0,0000 0,0014 0, ,0006 0,0000 0,0000 0,0000 0,0008 0, ,0006 0,0000 0,0000 0,0000 0,0009 0, ,0004 0,0000 0,0000 0,0000 0,0007 0, ,0004 0,0000 0,0000 0,0000 0,0006 0, Conclusões Analsando os resultados é possível conclur que o uso de combnação de classfcadores produzu classfcadores mas estáves, além de melhorar sgnfcatvamente os resultados meddos com o Erro Estmado pelo método Hold-Out e o Coefcente Kappa, prncpalmente nas redes com poucos neurônos na camada oculta. Enquanto os combnadores de Decson Templates e Dempster-Shafer mostraram melhor desempenho que a técnca de Baggng no Perceptron de Múltplas Camadas, o contráro ocorreu nos testes com Redes de Função de Base Radal. Nelas o Baggng teve um melhor desempenho, enquanto Decson Templates e Dempster-Shafer não se saíram tão bem. Isto pode ser explcado pela maor establdade das Redes de Função de Base Radal quando comparadas ao Perceptron de Múltplas Camadas, o que faz com que os classfcadores fquem muto parecdos e consequentemente a combnação sea menos vantaosa. O combnador Decson Templates mostrou ser o mas ndcado para combnar o Perceptron de Múltplas Camadas, apresentando o melhor desempenho e mostrando que as dferenças nas redes causadas pela ncalzação aleatóra dos parâmetros lvres á são sufcentes para produzr classfcadores bastante dferentes e bons para combnação. Além dsso, Decson Tamplates também fo o combnador que dexou o Perceptron mas estável. Para as Redes de Função de Base Radal a técnca de Baggng mostrou ser o método mas ndcado, pos fo o que apresentou o melhor desempenho. Baggng c/ Decson Templates também apresentou um bom desempenho, entretanto fo um dos métodos que trouxe uma leve nstabldade para as Redes de Função de Base Radal, de modo que seu uso deve ser feto com cautela. Decson Templates e Dempster-Shafer foram os combnadores menos efcentes, e sto provavelmente se deve ao fato das Redes de Função de Base Radal serem mas estáves, produzndo classfcadores muto parecdos, o que os torna menos ndcados para combnação. A técnca de Baggng levou vantagem por utlzar conuntos de amostras do tpo bootstrap, produzndo classfcadores dferentes para a combnação, e consequentemente melhores resultados. O uso de combnação de classfcadores para combnar redes neuras se mostrou bastante útl para dentfcar materas em magens de cêncas dos solos. Outras áreas também podem ser exploradas utlzando esta mesma abordagem, pos as regras de

10 combnação normalmente melhoraram a performance e aumentam a capacdade de generalzação dos classfcadores. Dversos trabalhos podem ser desenvolvdos como extensão deste, na área de combnação de classfcadores, como fazer uma pré-seleção dos classfcadores mas relevantes para a combnação; combnar redes neuras de tpos dferentes (por exemplo: Perceptron de Múltplas Camadas com Redes de Função de Base Radal); utlzar outros combnadores com a técnca de Baggng, como o Produto, Máxmo e Mínmo, por exemplo; combnar a saída dos combnadores, utlzando votação por maora ou qualquer outra técnca; utlzar redes neuras para combnar resultados de classfcação, dentre outros. 7. Agradecmentos Gostaríamos de agradecer ao Dr. Paulo E. Cruvnel por nos fornecer as magens multespectras utlzadas nesses expermentos, e a CAPES e a FAPESP (04/ ) pelo apoo fnancero. Este trabalho também é parcalmente apoado pelo Proeto Temátco da Fapesp 2002/ Referêncas [1] GONZALEZ, R. F.; WOODS, R. E., Processamento de Imagens Dgtas, Edgar Blücher LTDA, São Paulo, [2] HOMEM, M. R. P., Técncas de Reconhecmento de Padrões Aplcadas a Imagens Tomográfcas Adqurdas com Múltplas Energas, Dssertação de mestrado, DC- UFSCar: São Carlos, 1998, 200p. [3] HOMEM, M. R. P.; MASCARENHAS, N. D. A.; CRUVINEL, P. E., The Lnear Attenuaton Coeffcents as Features of Multple Energy CT Image Classfcaton, Nuclear Instruments and Methods n Physcs Research. V. 452, p , [7] KUNCHEVA, L. I., Combnng Pattern Classfers : Methods and Algorthms, Hoboken, NJ :Wley- Interscence, [8] BISHOP, C. M., Neural Networks for Pattern Recognton, Oxford, New York: [9] KOHAVI, R., A Study of Cross-Valdaton and Bootstrap for Accuracy Estmaton and Model Selecton, Proc. of the 14th Int. Jont Conf. on A.I., Vol. 2, Canada, p , [10] CARLETTA, J., Assessng Agreement on Classfcaton Tasks: the Kappa Statstc, Computatonal Lngustcs. V. 22(2) p , 1996 [11] PRAMPERO, P.; CARVALHO, A., Recognton of Vehcles Usng Combnaton of Classfers, Proceedngs of the IEEE World Congress on Computatonal Intellgence, WCCI 98, Anchorage, USA, [12] AHMADZADEH, M. R.; PETRON M.; SASIKALA, K. R., The Dempster-Shafer Combnaton Rule as a Tool to Classfer Combnaton, Geoscence and Remote Sensng Symposum. Proc. IGARSS 2000 IEEE Internatonal, p , [13] BREIMAN, L., Baggng Predctors, Machne Learnng. V. 26(2) p , 1996 [14] CRUVINEL, P. E.; CESAREO, R.; MASCARENHAS, S., X and γ- Rays Computerzed Mntomograph Scanner for Sol Scence. IEEE Transactons on Instrumentaton and Measurements. v. 39, n. 5, p , [15] DUIN, R. P. W; JUSZCZAK, P.; PACLIK, P.; PERALSKA, D.; RIDDER, D.; TAX, D. M. J., PRTools4: A Matlab Toolbox For Pattern Recognton, Delft Unversty of Technology, Delft, 51p., [16] DUDA, R. O.; HART, P. E., STORK, D. G., Pattern Classfcaton, Wley, 2.ed. New York, [4] PONTI JR, M. P., Combnação de Múltplos Classfcadores para Identfcação de Materas em Imagens Rudosas, Dssertação de mestrado, DC-UFSCar: São Carlos, 2004, 76p. [5] PONTI JR., M.P.; MASCARENHAS, N.D.A, Materal Analyss on Nosy Multspectral Images Usng Classfer Combnaton, Proc. IEEE Southwest Symposum on Image Analyss and Interpretaton, IEEE Computer Socety Press, Lake Tahoe, Nevada, p , [6] HAYKIN S., Redes Neuras Prncípos e Prátca, Bookman, 2 ed. Porto Alegre: 2001.