Algoritmos Genéticos para Seleção de Amostras em problemas de Classificação

Transcrição

1 Algoritmos Genéticos para Seleção de Amostras em problemas de Classificação Rodrigo da Costa Nascimento Marco Aurélio Cavalcanti Pacheco Departamento de Engenharia Elétrica Pontifícia Universidade Católica do Rio de Janeiro Resumo - Segmentação de Classes vem sendo intensamente investigado dentro da área de inteligência computacional e apresenta uma série de técnicas capazes de realizar esta tarefa, este artigo aborda uma das variáveis deste problema que é a quantidade de amostras para um classificador, não existe nenhuma formula capaz de definir a quantidade ideal para se ter um modelo bem austado, o que sabemos é que necessitamos em vários problemas realizar uma peneira nos dados e procuramos apresentar uma técnica utilizando algoritmos genéticos para tratar os dados de forma a eliminar o ruído e selecionar os elementos mais representativos de uma classe especificamente para problemas supervisionados. Para o Algoritmo genético construído utilizamos a função de distância de Jeffries-Matusita que avalia o grau de superposição de duas distribuições e o quanto estão separadas através de medidas de covariância e média por acreditarmos que é uma boa medida de estimativa das classes. Para validação do trabalho foram realizados experimentos trabalhando com dados ruidosos gerados sinteticamente e uma base de bancos de dados de letras para problemas de OCR. Palavras Chaves: Classificador, Seleção de Amostras, Algoritmo Genético, problemas supervisionaos, distância Jeffries-Matusita. 1. INTRODUÇÃO Algoritmos Genéticos são uma família de modelos computacionais que podem ser utilizados para procurar, resolver e otimizar problemas, pois é útil pôr sua robustez e velocidade, sendo designados para um tipo determinado de otimização, onde o espaço de busca é muito grande e os métodos convencionais se demonstram ineficientes. Possíveis soluções de um problema são combinadas e alteradas, normalmente através de mecanismos inspirados na seleção natural (de Charles Darwin), na recombinação e na mutação genética, tendo como principais características a obtenção de um conunto de soluções ao invés de uma única. Um algoritmo genético vai especializando uma população para adaptar-se a um determinado contexto e esta adaptação vai ser definida precisamente pela função a ser otimizada. A motivação deste trabalho esta em realizar uma técnica de seleção de amostras para tarefas de classificação baseada em algoritmos genéticos. Esta tarefa tem sido bastante abordada na literatura, principalmente em sistemas de rede neurais e regressões lineares. A questão é que nem sempre o maior volume de dados significa o melhor modelo. Existem situações em que é necessário selecionar amostras do seu banco para alcançar um modelo mais austado, isso ocorre com mais freqüência em duas situações: a primeira é quando existe um volume muito grande de dados que estão distribuídos esparsamente e sabe-se à priori que foram afetados por ruídos grosseiros; a segunda situação é que nem sempre é possível obter um volume razoável de medidas, pois dependendo das aplicações uma medida pode ter um alto custo. Por exemplo, em algumas aplicações médicas, como em doenças raras, a quantidade de casos é pequena e conseqüentemente, a qualidade das amostras obtidas deve ser a melhor possível. Já em problemas de classificação de imagens de sensores remotos, em muitos casos encontramos imagens classificadas por um especialista que muitas das

2 vezes não corresponde à área total da imagem. Logo, para conseguir uma validação do classificador com os dados reais, tem-se que reduzir a dimensão de centenas de pixels do classificador para dezenas que foram classificados pelo especialista, o que leva a necessidade de seleção de amostras que melhor representariam a classe destes pixels. 2. ALGORITMO GENÉTICO Nesta seção além de um breve resumo do Algoritmo genético padrão, vai destacar a utilização de cada técnica no proeto. Os princípios da natureza nos quais os GAs se inspiram são imitados na construção de algoritmos computacionais que buscam uma melhor solução para um determinado problema, através da evolução de populações de soluções codificadas através de cromossomas artificiais. Em GAs um cromossoma é uma estrutura de dados que representa uma das possíveis soluções do espaço de busca do problema. Cromossomas são então submetidos a um processo evolucionário que envolve avaliação, seleção, recombinação sexual (crossover) e mutação. Após vários ciclos de evolução a população deverá conter indivíduos mais aptos. Para o problema de seleção de amostras temos claramente um problema de otimização, pois deseamos selecionar um conunto n de amostras sobre um conunto m de dados. Isso nos leva a seguinte formula, S m! ( m n)! n! = (1) Um processo de busca exaustiva para este caso é inviável, tem alguns algoritmos sub-ótimos que fazem está busca como, por exemplo Selection Backward Selection (SBS) que inicialmente seleciona todos os elementos e depois elimina um a um até encontrar o número deseado de elementos. Para o GA construído utilizamos uma técnica de STEADY STATE, visto a natureza do problema não foi necessário eliminar dados duplicados, pois a probabilidade desta ocorrência era mínima. Em todos os experimentos utilizamos o mesmo tamanho de população e o mesmo total de indivíduos FUNÇÃO DE AVALIAÇÃO Para este problema em particular usamos como função de avaliação a distância de Jeffries-Matusita, chamada JM. Esta função é uma fórmula de calcular a distância entre duas distribuições. A função JM de distribuição entre w i e w é definida por: φ JM i = 2(1 e ) (2) 1 T = ( µ i µ ) ( µ i µ ) + Φ 8 1 Ci + C 1 Φ = ln 2 2 Ci + C φ (3) (4) Onde i e são duas distribuições, C i e C são a matriz de covariância de i e respectivamente e, µ i e µ são as médias de cada distribuição. A função JM tem limite superior de 2 (1.41) e limite inferior zero. Quando a função retorna um valor próximo ao limite superior é porque as distribuições estão próximas e, quando ela retorna ao valor próximo ao limite inferior é porque elas estão totalmente separadas. Portanto o algoritmo genético vai procurar maximizar a função JM para com isso ter uma boa estimativa da distribuição, com menor quantidade de dados REPRESENTAÇÃO Para o problema de seleção de amostras trabalhamos com dados no espaço R N, e para ganho de performance optamos por criar indivíduos com cromossomas sendo números reais que representem os índices de cada amostra na base de dados. O cromossoma representa uma distribuição de pontos de uma classe. Considerando n o tamanho do cromossoma e m a quantidade de amostras, temos: x 1 x 2 x 3... x n Para: 1 < x 1, x 2, x 3.., x n < m 2.3. OPERADORES

3 Os Operadores genéticos implementados e utilizados neste GA foram operadores de recombinação (crossover) e operadores de mutação MUTAÇÃO A mutação adotada foi de sortear para cada gene do cromossomo um valor aleatório entre os índices possíveis da base de dados adotada CROSSOVER Utilizamos o CrossOver de dois pontos que executa a recombinação de dois indivíduos a partir de dois pontos escolhidos aleatoriamente. Foi adotado pois este operador é capaz de combinar todos os padrões de dois genitores. Padrão 1 X 0 X 0 X X X 1 X X X X 1 P P pontos de corte P P F F SIMULAÇÃO E RESULTADOS nearest prototypes classification with anealing para classificar um banco de dados de letras da UCI Machine Learning repository. O banco foi gerado a partir de um grande númeo de pixels retangulares pretos e brancos que representam as vinte e seis letras do alfabeto dos EUA, letras que foram obtidas de vinte fontes diferentes e aleatoriamente distorcidas. Cada pixel foi convertido em dezesseis atributos numéricos baseados em momento e na quantidade de bordas, em um total de vinte mil amostras. Para este caso usamos o algoritmo genético para reduzir em 50% o tamanho do banco de dados e testamos o erro de classificação obtido. Para o processo de classificação usamos como referência a classificação real com todas as amostras, a classificação com 50% das amostras selecionadas aleatoriamente e os 50% selecionados através do algoritmos genético EXPERIMENTO NUMÉRICO Para o primeiro experimento foi gerada uma distribuição multivariada com µ=[1 1] e σ= [2 1.5;1.5 2]. Para esta distribuição foram criados 120 pontos e, utilizado um cromossomo de tamanho vinte. Para este experimento procuramos avaliar o quanto era bom a estimativa do algoritmo genético, para isto, acrescentamos 20% de ruído aos pontos sorteados aleatoriamente. Este ruído foi a multiplicação por um fator α (α=0..09). Para este algoritmo genético usou-se uma taxa de crossover de 85%, taxa de mutação de 0.8% e um GAP de 40. Com o resultado final obtido através da média de 30 experimentos. Verificou-se que nos melhores indivíduos apresentaram um média de quatro elementos que foram afetados pelo ruído, e o melhor indivíduo apresentou avaliação de Para validar o algoritmo genético construído foram realizados dois experimentos com dados sintéticos e reais onde buscamos comprovar a eficiência do GA usando como função de avaliação a distância de JM, que considera a covariância das distribuições e suas médias para selecionar amostras de uma base de dados. No primeiro experimento usamos somente uma distribuição para avaliar a qualidade do GA em eliminar ruídos da amostra. No segundo experimento utilizamos uma base de dados real, usando como classificador o algoritmo de soft

4 Gráfico com a Média dos Experimentos por Gerações Desempenho da Letra A gráfico com a média dos 20 experimentos Gráfico de desempenho da melhor indivíduo por Gerações 3.2. SNPC-AM É um classificador baseado na distância das amostras aos protótipos, onde usa-se uma função de custo baseado na probabilidade da amostra pertencer a cada protótipo, atualizando de forma a bonificar as amostras corretamente classificadas atraindo-se os protótipos em sua direção e, afastando os protótipos que não pertencem a esta classe. O processo de annealing é a busca por uma anela que forneça a melhor fronteira de decisão, ou sea, forneça o menor erro de classificação. Para isto, determina-se uma faixa de valores onde se procura a variância que minimize este erro. Para este experimento usou-se σ ini = 2 e σ fim = 0.5, variando-se a quantidade de protótipos por classe de um até dez, usando 50% dos dados selecionados pelo GA para treinamento e 20% para o total de dados para classificação. No GA utilizamos taxas de mutação igual a 2%, taxa de crossover 85%, GAP de 30, tamanho da população igual a 100 e cromossoma com tamanho 150 para 30 gerações. Calculou-se a média dos trinta experimentos, rodando o GA para cada letra do alfabeto. gráfico com o melhor individuo da população da Letra A Gráfico da taxa de erro pela quantidade de protótipos por classe, em azul temos o resultado das amostras escolhidas pelo GA, em vermelho a mesma quantidade de amostras, mas selecionadas aleatoriamente e em verde o resultado de todo o banco de dados. Erro médio: Técnica Erro Seleção pelo GA 0,4450 Seleção Aleatória 0,5508 Toda a base 0,4888

5 A média de erro de classificação após a seleção de amostras se demonstrou superior a utilização de todos os padrões o que é um bom sinal considerando a redução da dimensão em 75% de dados e esteve consideravelmente acima das escolhas aleatórias para a mesma quantidade de dados. samples for multispectral image classification, DEE PUC-RJ [5] Pacheco, Marco Aurérilo, Algoritmos Genéticos Princípios e Aplicações, ICA PUC-RIO. [6] Jonathan Milton, Pacheco Marco Aurélio Cavalcanti, Técnicas de Otimização de Problemas com Múltiplos Obetivos, ICA PUC-RIO. 4. CONCLUSÃO Os experimentos realizados demonstraram a boa qualidade da estimativa obtida pelo algoritmo genético utilizando a distância JM como avaliação. Os resultados com amostras afetadas com ruído demonstraram um ótimo desempenho, á o processo de seleção de amostras não apresentou um ganho considerável, o que nos leva a considerar outros trabalhos que possamos acrescentar informações a mais, ao invés de considerar simplesmente a distribuição das classes, e que possam agregar informações de outras distribuições. A função utilizada não levou em consideração como estavam distribuídas as outras classes do problema, o que também é uma informação muito importante. Para os obetivos deseados o algoritmo genético teve ótimo comportamento se demonstrando bastante eficiente na tarefa de otimização das distribuições aplicadas em classificação de problemas supervisionados. 5. REFERÊNCIAS [1] R.O. Duda and P.E. Hart. Pattern Classification and Scene Analysis,. New York: Wiley, [2] Papdopoulos Georgios, Edwards Peter, and Murray Allan., Confidence Estimation for Neural Networks A Pratctical Comparison, IEEE Transactions on Neural Networks, Vol. 12, No. 6, Novembro [3] Seo Sambu, Bode Mathias, and Obermayer Klaus, Soft Nearest Prototypes Classification, IEEE Transactions on Neural Networks, Vol. 14, No. 2, Março [4] Cazes T.B, Feitosa RQ, Mota G.L.A., Automatic selection of training