Thiago Tokiori Higuchi

Transcrição

1 Thiago Tokiori Higuchi Relatório de Projeto: Classicação Automática de Cantos de Pássaros Brasileiros:Uma Abordagem Baseada em Aprendizagem de Máquina. Subprojeto: Extração, Estruturação e Armazenamento de Informações Multimídia. Curitiba - PR, Brasil Julho de 2011

2 Thiago Tokiori Higuchi Relatório de Projeto: Classicação Automática de Cantos de Pássaros Brasileiros:Uma Abordagem Baseada em Aprendizagem de Máquina. Subprojeto: Extração, Estruturação e Armazenamento de Informações Multimídia. Este relatório apresenta os resultados obtidos referentes ao desenvolvimento do subprojeto (Dezembro/2010 a Julho/2011). Orientador: Prof. o Dr. o Celso Antônio Alves Kaestner Departamento Acadêmico de Informática - DAINF Universidade Tecnológica Federal do Paraná Curitiba - PR, Brasil Julho de 2011

3 Resumo Devido a enorme quantidade de informação disponibilizada atualmente, principalmente via internet, percebe-se que são necessários métodos capazes de extrair estes dados, principalmente para que esta informação possa então ser tratada e posteriormente indexada e encontrada por alguém que a procura. A recuperação da informação é a vertente responsável pelo estudo deste problema. Este projeto aborda a extração, ou recuperação, de dados. O sistema desenvolvido durante o projeto será utilizado no projeto "Classicação Automática de Cantos de Pássaros Brasileiros:Uma Abordagem Baseada em Aprendizagem de Máquina", para extrair informaçõe de um site com uma base de dados sobre cantos de pássaros. A implemetação foi feita e a partir deste sistema a base de dados pode ser criada a partir de uma lista com os nomes cientícos dos pássaros. Este documento apresenta as etapas percorridas durante o desenvolvimento do projeto que tem como objetivo a criação de um sistema informatizado capaz de extrair dados de uma página da internet e armazenar estes dados em uma base local.

4 Abstract Due to the enormous amount of information currently available, especially by the web, it is clear that methods are needed that could extract these data, especially as this information can then be treated and subsequently indexed and found by someone searching. Information retrieval is the eld responsible for the study of this problem. This project addresses the extraction, or recovery, of data. The system developed during the project will be used in the project "Automatic Classication of Brazilian Songs of Birds: An Approach Based on Machine Learning", to extract information from a site with a database of bird songs. From the system implemented a database can be created from a list of scientic names of birds. This document presents the steps followed during the development project that aims to create a computerized system able to extract data from a web page and store this data on a local base.

5 Sumário Lista de Figuras 1 Introdução p. 6 2 Materiais e Métodos p Extração de Dados p Armazenamento p Classicação do Áudio p Resultados p Resultados do Sistema p Limitações do Sistema p Conclusões p. 12 Referências p. 13

6 Lista de Figuras 1 Resultado da Pesquisa p. 8 2 Código Fonte da Pesquisa p. 9

7 6 1 Introdução Atualmente navegando poucos minutos na internet pode-se ter uma noção do volume gigantesco de informação disponível e de sua importância na sociedade. Para se ter uma noção, segundo AMAZONAS et al.(2008) em 2008 a estimativa para o próximo ano era de que toda a informação digital acumularia o tamanho de 988 exabytes(1 Exabyte = Gigabyte;) e ainda teria uma taxa de crescimento de 57% ao ano. Com isso percebe-se que se tornam cada vez mais necessárias ferramentas capazes de organizar ou indexar tamanha informação da melhor forma possível para que ela possa ser encontrada por quem as procura. Esta organização não pode mais ser feita manualmente, e para que ela possa ser automatizada devemos levar em consideração a capacidade dos sistemas de extraírem dados da rede, e então indicar tal informação para pessoas interessadas neles. Porém devido a inúmera variabilidade destes dados, que podem ser desde planilhas disponibilizadas por empresas, documentos de texto e páginas de internet com textos, e podem estar nas mais variadas codicações, torna o reconhecimento deste dado consideravelmente mais complexo e os sistema acabam tendo que limitar sua abrangência na pesquisa(amazonas et al., 2008). A ciência da informação possui uma vertente responsável por estudar este problema, esta vertente é comumente conhecida como recuperação da informação(sayão, 2001). Segundo Ribeiro-Neto e Bezerra-Yates(BAEZA-YATES; RIBEIRO-NETO, 1999) o crescimento da utilização da informação digital se deve principalmente ao sistemas de recuperação de informação. Neste modelo de pesquisa o usuário entra com os dados da consulta e o sistema retorna os documentos em ordem de relevância. Esta relevância é calculada a partir da análise de ocorrências de determinadas palavras chave, que são pesquisadas nos termos indexados de cada documento, que são obtidos após um breve tratamento do texto. Existem diversas abordagens para a extração da informação, MARTINS(2008) aplica uma abordagem a partir de interações sociais, uma solução que se baseia no meio linguístico para recuperar informações foi apresentado por GONZALEZ; LIMA(2007). FERNEDA(2006)

8 1 Introdução 7 utiliza redes neurais para com o mesmo objetivo. LOPES(2002) apresenta uma revisão da literatura de estratégias de busca para recuperação da informação. Este projeto apresenta um sistema capaz de extrair dados especícos de aves de um site e armazená-los e uma base de dados local. O sistema utilizou o site xenocanto( ) como base para a recuperação das informações. As aves, os dados e o site foram escolhidos, uma vez que este sistema compõe uma das partes de outro projeto, para que a outra parte do projeto possa utilizar a base gerada para identicar de forma automatizada, com ajuda de outros equipamentos, pássaros de uma determinada região.

9 8 2 Materiais e Métodos 2.1 Extração de Dados Para a extração dos dados do site foi necessário um estudo da sua estrutura, uma vez que as ferramentas necessárias para a extração destes dados retiram todos os elementos da página da internet, sendo eles relevante ou não. Estes elementos são tag's que juntamente com comandos html serão interpretadas pelo navegador e este exibirá o conteúdo de uma forma padronizada. Os elementos armazenam todas as informações da página, desde o código fonte do rodapé até o conteúdo. A partir deles são extraídos as informações das aves. O site em questão apresenta para cada pesquisa um arquivo de áudio com um canto, o nome da ave e as características da gravação. A gura 1 apresenta o resultado de uma consulta executada no site. Após efetuada a consulta é retornada uma ou mais páginas contendo tabelas com as gravações e suas características. Figura 1: Resultado da Pesquisa Legenda Figura 1: Resultado da pesquisa executada no site. Estas características são melhores descritas na seção A extração apenas dos dados necessários é feita sabendo que toda página sempre terá os dados relevantes para a pesquisa organizados de forma quase sequencial a partir do elemento que guarda seu nome cientíco. Ou seja, quando o sistema encontra o elemento

10 2.2 Armazenamento 9 que armazena o nome cientíco de uma ave o próximo elemento sempre guardará o nome da mesma ave em inglês, o elemento seguinte armazenará um canto e assim por diante. Estes dados podem então, a partir da estrutura do site, ser reconhecidos automaticamente pelo sistema. Ao nal deste ciclo os dados encontrados são armazenados. A gura 2 apresenta o código fonte da pesquisa executada anteriormente, nela podem ser encontradas as tags que possuem as informações das aves. Figura 2: Código Fonte da Pesquisa Legenda Figura 2: Código fonte da página que apresenta o resultado da pesquisa executada anteriormente. A área selecionada na gura é uma tag, no caso esta tag guarda o autor de uma das gravações. 2.2 Armazenamento O armazenamento é feito em uma banco de dados local. Este banco de dados abriga apenas uma tabela com as seguintes colunas na forma de texto com um tamanho variável não maior que 3000 caracteres: Nome da ave;

11 2.2 Armazenamento 10 País da gravação; Horário da gravação; Altitude da gravação; Tipo da gravação(este tipo pode ser canto ou chamada); Autor da gravação; Data da gravação; Diretório do áudio(diretório onde o arquivo de áudio da gravação está armazenado. Este arquivo foi baixado pelo programa e salvo em um diretório pré determinado pelo usuário); Características(Um link para outra página onde estes e outros dados referentes ao som e ao arquivo de áudio são apresentados); Remark(Conjunto de links que podem mostrar imagens, dados de GPS para a localização do local de gravação, do responsável pela gravação, etc). Cada tupla na tabela terá então, semelhante ao site, um arquivo de áudio, suas informações e a identicação da ave Classicação do Áudio Os arquivos de áudio disponibilizados no site são classicados nas categorias canto(song) e chamada(call), dentro destas duas categorias existem classicações referentes a qualidade do áudio captado que pode ser (A), (B) ou (C), da melhor para a pior respectivamente, mas esta classicação não recebe importância por parte do sistema. Tendo isso os arquivos de áudio são armazenados em um diretório escolhido pelo usuário antes da pesquisa. Dentro deste diretório será criada uma pasta com o nome da ave e dentro desta pasta outras duas, chamadas call ou song. O arquivo será alocado na pasta referente ao áudio.

12 11 3 Resultados 3.1 Resultados do Sistema Durante as execuções tanto de buscas simples quanto de buscas compostas, onde o usuário da entrada um arquivo de texto com uma lista de aves, o programa se mostrou ecaz, fazendo assim a extração de todos os dados da ave ou das aves indicadas. Graças a portabilidade da plataforma Java o mesmo programa pode ser executado em duas plataformas, Windows e Linux(Ubuntu 10.04), sendo que, apesar da inexatidão destas execuções como parâmetro de comparação, o programa teve um desempenho muito superior, no quesito velocidade, no sistema operacional Windows. 3.2 Limitações do Sistema O sistema, devido a sua simplementação, apresenta algumas deciências. Primeiramente o programa funciona apenas em um site e são necessárias modirações no código fonte para sua utilização em outras bases de dados. O funcionamento do sistema está sujeito a estrutura do site, portanto, se modicada esta estrutura o sistema pode não funcionar corretamente. A execução nos sistemas operacionais Linux se mostrou muito lenta quando comparada a execução no Windows. Acredita-se que este problema ocorre devido as gravações em disco, porém este problema não foi estudado durante o projeto.

13 12 4 Conclusões Conforme foi apresentado na seção 3.1, após testes de execução o sistema se mostrou capaz de armazenar na base de dados local todos os dados da ave pesquisada, seja a pesquisa de uma única ave ou de uma lista com mais de uma. Todas as informações das aves pesquisadas foram salvas no banco de dados local. Foram pesquisadas 76 aves, totalizando 2316 gravações, tanto de call como de song, um total de 847 MB. O tempo aproximado para o armazenamento da base no sistema operacional Windows foi de 5 horas, mas deve-se notar que este número é inuenciado por fatores externos, como largura de banda e hardware. O método utilizado para captura dos dados se mostra eciente porém deve-se notar que esta abordagem não deixa o sistema livre de falhas caso ocorram modicações na estrutura do site, já que os dados são armazenados a partir de um padrão sequencial e não por uma análise de cada elemento do site, este tipo de análise não se mostrou ecaz quando aplicada neste cenário. Durante fase de testes o site foi modicado, exigindo uma modicação no código fonte do programa. Deve-se notar que pequenas modicações do site exigem alterações simples no sistema.

14 13 Referências AMAZONAS, A. M. et al. Integrando motores de indexação de dados para a construção de sistemas de recuperação de informação em ambientes heterogêneos. Journal of Infomation Systems and Technology Management, scielosibi, v. 5, p , Disponível em: < arttext&pid=s &nrm=iso >. BAEZA-YATES, R. A.; RIBEIRO-NETO, B. Modern Information Retrieval. Boston, MA, USA: Addison-Wesley Longman Publishing Co., Inc., ISBN X. FERNEDA, E. Redes neurais e sua aplicação em sistemas de recuperação de informação. Ciência da Informação, scielo, v. 35, p , ISSN Disponível em: < S &nrm=iso>. GONZALEZ, M.; LIMA, V. de. The pucrs nlp-group participation in clef2006: Information retrieval based on linguistic resources. In: PETERS, C. et al. (Ed.). Evaluation of Multilingual and Multi-modal Information Retrieval. Springer Berlin / Heidelberg, 2007, (Lecture Notes in Computer Science, v. 4730). p / _9. Disponível em: < 9>. LOPES, I. L. Estratégia de busca na recuperação da informação: revisão da literatura. Ciência da Informação, scielo, v. 31, p , ISSN Disponível em: < S &nrm=iso>. MARTINS, R. P. Informação e conhecimento: uma abordagem dos sistemas de recuperação de informações a partir das interações sociais. Perspectivas em Ciência da Informação, scielo, v. 13, p , ISSN Disponível em: < S &nrm=iso>. SAYãO, L. F. Modelos teóricos em ciência da informação - abstração e método cientíco. Ciência da Informação, scielo, v. 30, p , ISSN Disponível em: < S &nrm=iso>.