Classificação de páginas na Internet

Transcrição

1 Classificação de páginas na Internet JOSÉ MARTINS JUNIOR EDSON DOS SANTOS MOREIRA ICMC - Instituto de Ciências Matemáticas e de Computação Universidade de São Paulo Caixa Postal 668, , São Carlos, SP, Brasil {jmartins,edson}@icmc.usp.br Abstract. The huge growth of the Internet has been occurring since the 90 s. The current search engines make possible the localization of Web pages by means of a lexical comparison among sets of words and the hypertext s contents. In order to find contents that express concepts or objects, such as products for sale in electronic commerce sites, are inefficient mechanisms. The proposition of the Semantic Web was announced in 2000 for this purpose, envisioning the establishment of new standards for formal contents representation in the Web pages, but the estimated date for its implementation was initially stated in ten years. The DEEPSIA project was conceived as a solution centered in the purchaser, instead of the current marketplaces, in order to solve the problem of finding Web pages with the description of products for sale, using methods of text classification. We present here the application and evaluation of the Support Vector Machines method. Keywords: DEEPSIA, e-commerce, Support Vector Machines, ontology, agent, text classification, Web. 1 Introdução A Internet foi instituída na década de 70 com a finalidade de possibilitar a comunicação entre os diversos centros de pesquisa nos EUA. A partir da década de 80 espalhou-se para outros países, sendo seu uso estendido a universidades, instituições governamentais e organizações. Mas foi na década de 90, quando pessoas e empresas conseguiram acesso a ela, através de Provedores de Serviços da Internet (ISPs), que seu uso literalmente explodiu. Em 1990, Tim Berners-Lee apresentou uma nova aplicação para a exibição de documentos. Hipertextos, assim chamados porque associam links a outros documentos no próprio texto, eram exibidos através de uma ferramenta gráfica, a WorldWideWeb, desenvolvida por Berners-Lee. A Web, como então ficou conhecida, foi a principal responsável no aumento do interesse das pessoas pela Internet e seu conseqüente crescimento. Uma enorme quantidade de documentos de hipertextos foram criados desde então. A página principal do Google ( indica atualmente a existência de mais de 3 bilhões. Nos últimos anos, muitos recursos foram adicionados à Web, permitindo a inclusão e a exibição de outros tipos de mídia, como figuras, filmes e som, tornando mais interessante a interação do usuário nesse universo. O problema que afeta a sua escalabilidade e o sua futura utilização não se refere ao formato das páginas Web, mas à organização e à classificação apropriadas de seus conteúdos. Tal problema também afeta a utilização do e-commerce, no que se refere à localização de bens e serviços oferecidos na Web. Diversos search engines, como Altavista ( Yahoo ( e Google, oferecem um serviço de localização de páginas Web baseado em palavras-chave fornecidas por seus usuários. Mas em tal modelo eficiência da busca depende do conjunto de sentenças fornecido pelo usuário, predizendo-o como partes do possível conteúdo das páginas procuradas. Tais agentes procuram por páginas através de comparações léxicas entre o conjunto de palavras fornecido e o conteúdo das páginas na Web. Marketplaces provêm na Web ferramentas especializadas para a organização, a busca e a apresentação de informações sobre produtos oferecidos à venda através da Web. Infelizmente, realizam a busca em um domínio limitado, composto por fornecedores previamente contratados. Uma outra opção consiste em prover inteligência a agentes que operam na Web permitindo-os de realizarem a busca por páginas que expressem conceitos de objetos desejados. O problema aqui refere-se à linguagem utilizada atualmente para a criação de páginas Web, HTML (HyperText Marckup Language). Infelizmente, ela não dispõe de recursos apropriados à representação formal de conceitos.

2 Berners-Lee anunciou em 2000 a instituição da Web Semântica. Tal iniciativa, instituída pelo WWW Consortium, visa o desenvolvimento de novos recursos, como o XML (Extensible Markup Language) e o RDF (Resource Description Framework), para a representação de conceitos de objetos em páginas Web, referenciados por uma ontologia global, que será compartilhada por agentes na Web. O prazo para a sua implantação foi inicialmente estimado em 10 anos. O sistema DEEPSIA foi desenvolvido para prover uma solução centrada no consumidor, e utiliza métodos de classificação de textos para encontrar descrições de produtos à venda em páginas Web. O processo de classificação das páginas Web pelo critério conter produto à venda, quando do teste do sistema DEEPSIA em páginas Web brasileiras, apresentou um resultado pouco satisfatório. Este artigo descreve a aplicação e a avaliação do método Support Vector Machines (SVM) sobre o problema de classificação descrito. A seção 2 descreve conceitos de e-commerce e e- Business estudados no presente trabalho; a seção 3 apresenta o sistema DEEPSIA e suas principais características; a seção 4 discute sobre a aplicação de métodos de classificação de texto para se decidir se uma página contém (ou não) descrições textuais de produtos à venda, e apresenta a solução adotada pelo presente trabalho; a seção 5 apresenta os principais resultados dos testes realizados; conclusões e trabalhos futuros são apresentados na seção 6. 2 E-Commerce na Web Sistemas de Informação online de apoio a negócios eletrônicos (e-business) estão sendo amplamente desenvolvidos na Web. Alguns fatores têm colaborado para a implementação dos mesmos, como a interface agradável e simples das aplicações Web, que possibilita o uso de recursos multimídia para realçar características de produtos, e o acesso à Internet, disponível atualmente em qualquer lugar do mundo. Tais fatores, associados à atual onda de globalização da economia, fazem da Web um meio adequado à divulgação e comércio de bens e serviços. A evolução da infra-estrutura, como o suporte logístico, as operações com cartões de crédito e a integração de sistemas bancários, associada à abrangência da Internet, possibilitou alcançar nichos de mercados antes inacessíveis, devido às limitações geográficas. As transações comerciais através da Internet instituíram novas formas de operação do e- Commerce (comércio eletrônico). Diversos trabalhos foram recentemente publicados, envolvendo vários aspectos da evolução dos Sistemas de Informação aplicados ao e-business, como: criação de métodos formais (Song et al, 2002); definição de arquiteturas (Magalhães and Lucena, 2002) e infraestrutura (Coutinho et al, 2002) (Milagres et al, 2002); utilização de agentes (Magalhães and Lucena, 2002) e de ontologia (Herrera et al, 2002); aplicações de recuperação de informações (Badue et al, 2002). Atualmente, existem diversos tipos de aplicações para e-business na Web. Uma taxonomia de modelos de negócio aplicáveis à Web é apresentada em (Rappa, 2003): - Brokerage Model brokers são auxiliam transações de negócios, aproximando consumidores e fornecedores. Este modelo inclui as formas: Marketplace Exchange provê um grande número de serviços para auxiliar o processo de transação para indústrias ou consórcios; Search Agent agente (ou robot) utilizado para encontrar preço e disponibilidade de bens e serviços para consumidores; - Advertising Model é uma extensão do modelo tradicional de difusão (propaganda). Este tipo de sistema é utilizado na divulgação de informações sobre bens e serviços oferecidos por fornecedores. Exemplos: Portal consiste de um ponto de entrada da Web, normalmente associado a um search engine que fornece um grande número de serviços (Yahoo!, p.e.); Contextual Advertising propaganda automática (banners e janelas pop-up) condicionada ao uso de algumas aplicações freeware. Algumas ferramentas selecionam links baseadas no comportamento do usuário (Gator, p.e.); - Infomediary Model mantém e fornece informações sobre consumidores e suas preferências, assim como sobre fornecedores e seus produtos, e então atua como um agente intermediário de informações. Algumas formas deste modelo: Advertising Networks trata-se de um serviço que alimenta dados em banners para uma rede de sites, coletando informações sobre a eficiência da propaganda através do uso de cookies (DoubleClick, p.e.); - Merchant Model modelo que representa atacadistas e varejistas, com seus bens e serviços, que realizam vendas através de listas de preço ou consulta. Exemplo: Virtual Merchant mercado eletrônico que opera vendas na Web (Amazon.com, p.e.);

3 - Manufacturer Model trata-se de um modelo que usa o poder da Web para permitir o acesso direto de fabricantes aos consumidores, simplificando o canal de distribuição. O contato direto pode ser justificado pela eficiência na prestação do serviço ou pela melhor concepção sobre as preferências e necessidades do consumidor (Apple Computer, p.e.); - Affiliate Model contrasta-se com o portal genérico, que atrai um enorme tráfego para um único site. Este modelo provê oportunidades de compra em sites de fornecedores contratados quando os usuários estão visitando suas páginas (Amazon.com, p.e.); - Community Model baseia-se na lealdade do usuário, que geralmente contribui com seu conteúdo e/ou finança. O conteúdo e os negócios publicados por seus usuários geram a renda para a manutenção do site. Tipos: Voluntary Contributor Model criado por uma comunidade de usuários que mantêm o site através de doações voluntárias. Esse tipo inclui os sites de organizações sem fins lucrativos (The Classical Station, p.e.); Knowledge Networks disponibilizam informações sobre áreas profissionais e outros assuntos, fornecidas por especialistas, através de fóruns de discussão e listas (AllExperts, p.e.); - Subscription Model usuários pagam pelo uso de serviços especiais oferecidos por tais sites. É comum encontrar tal modelo associado com o advertising model. Exemplo: Internet Service Providers oferecem acesso à Internet e outros serviços contratados pelos usuários (AOL, p.e.); - Utility Model também conhecido como sob demanda, baseia-se na medição do uso de serviços. É muito parecido com o modelo tradicional das concessionárias de serviços (como no fornecimento de energia elétrica e telefonia). Exemplo: Metered Subscription neste caso, os usuários cadastrados pagam pela quantidade de acesso ao conteúdo, como o número de páginas acessadas (Slashdot, p.e.). Um modelo de negócios comumente encontrado na Web é o Marketplace Exchange. Alguns portais brasileiros, como BuscaPé ( BondFaro ( e MercadoBR ( mostram eficiência na busca por produtos para os consumidores. O problema encontrado em tais portais refere-se ao domínio da busca. Eles estabelecem contratos com um grupo de fornecedores e então restringem as buscas em seus sites. Tal solução é um bom negócio para os fornecedores cadastrados. Infelizmente, a limitação do domínio da busca desfavorece o lado do consumidor na transação. Em qualquer negócio, o consumidor (pessoa ou empresa) deseja encontrar a melhor oferta, de acordo com uma relação custo/benefício. O modelo marketplace reduz as opções de escolha do consumidor a um conjunto de fornecedores contratados. 3 O projeto DEEPSIA O projeto DEEPSIA (Dynamic on-line internet Purchasing System based on Intelligent Agents IST ) foi instituído por um programa de pesquisas chamado Information Society Technologies (IST). O consórcio DEEPSIA foi composto por empresas e institutos de pesquisa de diversos países europeus: empresa ComArch (Polônia); Universidade Nova de Lisboa - UNINOVA (Portugal); Universite Libre de Bruxelles (Bélgica); University of Sunderland (Inglaterra); empresa Zeus (Grécia); empresa Comunicación Interativa (Espanha). A Universidade de São Paulo representa a participação brasileira no projeto. O projeto DEEPSIA tem como principal objetivo fornecer meios para a inclusão das Pequenas e Médias Empresas (PME) no comércio eletrônico. Para tanto, fez-se necessário o desenvolvimento de uma infraestrutura computacional baseada em um sistema multiagentes para suportar o processo de compra eletrônica (via Internet) realizado por uma PME, utilizando a concepção de um Catálogo de Produtos armazenado localmente, na PME. A estratégia do DEEPSIA baseou-se em uma solução centrada no consumidor e visa facilitar a incorporação do conhecimento tecnológico da PME (nova no contexto do comércio eletrônico) para prover o acesso às ofertas de produtos adequadas às suas necessidades individuais. A infra-estrutura computacional desenvolvida pelo DEEPSIA oferece uma interface amigável baseada em um catálogo de produtos personalizado que é automaticamente atualizado com informações obtidas de portais de venda na Internet. O catálogo também mantém dados sobre produtos fornecidos por fornecedores específicos, previamente cadastrados no sistema. A interface personalizada do catálogo disponibiliza ao consumidor um conjunto de opções de ofertas, bem como informações sobre qualidade, diversidade, uso e prazo de entrega.

4 A arquitetura do sistema, proposta em (Garção et al, 2001), contém basicamente três módulos ou subsistemas, como apresentado no Figura 1: Dynamic Catalogue (DC), Portal Interface Agent (PIA) e Multi- Agent System (MAS). Browsing IF Office Material Catalogue... Travel Agencies Restaur ants Edition IF DC Dynamic catalogue INTERNET Catalogue IF Multi-agent System Crawler Agent Miner Agent Figura 1 Arquitetura do sistema DEEPSIA Uma breve descrição sobre cada subsistema é apresentada a seguir: Dynamic Catalogue (DC): consiste da interface do usuário e é responsável por manter e apresentar os dados que foram coletados pelos multi-agentes contactados, baseando-se nas preferências do usuário fornecidas. O sistema também provê o acesso ao usuário à informação sobre os sites visitados e à configuração da ontologia, que representa o perfil individual sobre o processo de compra. A empresa ComArch foi a responsável pelo seu desenvolvimento. Portal Interface Agent (PIA): é responsável pela criação de uma interface privilegiada entre portais da Web e o sistema de multi-agentes (MAS). Da mesma forma que um sistema marketplace, este agente atua como um facilitador para o acesso de dados armazenados em bases de dados de fornecedores. Sua utilização por fornecedores (opcional) garante o acesso à informação sobre seus produtos pelo MAS, independentemente dos resultados das buscas realizadas pelo Web Crawler Agent. Multi-Agent System (MAS): é descrito como um sistema autônomo que coleta dados através de um processo semi-automático de atualização do catálogo, composto por um conjunto de agentes que realizam tarefas específicas. Uma base inicial de conhecimento é associada ao comportamento individual de cada agente, refletindo os objetivos estratégicos da PME. A UNINOVA responsabilizou-se pelo desenvolvimento do MAS. Os módulos internos do MAS descrevem tipos especialistas de agentes: Facilitator Agent Collector Agent MAS Multi-agent system Portal BD Private DB IF Portal Portal Interface Agent Supplier Agent kernel Knowledge BD Conf. IF Inter net IF PAI Portal agent System LEGEND Interface (IF) Kernel Data base (DB) Agents Entity Web sites - Web Crawler Agent (WCA): sua função principal é procurar páginas na Web que contêm dados de interesse do usuário, baseando-se em um processo recursivo iniciado por uma semente, e previamente treinado por um processo off-line. É também capaz de receber a informação explícita de URLs para serem pesquisadas. O WCA executa a primeira seleção e classificação das páginas para o processamento posterior pelo Miner Agent. Para cada página obtida, o WCA deve decidir se ela contém (ou não) a descrição textual de produtos à venda, utilizando técnicas de aprendizado supervisionado de máquina aplicadas a métodos de classificação de textos, como K- NN e C4.5; - Miner Agent (MA): executa a análise das páginas Web obtidas pelo WCA e armazena as informações significativas em um banco de dados. A ontologia de conceitos (definida pelo usuário) e um conjunto de regras associadas a tais conceitos compõem a base de conhecimento utilizada pelo MA para descrever os dados relevantes que são atualizados em cada requisição. Um Facilitator Agent fornece o processo de validação das URLs armazenadas no catálogo pelo WCA; - Human Agent (HA): integra-se à interface do usuário para validação de recursos e sites através do Facilitator Agent e também possibilita o fornecimento de sites pelo usuário para o Miner. É o único agente a estabelecer o contato direto com o usuário. Os outros são executados pela interface do catálogo; - Facilitator Agent (FA): define a interface entre o catálogo e o conhecimento obtido pelo Miner e/ou Collector Agent. Possibilita a configuração da periodicidade da produção e da atualização de dados no catálogo. Mantém níveis de confidência sobre a informação, delegando a decisão da validação ao Human Agent. Recebe requisições do Catálogo para obtenção e as redireciona para o Collector Agent; - Collector Agent (CA): é a interface de acesso ao banco de dados que mantém os sites contratados no PIA e consiste de uma aplicação JATLite que utiliza uma metodologia similar ao DNS para redirecionar requisições do Facilitator para o PIA, estabelecendo associações entre fornecedores cadastrados e

5 os usuários consumidores. Recebe mensagens do Catálogo contendo requisições para atualização e mantém informações sobre o usuário online, também disponibilizando o acesso às informações sobre os fornecedores cadastrados. Outros agentes internos integram a arquitetura MAS, realizando funções operacionais e provendo escalabilidade (diversos agentes do mesmo tipo podem operar colaborativamente) e especialização (agentes especialistas em características específicas de determinados produtos, localização geográfica, e outros): - Tutor Agent (TA): automatiza o processo de treinamento dos agentes, utilizando técnicas de aprendizado supervisionado. Tais técnicas baseiam-se em mecanismos de retroalimentação e fornecem a atualização da base de conhecimento dos agentes; - Postman Agent (PA): opera como um cache para o Miner Agent aumentando sua eficiência; - Pillar Box Agent (PBA): implementa um repositório inteligente de páginas Web que são fisicamente armazenadas em servidores FTP; - Router Agent (RA): é responsável pela localização e endereçamento dos agentes, permitindo a comunicação entre eles; O fluxo de páginas Web pode ser descrito como: a) Para cada página obtida pelo Crawler Agent: - A página é classificada e enviada ao servidor FTP; - Uma mensagem KQML é enviada ao PBA contendo a localização da página. b) Para cada mensagem recebida pelo Postman Agent: - A página é recuperada e armazenada localmente no file system do MA; - Uma mensagem para o MA é enviada, descrevendo a página e sua localização. c) O Miner Agent executa, de acordo com a classificação da página, as seguintes ações: - No caso de uma página apresentar baixa credibilidade, ele envia uma mensagem KQML à interface humana com o conteúdo da página para análise pelo usuário; - Extrai a informação sobre produtos contida em cada página; - A informação extraída da página e armazenada no Catálogo. A colaboração da USP no projeto DEEPSIA A Universidade de São Paulo (campus São Carlos) representa a iniciativa brasileira no projeto desde 2001, sendo apoiada pelo CNPq. Dois grupos de pesquisa integram a equipe de trabalho: o Laboratório Intermídia do ICMC (Instituto de Ciências Matemáticas e de Computação) e o NUMA/EESC (Núcleo de Manufatura Avançada / Escola de Engenharia de São Carlos). O NUMA é o responsável pelo desenvolvimento da pesquisa sobre a caracterização de produtos e o estudo do impacto sócio-econômico envolvidos na implantação do sistema nas PMEs brasileiras. O grupo de pesquisas do ICMC teve como objetivo inicial a colaboração no projeto e na implementação do Miner Agent, descrito pela arquitetura do MAS. Em uma Segunda etapa, baseando-se em requisitos obtidos pelo NUMA, através do teste do sistema em PMEs brasileiras, passou a dedicar esforços na adaptação do sistema DEEPSIA: - Tradução da interface e da ontologia para a língua portuguesa; - Desenvolvimento de novas ferramentas para busca e personalização na interface. A observação da versão européia do sistema possibilitou a identificação de alguns pontos a serem melhorados, como: - O processo de decisão do Crawler Agent (se a página contém descrição textual de produtos à venda): testes em sites brasileiros demonstraram eficiência pouco satisfatória, indicando a necessidade pela aplicação de outros métodos para a classificação dos conteúdos textuais; - Recuperação de Informações do Catálogo: aplicação de técnicas de data mining e data warehousing para obtenção de dados estatísticos e históricos sobre os produtos armazenados e sobre o acesso de usuários; - Extração de informações das páginas Web: estudo de técnicas de text mining aplicáveis aos conteúdos textuais das páginas brasileiras; - Segurança do sistema: análise de risco do sistema DEEPSIA sobre diversos aspectos, incluindo a comunicação entre os agentes, plataforma operacional e a tecnologia aplicada na sua concepção.

6 4 O problema de decisão Atualmente, as páginas Web não possuem uma forma adequada para a representação de conceitos. A linguagem padrão utilizada para compô-las, HTML (HyperText Markup Language), limita-se à formatação do layout da interface do usuário e à inserção de links para outros objetos, como figuras, filmes, sons e hipertextos, consistindo uma linguagem formal baseada em rótulos (tags) predefinidos. Outra característica da Web atual é que todas as páginas são indexadas por URLs (Uniform Resource Locators), que representam o caminho completo para acesso ao documento. O conteúdo do URL é textual e normalmente descreve informações como: protocolo padrão (HTTP, FTP, p.e.) para acesso ao serviço desejado; nome de domínio do host que executa a aplicação servidora; número da porta remota; caminho no file system; nome do arquivo (ou objeto) acessado, e outras. Existem três componentes textuais em páginas Web que expressam significado a humanos: conteúdo do corpo (body) da página, seu título (title) e o URL. O único que representa significado a aplicações Web e pode ser compreendido por computadores é o URL. Infelizmente, os conceitos descritos nos hipertextos normalmente não se relacionam diretamente ao URL, e não podem ser indexados por este. A solução aqui consiste em abstrair tais conceitos para um formato útil para computadores e classificá-los corretamente como objetos compreensíveis por humanos. Isso define o principal objetivo do estudo em Classificação de Textos (Text Classification TC). Joachims (Joachims, 1997) definiu TC como o processo de agrupamento de documentos em diferentes categorias ou classes. A classificação automática de textos refere-se à construção automática de classificadores utilizando processos indutivos (learners), pelos quais obtém-se um classificador para uma categoria c i observando características de um conjunto de documentos, previamente (e manualmente) associados a c i por um especialista do domínio envolvido (Sebastiani, 1999). Essa abordagem denota um certo tipo de aprendizado de máquina denominado supervisionado, onde um novo documento pode ser classificado através da comparação a um classificador predefinido que foi treinado a partir de documentos rotulados. Em (Imamura, 2001) são descritas as tarefas envolvidas no processo geral da classificação automática de textos, tornando-se uma referência importante para o presente trabalho. a) Obtenção de documentos Esta tarefa define o processo para a obtenção de documentos textuais que constituirão os conjuntos de treinamento, teste e classificação. Os conjuntos de documentos utilizados nas fases de treinamento e teste são basicamente compostos por pares: documentos (d i ) e as classes que representam (c i ) (Sebastiani, 1999). Ferramentas da Web como crawlers, search engines e subject directories, podem ser utilizadas para a recuperação de conteúdos textuais de páginas Web. Neste projeto (Martins Junior, 2003), as seguintes classes foram projetadas e implementadas para a realização de tal tarefa: - DocumentExample: obtém e armazena exemplos positivos e negativos localmente, sob uma determinada categoria. Categoria, neste caso, define páginas que contêm (ou não) descrições de produtos à venda em seus conteúdos textuais. A classe também cria uma estrutura de diretórios para organização dos exemplos. Cada exemplo é representado por seu URL, e é armazenado em um arquivo individual dentro do diretório respectivo. O URL é armazenado na primeira linha do arquivo e também em um arquivo índice (index). Tal processo é representado na Figura 2; - WebPage: realiza a recuperação de páginas Web, baseando-se no URL fornecido pela classe DocumentExample. Figura 2 Obtenção de documentos b) Pré-processamento dos documentos Envolve a extração das principais características de um documento visando sua representação adequada para algoritmos de Classificação de Textos. A abordagem estatística visa obter uma representação atributo/valor do conteúdo textual. Tal representação é normalmente denominada bag of words (Mladenic, 1998) (Sebastiani, 1999) e descreve um vetor que contém pares atributo/peso. A concepção do

7 vetor requer a execução de algumas tarefas, como a identificação de atributos, a associação de pesos e a redução da representação (Imamura, 2001). Diversas operações devem ser realizadas para a tarefa de identificação dos atributos: - Remover qualquer tag HTML e código fonte (como JavaScript) e interpretar caracteres especiais (ISO8559-1, p.e.). Esta tarefa normalmente envolve a utilização de um parser; - Identificar e extrair palavras simples e compostas do conteúdo textual. Tokenizers consistem uma boa escolha para a realização desta tarefa; - Ignorar palavras contidas em uma lista de palavras a serem evitadas (stop list), como preposições, artigos e outras. Um ponto interessante descrito por Joachims (Joachims, 1998) refere-se à regra geral para selecionar características (features) de cada documento textual. Consiste da considerar como uma feature válida apenas as palavras que puderem ser encontradas em pelo menos três documentos do conjunto de treinamento e que não constem na stop list. As palavras encontradas sob tal critério são armazenadas ordenadamente em um arquivo texto (words) para a criação de um dicionário para o domínio envolvido. Cada linha no arquivo deve conter uma palavra inédita, que será referenciada pelo algoritmo como uma feature individual, através do índice numérico que corresponde ao número da linha onde foi armazenada no arquivo texto. Existem duas abordagens distintas para o cálculo do peso das características (features) selecionadas: - Booleana: os valores 0 e 1 são utilizados para representar, respectivamente, a ausência e a presença do termo (atributo ou palavra) no conteúdo textual; - Numérica: representa a medida estatística baseada na freqüência do termo (Term Frequency TF) em um documento. Cada palavra (atributo) corresponde a uma feature com TF (w i,x), que representa o número de vezes em que a palavra w i apareceu no documento x. Uma variação da abordagem numérica, denominada TFIDF (Term Frequency Inverse Document Frequency), sugere a inclusão da freqüência do termo em todos os documentos como uma medida inversa de sua capacidade de representar um documento específico (Joachims, 1997) (Joachims, 1998). Calcular o IDF(w i ) de uma palavra w i envolve a prévia obtenção de DF(w i ), que consiste do número de documentos que apresentam a ocorrência de w i. A Equação 1 apresenta a fórmula do IDF, onde n é o número total de documentos. n IDF ( w ) = log i DF( wi ) (1) Visando fornecer a representação adequada de dados para o uso do método SVM (adotado neste trabalho), a fase de pré-processamento foi dividida em duas etapas, para as quais fez-se necessário o desenvolvimento e a implementação (Martins Junior, 2003) de algumas classes: Parsing envolve a extração do texto de cada arquivo HTML armazenado pela classe DocumentExample. Classes desenvolvidas: - HtmlParser: realiza a leitura seqüencial de todo o conteúdo de cada arquivo HTML, utilizando a instância de uma classe HtmlReader. Ela efetua então a remoção das tags e comentários HTML, códigos-fonte JavaScript e definições de estilo presentes no conteúdo lido. A classe também realiza a interpretação de caracteres especiais (ISO8559-1) através da instância de uma classe Charset armazenando o texto resultante (em letras minúsculas) em um arquivo com o mesmo nome do arquivo HTML, mas com a extensão.txt ; - HtmlReader: realiza a leitura seqüencial de caracteres de cada arquivo HTML fornecido; - Charset: efetua a tradução dos códigos ISO (ã, p.e.) fornecidos para os equivalentes caracteres especiais (ã, p.e.). Tokenizing nesta etapa busca-se a obtenção das palavras válidas de cada arquivo texto gerado na etapa anterior (parsing). Classes implementadas no projeto: - TextTokenizer: esta classe obtém todos os tokens (sentenças separadas por espaços) de cada arquivo texto fornecido, removendo pontuações e outros caracteres inválidos presentes nos extremos de cada sentença (parênteses, sinais, p.e.), e verifica se consiste uma palavra válida através do uso da instância de uma classe StopList. Um procedimento muito especial é também realizado por esta classe, que refere-se ao reconhecimento de padrão do formato de sentenças que descrevem preços, dado que constitui uma característica importante notada em páginas que possuem

8 produtos à venda. Quando uma sentença é reconhecida como um preço um termo genérico é associado pela classe, denominado pricestring ; - StopList: tal classe mantém um conjunto de sentenças predefinidas (artigos e preposições, p.e.) que devem ser ignoradas como palavras válidas. Dictionary nesta etapa procura-se definir um dicionário de palavras específicas do domínio em questão. Classe responsável: - Dictionary: obtém todas as palavras válidas de cada arquivo texto, através da instância de uma classe TextTokenizer. Cada palavra que atender a regra (encontrada em três documentos, pelo menos) é armazenada ordenadamente em um arquivo texto, chamado words. O conjunto completo de palavras é mantido pela classe em uma estrutura HashTable, quando da instância da classe Dictionary, a fim de otimizar a consulta por palavras. Weighting objetiva-se aqui o cálculo da medida TFIDF para cada feature presente no arquivo texto. Classes implementadas: - FeaturesFrequences: esta é a única classe a realizar a leitura do arquivo texto nesta etapa. Ela realiza a contagem do número de vezes (TF) que cada feature (palavra válida do Dictionary) aparece no documento, e cria uma estrutura Set para cada documento, onde descreve os pares: feature/tf; - FeaturesIDF: recebe as estruturas Set da classe FeaturesFrequences e as fornece, uma a uma, à classe FeaturesDF. A seguir, obtém de FeaturesDF o valor DF (Document Frequency) para cada feature calculando seu peso IDF (Inverse Document Frequency), o qual é ordenadamente armazenado em um arquivo words.idf como um valor numérico float; - FeaturesDF: realiza a contagem dos documentos (Document Frequency) que contém cada palavra, baseando-se nas estruturas Set recebidas da classe FeaturesIDF. Vectors a última etapa do pré-processamento refere-se à criação dos vetores de características (features vectors) para cada exemplo obtido de um documento textual. Classe envolvida: - FeaturesVectors: sua função consiste em obter os valores TF e IDF para cada feature, providos pela instância das classes FeaturesFrequences e FeaturesIDF, e calcular o valor TFIDF (TF*IDF). Um vetor é criado para cada exemplo contendo todos os pares de valores feature/tfidf, e armazenado em uma linha individual de um arquivo texto denominado train.dat (para fins de treinamento; e test.dat para teste). A Figura 3 apresenta uma visão geral dos estados inicial e final dos exemplos, separados pelas fases de obtenção e pré-processamento. O estado inicial representa o domínio completo em questão, composto pelas páginas Web brasileiras. Figura 3 Páginas Web brasileiras (a) e representação vetorial(b) c) Extração do conhecimento Os algoritmos aplicados nesta fase implementam os diferentes métodos para a classificação automática de textos. O método Support Vector Machines (SVM) foi adotado para o presente trabalho. SVM foi desenvolvido por Vapnik (Vapnik, 1995) baseando-se no princípio da Minimização do Risco Estrutural (Structural Risk Minimization) da teoria do aprendizado estatístico. Consiste de um método utilizado para o reconhecimento de padrões definidos em um espaço vetorial, onde o problema resume-se em encontrar uma superfície de decisão que melhor separe os dados em duas classes (positiva e negativa) distintas. Isso previamente qualifica o método como adequado para problemas de classificação, como o apresentado por este trabalho. Na sua forma básica, o classificador SVM aprende regras lineares binárias descritas por um vetor de pesos w e um ponto inicial b. Dependendo do lado do hiperplano em que o vetor de atributos for representado, será classificado como +1 (positive) ou 1 (negative). A Minimização do Risco Estrutural visa encontrar uma hipótese que garanta a menor probabilidade de erros de classificação, o que pode ser traduzido em

9 encontrar o hiperplano h com margem máxima, separando os dados em duas classes distintas (exemplos positivos e negativos) em uma representação do espaço vetorial, conforme mostra a Figura 4 (obtida de MLnet.org). Os exemplos representados juntos à margem do hiperplano h (marcados com círculos)são denominados Support Vectors. - svm_classify: consiste do módulo de classificação do SVM light e requer, como entrada, um arquivo contendo os exemplos de teste (no mesmo formato que o arquivo com exemplos de treinamento) e outro, que contém o modelo gerado pelo módulo svm_learn. Fornece, como saída, um arquivo texto com as classificações realizadas para cada exemplo. Figura 4 Hiperplanos em um espaço vetorial O uso de Support Vector Machines aplicado à classificação de textos foi introduzido por Joachims (Joachims, 1998). Em seu trabalho, Joachims apresentou um estudo comparativo entre o SVM e outros algoritmos, como Bayes, Rocchio, C4.5 e K-NN. O SVM apresentou o melhor resultado quando comparado a tais algoritmos. A fim de facilitar o processo de aprendizado na classificação de textos, cada categoria é associada a um problema específico de classificação binária (Joachims, 1999). SVM light é uma implementação do algoritmo SVM desenvolvida por Joachims, que pode ser livremente utilizada em pesquisas científicas. O SVM light consiste basicamente de dois módulos: - svm_learn: trata-se do módulo de treinamento do SVM light que especifica como entrada um arquivo texto contendo o conjunto de vetores que representam os exemplos de treinamento. Cada linha do arquivo deve conter um vetor. Para os casos de classificação linear com SVM, as linhas contém os pares feature-value dispostos em ordem crescente, ordenados por feature. Cada feature é representada pelo seu número de linha no arquivo words. Os dois primeiros caracteres da linha, +1 ou 1, representam as opções positive ou negative, respectivamente. Value é o peso TFIDF da feature representado como um valor numérico do tipo float. svm_learn armazena o modelo (classificador) gerado em um arquivo texto, denominado model; d) Avaliação do conhecimento Para tarefas de classificação que envolvem classes com valores discretos, algumas medidas de qualidade podem ser estimadas a partir dos seguintes resultados observados: - tp (true positive positivos verdadeiros): número de exemplos positivos que foram corretamente classificados; - fp (false positive falsos positivos): número de exemplos negativos classificados como positivos; - fn (false negative falsos negativos): número de exemplos positivos classificados como negativos; - tn (true negative negativos verdadeiros): número de exemplos negativos corretamente classificados; Medidas: - Precision: proporção de exemplos positivos que foram classificados corretamente. Em problemas de classificação binária, a precision pode ser obtida pela fórmula apresentada pela Equação 2; tp PRECISION = (2) tp + fp - Recall: descreve a porção que foi classificada corretamente como exemplos positivos. Esta medida pode ser estimada pela fórmula da Equação 3; tp RECALL = (3) tp + fn

10 - Accuracy: trata-se da proporção de classificações corretas, e seu cálculo é descrito pela Equação 4. ACCURACY = tp + tp + tn fp + tn + fn 5 Resultados obtidos Todas as classes mencionadas na seção 4 foram implementadas durante a realização deste trabalho (Martins Junior, 2003) utilizando-se de tecnologia Java (j2sdk1.3.1 The Java 2 Standard Development Kit). Visando-se otimizar as operações de ordenação e recuperação de dados, foram utilizadas, durante o desenvolvimento, estruturas e recursos apropriados, como HashTable, HashSet e SortedMap. Diversos testes foram realizados a fim de se confirmar a capacidade de aprendizado da solução implementada. A Tabela 1 apresenta o conjunto de exemplos obtidos e utilizados durante a fase de treinamento para a geração do modelo (classificador). Esse conjunto contribuiu para a criação de um dicionário do domínio analisado com um total de palavras. O experimento foi realizado em um computador com processador AMD-Athlon 1GHz, e com 512 MB de RAM, sobre uma plataforma composta pelo sistema operacional Linux, distribuição Debian com kernel da versão Os tempos obtidos na execução da fase de treinamento foram os seguintes: - Criação do dicionário: 20 s; - Geração dos vetores: 2 min 50 s. Tabela 1 Conjunto de treinamento Site Positivos Negativos Americanas Bondfaro Buscape Estadão Economia 0 25 Extra Globo Shopping 21 2 Kalunga Liv Cultura Liv Saraiva Luiza Mercado Livre Shopping UOL Shoptime Submarino (4) O modelo obtido foi utilizado para a classificação de exemplos positivos e negativos obtidos de outros sites. A Tabela 2 apresenta as medidas precision, recall e accuracy que foram calculadas sobre os resultados da classificação, quando aplicada em páginas Web de sites não comerciais. Tabela 2 Avaliação em sites não comerciais Banespa ICMC Receita Positivos Amostra Negativos Total fp Resultado fn tp Avaliação tn Accuracy 98,33% 100% 100% Precision NA NA NA Recall NA NA NA A Tabela 3 apresenta a mesma avaliação, mas sobre os resultados da classificação de páginas de outros sites comerciais. Tabela 3 Avaliação em outros sites comerciais Amostra Resultado Avaliação Ponto Frio Ri Happy Som Livre Positivos Negativos Total fp fn tp tn Accuracy 100% 100% 89,04% Precision 100% 100% 97,92% Recall 100% 100% 87,04%

11 6 Conclusão e trabalhos futuros Observando a avaliação dos resultados apresentados, conclui-se que um método estatístico pode ser aplicado a tarefas de classificação de textos, mesmo quando o problema em questão requer o reconhecimento da presença de uma determinada característica, como a descrição textual de produtos à venda, abordada pelo presente trabalho. A eficiência do modelo depende da qualidade dos exemplos positivos e negativos selecionados para a composição do conjunto de treinamento. Outro ponto importante descrito no presente trabalho refere-se à adaptação das tarefas envolvidas na análise do domínio, como a abordagem do reconhecimento de padrões de sentenças que descrevem preços, apresentada na seção 4. Finalmente, sugere-se como trabalhos futuros a aplicação do método apresentado para a solução de outros problemas de decisão na classificação de textos, e também sua avaliação, quando aplicado em outros domínios. A experiência agregada por este trabalho ao grupo de pesquisas pode ser útil quando da aplicação de solução parecida em processos de decisão enfrentados por sistemas detectores de intrusão. O reconhecimento de padrões de ataque através de fatos descritos em conteúdos textuais de arquivos de log do sistema operacional pode se tornar um objeto da aplicação de uma solução similar à explorada pelo presente trabalho. Outra sugestão para a elaboração de futuros trabalhos consiste da aplicação de outros métodos de classificação de textos para a solução do mesmo problema que buscou-se solucionar. 7 Referências J. Martins Junior, Classificação de páginas na Internet, São Carlos, 2003, 81p, Dissertação de Mestrado - Instituto de Ciências Matemáticas e de Computação de São Carlos, Universidade de São Paulo. M. Song, A. Pereira, G. Gorgulho, S. Campos, W. Meira Jr, Model Checking Patterns for e-commerce Systems, In: Proceedings of the First International Seminar on Advanced Research in Electronic Business, Rio de Janeiro, Brazil, J. Magalhães, C. Lucena, A Multi-Agent Product Line Architecture for Websearching, In: Proceedings of the First International Seminar on Advanced Research in Electronic Business, Rio de Janeiro, Brazil, B. Coutinho, G. Teodoro, T. Tavares, R. Pinto, D. Nogueira, W. Meira Jr, Assessing the impact of distribution on e-business services, In: Proceedings of the First International Seminar on Advanced Research in Electronic Business, Rio de Janeiro, Brazil, F. Milagres, E. Moreira, J. Pimentão, P. Sousa, Security Analysis of a Multi-Agent System in EU s DEEPSIA Project, In: Proceedings of the First International Seminar on Advanced Research in Electronic Business, Rio de Janeiro, Brazil, J. F. Herrera, J. Martins Junior, E. Moreira, A Model for Data Manipulation and Ontology Navigation in DEEPSIA, In: Proceedings of the First International Seminar on Advanced Research in Electronic Business, Rio de Janeiro, Brazil, C. Badue, R. Baeza-Yates, W. Meira, B. Ribeiro-Neto, N. Ziviani, Distributed Architecture for Information Retrieval, In: Proceedings of the First International Seminar on Advanced Research in Electronic Business, Rio de Janeiro, Brazil, M. Rappa, Managing the Digital Enterprise: Business Models on the Web, In: E-Commerce Learning Center of North Carolina State University web site: último acesso em: 20/04/2003. A. S. Garção, P. A. Sousa, J. P. Pimentão, B. R. Santos, V. Blasquéz, L. Obratanski, Annex to DEEPSIA s Deliverable 4 System Architecture, Technical Report of IST PROJECT , January, T. Joachims, A Probabilistic Analysis of the Roccio Algorithm with TFIDF for Text Categorization, Universitat Dortmund, F. Sebastiani, Machine Learning in Automated Text Categorization, Technical Report IEI B , Instituto di Elaborazione della Informazione, Consiglio Nazionale delle Ricerche, Pisa, Italy, C. Y. Imamura, Pré-processamento para Extração de Conhecimento de Bases Textuais, São Carlos, 2001, Dissertação de Mestrado - Instituto de Ciências Matemáticas e de Computação de São Carlos, Universidade de São Paulo. D. Mladenic, Machine Learning on non-homogeneous, distributed text data, PhD thesis, University of Ljubljana, Faculty of Computer and Information Science, Ljubljana, 1998.

12 T. Joachims, Text Categorization with Support Vector Machines: Learning with Many Relevant Features, Universitat Dortmund, V. Vapnik, The Nature of Statistical Learning Theory, Springer-Verlag, T. Joachims, Transductive Inference for Text Classification using Support Vector Machines, In: Proceedings of the International Conference on Machine Learning (ICML), 1999.