INSTITUTO SUPERIOR DE ENGENHARIA DO PORTO DEPARTAMENTO DE INFORMÁTICA RAMO DE COMPUTADOR E SISTEMAS. Projecto 5º Ano

Transcrição

1 INSTITUTO SUPERIOR DE ENGENHARIA DO PORTO DEPARTAMENTO DE INFORMÁTICA RAMO DE COMPUTADOR E SISTEMAS Projecto 5º Ano I José Manuel Godinho Oliveira Orientado por Carlos Fernando da Silva Ramos Porto, Setembro de 2004

2 Agradecimentos Este trabalho vem concluir mais uma fase da minha vida. Foram dois anos de esforço, onde aconteceram coisas boas e coisas más. A ajuda de todos aqueles com quem passei este tempo foi preciosa, e por isso lhes digo: muito obrigado. Quero ainda agradecer ao meu orientador, Eng. Carlos Ramos, a forma como se empenhou e a disponibilidade que mostrou. Obrigado também à minha mulher pela coragem e apoio que me deu para enfrentar este desafio. A ela, e ao meu filho, dedico este projecto. Pág. 2

3 Índice 1. Introdução Breve descrição Estrutura do trabalho Algumas técnicas usadas Data Mining - Descoberta do conhecimento em bases de dados Text Mining - Descoberta do conhecimento em textos Web Mining Interfaces Inteligentes que se adaptam (Adaptive User Interfaces) Agentes Inteligentes e Web Agents Semântica da Web e Ontologias The Web Intelligence Consortium A organização Centros de pesquisa e projectos Web Intelligence (WI) O que é? Objectivo Sistemas e Aplicações mais comuns da WI Business Intelligence E-Technology Intelligent Enterprise Portals Intelligent Web Information Systems Price Dynamics and Pricing Algorithms Measuring and Analyzing Web Merchandising and Web-Based Direct Marketing and CRM Futuro e desafios para a WI Novas tecnologias Recolha e selecção de dados para Data Mining Identificar utilizadores e recolher os seus dados com precisão Integração dos vários resultados e tipos de mining Privacidade Ferramentas Web Usage Mining Text Mining de páginas web Web Content Mining Web Structure Mining Conclusão Dificuldades Referências Pág. 3

4 Índice de Figuras Figura I - Estrutura das técnicas de Web Mining... 9 Figura II - Pesquisas na web actualmente Figura III - O Futuro da web Figura IV - Áreas envolvidas na WI Figura V - Ecrã principal do Funnel Web Analyzer Figura VI - Tabela de análises estatísticas Figura VII - Gráfico de visitantes Figura VIII - Gráfico da distribuição regional Figura IX - Tempos de acesso ao site Figura X - Gráfico de erros Índice de Imagens Imagem 1 - Resultados da pesquisa Imagem 2 - Texto seleccionado no TextAnalyst Imagem 3 - Árvore de palavras relevantes Imagem 4 - Palavras relevantes da pesquisa aos resultados Imagem 5 - Selecção de palavras Imagem 6 - Portal Digesto.net Imagem 7 - Resultados de um query Imagem 8 - Resultados do crawl Imagem 9 - Resultados do crawl com nível de profundidade Imagem 10 - Resultados ordenados Imagem 11 - Resultados de submitting Imagem 12 - Resultados do matching Imagem 13 - Resultados da pesquisa com nível Imagem 14 - Resultados da pesquisa com nível Índice de Tabelas Tabela 1 - Distribuição dos acessos por regiões Tabela 2 - Duração dos acessos ao site Tabela 3 - URLs falhados Pág. 4

5 1. Introdução 1.1 Breve descrição A Internet é sem dúvida a grande responsável pela forma como, nos dias de hoje, obtemos, tratamos e usamos a informação. No entanto, para além desta ser em grande quantidade, também pode ser apresentada em vários formatos, como por exemplo: documentos distribuídos e interrelacionados, estruturados ou não, com textos, imagens e sons. Em 1999 Garofalakis [17] e outros previam que a maior parte do conhecimento humano estaria na Internet em 10 anos. Entretanto, tanto conhecimento só será útil se as pessoas que o procuram o conseguirem encontrar. Embora existam muitos motores de busca, no início de 1998, Bharat e Broder [18] estimaram que, apenas 80% dos 200 milhões de páginas publicadas na Web estavam indexadas nos maiores motores (Altavista, HotBot, Excite e Infoseek). Este problema demonstra a necessidade da existência de mecanismos de procura de informação na Internet de uma forma inteligente. Foi com este objectivo que apareceu a Web Intelligence. Em 2000, Zhong [19] definiu a WI como um campo de pesquisa que explora a Inteligência Artificial (IA) e a Tecnologia de Informação (TI) avançada para o desenvolvimento de sistemas inteligentes para a Web. Segundo [31], WI investiga os papéis importantes que estas duas componentes têm sobre a web, preocupando-se com o impacto prático que elas terão na nova e futura geração de produtos, sistemas, serviços e actividades utilizadores na web. É a chave e o campo de investigação mais urgente da tecnologia de informação para o business intelligence. 1.2 Estrutura do trabalho O trabalho é composto por 9 capítulos. O primeiro capítulo faz uma breve referência à Internet de hoje. O segundo apresenta algumas técnicas mais usadas na descoberta de conhecimento. O terceiro apresenta a organização que representa e impulsiona a investigação da WI. O quarto capítulo define a própria WI e os seus objectivos. No quinto capítulo, podemos saber quais as áreas de aplicação da WI. No sexto capítulo são discutidos alguns dos desafios futuros da WI. No sétimo capítulo são apresentadas algumas ferramentas experimentadas no âmbito deste projecto. Finalmente, no oitavo e novo capítulo são apresentadas as conclusões e as dificuldades na elaboração do trabalho. Pág. 5

6 2. Algumas técnicas usadas Em 2002, Goetzel descreve a web como tendo uma mente infantil e acredita que nos próximos 20 anos iremos assistir ao seu crescimento e desenvolvimento para um sistema inteligente, globalmente distribuído, altamente autónomo e capaz de voar [30]. Esta secção apresenta as principais técnicas de inteligência artificial utilizadas, e explica como podem ser aplicadas na Web Intelligence. 2.1 Data Mining - Descoberta do conhecimento em bases de dados A Descoberta do Conhecimento em bases de dados (KDD) é um processo não-trivial de identificação de padrões válidos, potencialmente úteis e compreensíveis ao utilizador [20]. A KDD é composta por algoritmos e ferramentas inteligentes que auxiliam as pessoas a analisar grandes volumes de informação para extrair conhecimento útil. Segundo Fayyad [20] Data Mining pode ser definido como a parte do processo de KDD responsável pela extracção de padrões de dados, enquanto que a descoberta do conhecimento é um processo maior, envolvendo também a interpretação dos dados. As principais técnicas de Data Mining são: Classificação Esta técnica tem como objectivo relacionar os elementos com classes pré-existentes, onde é utilizada uma função para mapear os elementos com as classes [20]. As classes devem ser definidas através das suas características. Modelos de previsão A técnica de modelos de previsão é semelhante à de classificação, mas em vez de tentar relacionar os elementos com classes, tenta descobrir uma função matemática que descreva o comportamento de um sistema (calcular uns valores em função de outros) [21]. A finalidade é poder prever valores futuros. Detecção de desvios Esta técnica utiliza uma função média, representando o comportamento normal de um sistema para avaliar possíveis desvios. Clustering Este é o processo inverso da classificação. Nesta técnica não existem classes (não se sabe quais são as classes, quantas são nem quais as suas características), apenas elementos num universo, a partir dos quais se vão definir classes para os enquadrar. O objectivo é identificar grupos de afinidades, Pág. 6

7 avaliando a similaridade entre os elementos, e agrupá-los [Han96]. Análise de cluster Esta técnica completa a anterior, na medida em que procura características comuns entre os elementos de cada grupo. Na maioria dos mecanismos o objectivo está em identificar um conjunto de características médias para cada classe [Han96]. Associação ou correlação Esta é a técnica mais conhecida de Data Mining. Com esta técnica verifica-se se existe alguma influência entre atributos ou valores de atributos [22]. O objectivo é encontrar dependências entre atributos ou valores de atributos através da análise de probabilidades condicionais. Análise de séries temporais Esta técnica procura encontrar padrões na repetição seguida de valores. Evolução ou sequência de tempo As técnicas de evolução ou sequência de tempo tentam encontrar regras de associação ou correlação entre eventos ocorridos em momentos diferentes [22]. 2.2 Text Mining - Descoberta do conhecimento em textos O objectivo do Text Mining é procurar padrões ou tendências em textos de linguagem natural, e analisar textos com objectivos específicos. Inspirado no Data Mining, que descobre padrões proeminentes de bases de dados altamente estruturadas, o Text Mining pretende extrair conhecimento útil de texto não estruturado ou semi-estruturado. O Text Mining, também conhecido como Text Data Mining ou Knowledge Discovery from Text (KDT) é um campo inter-disciplinar que inclui, mas não é limitado por: Information Extraction (IE) Natural Language Processing (NLP) and Computational Linguistics (CL) Machine Learning (ML) Information Retrieval (IR) Data Mining (DM) or Knowledge Discovery from Databases (KDD) Knowledge and Information Management Information Visualization O termo Descoberta do Conhecimento em textos foi usado pela primeira vez por Feldman e Dragan em 1995 para designar o processo de extracção de algo de interessante em textos de artigos de revistas e jornais, mensagens de , páginas Web, etc. Nos dias de hoje, Text Mining e Text Data Mining são usados também com a mesma finalidade [23]. Pág. 7

8 Assim, podemos definir Text Mining como o processo de extrair padrões ou conhecimento, interessantes e não-triviais, a partir de documentos de texto [23]. As principais técnicas de Text Mining são: Extracção Esta técnica tem como objectivo encontrar informações específicas dentro de textos [24]. O objectivo desta área é diferente do objectivo do processamento da linguagem natural, uma vez que é mais focado e definido, extraindo tipos específicos de informação [Rillof94]. A técnica procura converter dados não estruturados em informações explícitas, normalmente armazenadas em bases de dados estruturadas. Categorização Esta é uma técnica básica. A categorização de textos tem como objectivo associar categorias pré-definidas aos textos [25]. Em geral, os trabalhos de categorização procuram encontrar os temas centrais de um texto. Análise de características ou descrição de conceitos O objectivo é apresentar uma lista com os conceitos principais de um único texto. Geralmente os conceitos são termos ou expressões extraídos por análise estatística. Análise linguística Este tipo de abordagem procura descobrir informações analisando frases ao nível léxico, morfológico, sintáctico e semântico. Resumos Esta técnica usa as anteriores, mas com mais ênfase na produção de resumos dos textos. Resumir é a generalização das partes mais importantes de um texto [24]. Associação entre textos Esta técnica tenta relacionar várias descobertas presentes em vários textos. Clustering No Text Mining a técnica de clustering é igual à usada no Data Mining, sendo que a única diferença é que a mesma é aplicada sobre palavras ou sobre conceitos. Conceitos permitem trabalhar com sinónimos ou variações lexicais. Pág. 8

9 2.3 Web Mining Web Mining é a aplicação das técnicas de Data Mining, Text Mining ou outro processo de Descoberta do Conhecimento na Web. Os utilizadores podem tirar partido desta técnica para obter informação da Web com mais eficiência. A técnica de Web Mining pode ser dividida em 3 categorias: content mining, usage mining, e structure mining. Figura I - Estrutura das técnicas de Web Mining Content Mining Web content mining descreve o processo automático de procura nas fontes de informação on-line [14], e envolve a extracção de conteúdos de dados na Web. No contexto do Web Mining, web content minig é semelhante às técnicas de Data Mining em bases de dados relacioanis, uma vez que é possível extrair conhecimento semelhante de fontes de dados não estruturadas que existem nos documentos da Web. Structure Mining O objectivo desta categoria é gerar resumos sobre a estrutura de Web Sites e páginas Web. Tecnicamente, web content mining centra-se principalmente na estrutura do próprio documento, enquanto que web structure mining se preocupa em descobrir a estrutura de hyperlinks entre documentos. É com base na topologia dos hyperlinks que web structure mining vai categorizar as páginas web e gerar a informação, como por exemplo a semelhança e relacionamento emtre Web Sites diferentes. Outro dos seus objectivos é identificar documentos mais procurados. A ideia é que um hyperlink de um documento A para um documento B implica que o autor do documento A pensa que o documento B tem informação relevante. Usage Mining Web usage mining tenta descobrir informação útil a partir dos logs de utilização de um servidor web. Centra-se principalmente nas técnicas que podem prever o comportamento dos utilizadores, enquanto este navegam na web. M. Spiliopoulou [16] Pág. 9

10 referiu uma teoria, como uma estratégia possível, para atingir o objectivo como sendo: prever o comportamento do utilizador no site, comparação entre a utilização esperada e a utilização efectiva do Web Site e ajuste do Web Site aos interesses do utilizador. Não há distinções definidas entre esta e as duas categorias anteriores. Durante o processo de preparação dos dados de wen usage mining, a categoria de web content mining e a topologia do web site são usadas como a fonte de informação, o que significa que existe interacção com as duas categorias anteriores. Esta categoria é composta por três fases: pré-processamento, descoberta de padrões e análise desses padrões [15]. Segundo [32] podemos usar web content e web usage mining para reconfiguração de web sites. A reconfiguração é personalização e recomendação dinâmica do site, baseadas no comportamento do utilizador ao navegar. 2.4 Interfaces Inteligentes que se adaptam (Adaptive User Interfaces) As interfaces inteligentes são truques de software que melhoram a sua capacidade de interagir com o utilizador, construindo um modelo baseado na experiência de interacção com o utilizador [28]. As interfaces inteligentes usam técnicas de inteligência artificial para auxiliar os utilizadores, de forma a atingirem mais fácil e rapidamente o objectivo que pretendem. A interface inteligente tem de ter sempre presente 4 tipos de informações sobre o utilizador: Objectivo: estado que ele pretende atingir Plano: sequência de acções que o levam até ao estado desejado. Estas acções são actos que a interface vai permitir que o utilizador faça. Capacidades: físicas e mentais do utilizador Comportamento e preferências: forma de interagir Os objectivos do utilizador podem ser explicitamente declarados (o mesmo indica ao sistema qual é), ou então inferidos por mecanismos de inteligência do sistema. Para o segundo caso, podem ser utilizadas técnicas de machine learning, que analisam o comportamento do utilizador, o histórico de navegação e as características do ambiente. As interfaces inteligentes procuram geralmente estabelecer perfis de utilizadores e classifica-los nesses perfis, de forma a poderem mais facilmente ajuda-los. Isto pode ser conseguido descobrindo-se um perfil comum em grupos de utilizadores. Outra forma das interfaces inteligentes entenderem as necessidades de um utilizador é interagindo com ele através do diálogo. A inteligência Pág. 10

11 artificial tem uma área de estudo que é o processamento de Linguagem Natural. Este processamento pode ser feito a nível léxico, sintáctico, semântico ou pragmático. As diferentes técnicas que compõe esta área podem ser usadas para que a interface inteligente possa entender as informações dadas pelo utilizador ou então para produzir respostas num formato mais compreensível ao mesmo. Estas interfaces podem ser usadas para as mais variadas tarefas. A Internet é uma das áreas que mais pode beneficiar com este tipo de software. O crescimento da quantidade de informação e serviços na web faz com que seja difícil encontrar e recolher a informação que procuramos. As interfaces inteligentes que se adaptam baseadas na web permitem que os sites tenham interacção com o utilizador de forma personalizada, aumentando a capacidade de navegação do utilizador nos mais variados contextos como por exemplo comércio electrónico, ensino à distância (elearning) ou trabalho cooperativo [28]. Os sites que se adaptam são habitualmente chamados de adaptive web sites. Estes têm a capacidade de semi-automaticamente melhorar a organização e apresentação da sua informação, aprendendo com a os padrões de acesso dos utilizadores. 2.5 Agentes Inteligentes e Web Agents Outro aspecto da WI foca o estudo e aplicação de Agentes Inteligentes na web. A definição de agentes é um assunto sobre o qual não existe um consenso único. No entanto, segundo [27], os Agentes Inteligentes são sistemas automatizados (hardware ou software), contendo mecanismos de inteligência artificial, capazes de tomar decisões e melhorar o seu desempenho de forma automática. O objectivo é permitir que a inteligência seja distribuída remotamente ou que indivíduos possam tomar decisões de forma autónoma, aumentando assim a eficiência de sistemas computacionais. Uma definição comum de agentes inteligentes diz que os mesmos devem ter as seguintes características: Autonomia: trabalhar sem intervenção humana Habilidade social: saber interagir com humanos ou outros agentes Capacidade de reacção: poder receber estímulos do ambiente e responder em tempo útil Pró-actividade: ter comportamento direccionado a um objectivo, tomando a iniciativa da acção sem precisar de receber estímulos Mobilidade: poder mover-se para outros ambientes Orientado por objectivos: ser capaz de lidar com problemas complexos. Continuidade temporal: funcionar continuamente Pág. 11

12 Existem outras pessoas, nomeadamente as ligadas à área da inteligência artificial, que definem os agentes como sendo algo mais do que aquilo que é definido anteriormente. Estes dizem que um agente tem também as seguintes características: Mobilidade: ser capaz de se deslocar pela rede de uma máquina para a outra Aprendizagem: ser capaz de alterar o seu comportamento com base em experiências anteriores Adaptabilidade: ser capaz de se ajustar aos métodos de trabalho e preferências do seu utilizador Agilidade: ser capaz de aproveitar oportunidades não previstas Colaboração: ser capaz de analisar ordens ou instruções dadas pelos utilizadores antes de as executar e ter noção de que estes podem cometer erros. O agente deve verificar as instruções a efectuar fazendo questões ao utilizador ou usando um modelo de utilizador pré-definido para resolver problemas deste género. Quando existem vários Agentes Inteligentes a actuar de forma integrada e cooperativa, o sistema é chamado de Multi-Agentes. Geralmente, cada agente inteligente possui conhecimentos próprios e diferentes. Estes indivíduos interagem entre si, partilhando informações e conhecimento para resolução de problemas mais complexos, os quais dificilmente seriam resolvidos se os agentes actuassem de maneira isolada. Na Internet, os agentes inteligentes são designados por Web Agents e servem principalmente para explorar serviços na Web. Os Web Agents são sistemas complexos que operam na web e nas intranets das organizações. Eles são desenhados para fazer variadas tarefas como caching e routing de informação para pesquisas, categorização, filtragem, monitorização e análise de dados. Na Internet, estes agentes percorrem web sites extraindo dados dos mesmos. Estes dados podem ser depois utilizados por ferramentas de Data Mining. 2.6 Semântica da Web e Ontologias A web, apesar de ter muitas potencialidades, tem muitas limitações. De entre muitas outras, uma que se destaca é a dificuldade de troca de informações entre as máquinas, devido ao facto da maior parte da informação estar estruturada de forma a ser compreendida pelos humanos. A semântica da web apareceu com Tim Berners.Lee, o inventor da world wide web, URIs, HTTP e HTML. Existe uma equipa no consórcio W3C a investigar este tema, mas no entanto ele ainda está nos seus primórdios. Deixando de lado o problema da inteligência artificial em treinar máquinas para ter o comportamento semelhante ao humano, a abordagem da semântica da web desenvolve linguagens que permitam exprimir a informação de uma forma compreensível para as máquinas Estas linguagens permitem criar conjuntos de informação organizada para que possa ser facilmente processada por máquinas a uma escala Pág. 12

13 global. Podemos pensar nela como sendo uma forma de representar informação na web, ou como uma base de dados global [13]. Segundo [29], a chave para realização da semântica da web são as ontologias como meio de contextualizar e estruturar o conhecimento. As ontologias aumentam o nível de especificação do mesmo conhecimento, incluindo semântica nos dados, e promovem a sua troca numa forma explícita e compreensível. Ainda segundo [29], a semântica web e as ontologias estão completamente ligadas como uma valiosa plataforma de trabalho para distintas aplicações de negócio como por exemplo comércio electrónico e B2B. Pág. 13

14 3. The Web Intelligence Consortium 3.1 A organização O WIC ( é uma organização internacional, sem fins lucrativos, que se dedica à promoção da pesquisa científica e desenvolvimento industrial da área da Web Intelligence, a nível mundial. Tem ainda um papel importante na colaboração entre os centros de pesquisa em WI em todo o mundo. A sua função passa também pela organização de conferências mundiais sobre a área, onde promove mostras tecnológicas. Esta organização publica o livro e o jornal oficiais de WI, newsletters, e é responsável pelo lançamento de novas soluções industriais e standards tecnológicos [31]. As actividades principais do WIC incluem: Organizar conferências relacionadas com inteligência na web e em agentes, a nível internacional e regional, como: The IEEE/WIC International Conference on Web Intelligence and The IEEE/WIC International Conference on Intelligent Agent Technology patrocinada em conjunto por IEEE Computer Society e o WIC. The 2003 IEEE/WIC International Joint Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT 2003) Realizada em Outubro de de 2003 em Halifax, Canada. ( ou ) The 2004 IEEE/WIC/ACM International Joint Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT 2004) A realizar em Setembro de de 2004 em Beijing, China. ( ou ) Publicar os jornais, livros e newsletters sobre web intelligence e agentes inteligentes, como: Web Intelligence and Agent Systems É um jornal internacional e official do WIC (IOS Press) Annual Review of Intelligent Informatics (World Scientific) É uma série de publicações oficiais do WIC. Vários números especiais do WI-IAT foram e serão publicados em jornais internacionais, incluíndo os da IEEE Computer, Computational Intelligence (Blackwell), International Journal of Pattern Recognition and Artificial Intelligence (World Scientific), Pág. 14

15 Journal of Intelligent Information Systems (Kluwer), Cognitive Systems Research journal (Elsevier), and Knowledge Based Systems (Elsevier). Vários livros relacionados com WI-IAT foram publicados pelas editoras Springer, World Scientific, e IOS Press. Promover as ferramentas, sistemas e standards relacionados com web intelligence e agent intelligence. Estabelecer e dar apoio aos centros de pesquisa em WI e empresas relacionadas com WI-IAT. Em todo o mundo, o WIC tem cerca de 13 centros de pesquisa em todo o mundo, sendo eles: WIC-Australia Research Centre WIC-Beijing Research Centre WIC-Canada Research Centre WIC-France Research Centre WIC-Hong Kong Research Centre WIC-India Research Centre WIC-Japan Research Centre WIC-Korea Research Centre WIC-Mexico Research Centre WIC-Poland Research Centre WIC-Spain Research Centre WIC-UK Research Centre WIC-US Research Centre 3.2 Centros de pesquisa e projectos Alguns centros de pesquisa têm vindo a desenvolver projectos na área da WI, e apresentaram este ano um relatório sobre as suas actividades nos últimos meses. Todos os projectos são interessantes, mas apenas vou fazer referência a alguns. WIC-Beijing Research Centre O WIC de Beijing foi criado em Fevereiro de 2003, e desde então já desenvolveu vários projectos na área de WI. Web-based Intelligent Tutoring System Este projecto visa ajudar os estudantes do liceu a fazerem os seus trabalhos de casa na área da matemática depois das aulas. O sistema recentemente foi desenhado na versão web, versão esta que permite uma Pág. 15

16 maior e mais inteligente interacção com os estudantes, a disponibilização suplementar de ferramentas de resolução de problemas, e uma maior rapidez de resposta. Web Text Mining Systems Nesta área, o centro de pesquisa apenas se interessa por dois tipos de sistemas: classificação de textos na web, e web log mining. Desenvolveram dois sistemas, um de classificação de correio electrónico e outro de classificação de textos na web. O primeiro é baseado no método de Naive-bayes e pode ser integrado em ferramentas de , como por exemplo Microsoft Outlook. O segundo, aborda várias técnicas de classificação de texto (Naive-Bayes, VSM, etc) em plataformas de Web Mining. O sistema de web log mining, é baseado nos seus próprios algoritmos de regras de associação. WIC-Canada Research Centre Web-based Support Systems Os sistemas computorizados de suporte são alvo de estudo neste centro. Muitos sistemas foram sendo estudados ao longo do tempo. Como exemplos disso temos: sistemas de suporte à decisão, sistemas de suporte ao negócio, sistemas de suporte médico, etc. No WIC-Canadá, estes sistemas estão a ser estudados de forma a serem transportados para o ambiente da Internet, o que nos faz chegar ao conceito de sistemas de suporte baseados na web. A investigação destes tipos de sistemas é uma evolução natural da investigação já existente. Com o aparecimento das tecnologias web e da Web Intelligence, torna-se obvio que este será uma das áreas onde será necessário investigar. Computacional Web Intelligence A computação inteligente é uma sub-área da Inteligência Artificial que foca os aspectos computacionais da inteligência e dos sistemas inteligentes. Da mesma forma, Web Intelligence computacional (CWI) estuda o lado computacional da Web Intelligence [34]. O principal objectivo da CWI é estudar as teorias e técnicas da computação e explorar as suas implicações nos sistemas de informação web inteligentes (IWIS). Espera-se que a CWI tenha um grande impacto nos sistemas inteligentes de negócio na web. WIC-Hong Kong Research Centre Adaptative e-learning Environment Via Collaboration A importância do e-learning já à muito foi identificada e muitos sistemas on-line já foram construídos. Este projecto em Hong Kong tenta aplicar Pág. 16

17 filtros colaborativos para extrair informações dos registos do aproveitamento passado dos alunos, de forma a prever alguns exercícios a propor aos mesmos. Optimizing Web site Usability Este projecto tenta combinar o modelo orientado à tarefa de um site e os dados de navegação de um utilizador num site, de forma a obter um modelo probabilístico relacionado com as tarefas de navegação. WIC-India Research Centre Searching the Web Com o objectivo de medir a qualidade dos resultados dos motores de busca, foram introduzidos métodos subjectivos, baseados no feedback dos utilizadores. Estas medidas, juntamente com ferramentas de computação, como lógica de fuzzy e algortimos genéticos, são usados para melhorar os resultados produzidos pelos motores de busca. Os dados do feedback dos utilizadores é obtido sem esforços por parte dos mesmos, porque estes são recolhidos com base no comportamento dos utilizadores face aos resultados obtidos. Soft computing in web mining Esta area de invetigação visa a aplicação de lógica de fuzzy em web page clustering e retorno de informação, redes neuronais para web page clustering e personalização, algoritmos genéticos para optimizar a pesquisa na web e a apresentação de documentos, e análise com rough set para obter informações sobre associação em dados heterogéneos. WIC-Korea Research Centre Intelligente Web Information Extraction A extracção da informação da web adopta diferentes tecnologias dependendo do tipo dos documentos alvo. Para documentos web semiestruturados, os esquema wrapper induction tem sido o mais popular. Dois sistemas de extracção de informação da web foram implementados aplicando as técnicas de geração de wrappers: MORPHEUS e XTROS. Morpheus é um sistema de compras on-line que explora a geração de wrappers baseados em heurísticas. Xtros é um extratctor de informação de estado real que adopta técnicas de wrapper baseadas em conhecimento. Ambos os sistemas são aplicados ao domínio do comércio electrónico. Para os documentos não estrututados, são empregadas técnicas de processamento de linguagem natural. O Posie é um sistema de extracção de informação da web que foi desenvolvido usando múltiplas estratégias de aprendizagem, aprendizagem orientada ao utilizador e aprendizagem Pág. 17

18 separada do contexto. Este trabalho foi usado com sucesso em domínios como educação continua e oferta de emprego. Dialogue-based Web Information Retrieval Nesta área, os investigadores estão a desenvolver as técnicas de pergunta-resposta e gestão de diálogos que são aplicadas em information retrieval. SiteQ é um sistema de pergunta-resposta baseado na tacnologia da linguagem natural em information retrieval. O SiteQ consegue retornar uma resposta exacta para uma pergunta, em vez de uma lista de documentos, por incorporar tecnologias como processamento de linguagem natural, information retrieval, padrões de semântica do léxico, nos recursos linguísticos. Está a ser desenvolvido outro agente de information retrieval, que interage com sistemas de previsão de informação heterogéneos, como por exemplo sistemas de document retrieval, sistemas FAQ retrieval e sistemas de gestão de bases de dados relacionais. Como complemento, estão também a ser desenvolvidos métodos para integrar os agentes de information retrieval com interfaces de diálogo. Semantic Web Nesta área, existem dois projectos a ser desenvolvidos. O primeiro, Knowledge-based Distributed Visual Media Retrieval Framawork using Semantic Web, tem como objective recuperar e trocar dados de visual media, que estão distribuídos pela web, aplicando tecnologias Semantic Web na sua representação e recuperação. Estão a ser especialmente desenvolvidas as seguintes tecnologias: - Padronização de metadados - Classificação sistemática - Construção de ontologias para os dados de visual media - Protocolo de recuperação para pesquisa na web de dados de visual media Outro projecto que já foi desenvolvido com sucesso é o Semenatic Web Service Discovery System based on na Enhanced Matchmaking Algorithm. Um motor de busca de serviços web é implementado usando várias técnicas de Semantic Web e bases de dados. WIC-Mexico Research Centre Web Mining and Farming Neste projecto, os investigadores criaram um conjunto de ferramentas (ferramentas de gestão de conteúdos) e agentes para fazer manutenção de páginas web com o curriculum individual dos investigadores. Cada produto científico é mantido como um registo separado. Um servidor central recolhe Pág. 18

19 toda a informação das páginas individuais, e cria um índice. O objectivo é extrair a ontologia do curriculum de texto puro. A ideia deste projecto é trabalhar em medidas similares, mas entre documentos científicos. Agents in the Web Partilha de ontologias para serviços web. A tecnologia de agentes está a ser usada para facilitar o desenvolvimento de ambientes de serviços abertos e dinâmicos, para sistemas baseados na web. As ontologias são a peça fundamental na recuperação do conhecimento, partilha e reutilização de mecanismos usados na web ou pelos agentes. Agentes para a computação distribuída. Agentes autónomos podem, de forma espontânea, representar utilizadores, serviços web ou dispositivos disponíveis na Internet, o que se torna num meio ubíquo para a partilha de informação. Foi desenvolvida a framework SALSA, que permite implementar agentes simples para sistemas ubicomp. Estes agentes usam uma linguagem de comunicação expressiva baseada em XML, que disponibiliza protocolos para localizar e interagir com serviços web, mesmo quando o utilizador está desligado. Pág. 19

20 4. Web Intelligence (WI) 4.1 O que é? Web Intelligence é definida pela comunidade científica como uma nova direcção de investigação e desenvolvimento, que explora as regras fundamentais e o impacto prático da inteligência artificial e das tecnologias de informação para a próxima geração de sistemas, serviços e ambientes baseados na web. Segundo o [31], e aplicando uma definição simplista, WI explora a IA e as TI na web e Internet. É a chave o campo de investigação mais urgente das TI para o Business Intelligence. Conceptualmente existem quatro níveis distintos na WI: Level-4 Level-3 Level-2 Level-1 Application-level Ubiquitous computing and social intelligence utilities Knowledge-level Information processing and management tools Interface-level Multi-media presentation standards Internet-level Communications, infrastructure, and security protocols Application Support functions Hardware Internet-level (communication, infrastructure, and security protocol) A Web é vista como uma rede de computadores Sistemas de pré-carregamento dos dados da Web Consiste em processos de aprendizagem adaptativa, baseados na observação do comportamento dos utilizadores durante a navegação Interface-level (multimedia presentation standards) A Web é vista como um interface de interação Homem-Internet Interfaces Web Inteligentes Representações multimedia personalizadas Processamento de dados multi-modal Pág. 20