PLANO DE ESTUDOS PARA DOUTORAMENTO EM ENGENHARIA INFORMÁTICA E DE COMPUTADORES CLÁUDIA M. ANTUNES

Transcrição

1 UNIVERSIDADE TÉCNICA DE LISBOA INSTITUTO SUPERIOR TÉCNICO PLANO DE ESTUDOS PARA DOUTORAMENTO EM ENGENHARIA INFORMÁTICA E DE COMPUTADORES CLÁUDIA M. ANTUNES Orientação Professor Doutor Arlindo L. Oliveira Professor Doutor João Pavão Martins Junho de 2002

2 1. Resumo A descoberta de informação em dados com dependências temporais é um problema particular da extracção de informação em bases de dados, uma vez que a natureza sequencial dos dados aumenta significativamente a complexidade do processo. Na última década têm surgido algumas abordagens a este problema, mas os resultados ainda não são satisfatórios, nomeadamente nos modelos utilizados para representar os dados, na medida em que, na maioria dos casos, não facilitam quer a descoberta dos comportamentos mais frequentes, quer a previsão dos próximos eventos com base no comportamento já registado. O presente trabalho visa a definição de novos processos e algoritmos para a extracção de informação em bases de dados com dependências temporais, recorrendo a métodos de inferência gramatical e à adaptação de algoritmos de descoberta de padrões. 2. Definição do Problema Com a proliferação de grandes quantidades de dados armazenados electronicamente, o interesse pela extracção de informação, previamente desconhecida e potencialmente útil feita a partir dos dados registados, explodiu na última década. Esta extracção é vulgarmente designada por data mining ou Knowledge Discovery from Databases (KDD), e o seu objectivo primordial é obter descrições compactas ou padrões dos dados registados nas bases de dados. Por dados entendem-se os factos que descrevem o estado de uma entidade, por padrões o conjunto de dados frequentes, e por informação o conjunto de padrões subjacentes aos dados. Um problema ainda não resolvido no domínio do data mining é o processamento de dados com dependências sequenciais, que se revelam normalmente, como sequências que dependem de uma variável, que tanto pode ser o tempo como outra grandeza física. Restringindo-nos a sequências que dependem do tempo, estas podem ser de dois tipos: séries temporais (time series) em que os elementos são valores num domínio contínuo, ou sequências temporais em que os elementos pertencem a um determinado alfabeto. Na verdade, as técnicas de data mining tradicionais tendem a tratar estes dados como colecções não ordenadas de acontecimentos, desprezando a sua informação temporal. Estas técnicas centram-se tipicamente na análise dos dados existentes dentro das transacções (intratransactional analisys), em vez de se centraram na comparação entre transacções (intertransactional analisys). Instituto Superior Técnico, Junho de 2002 Página 2

3 As grandes dificuldades no processamento de dados com dependências temporais surgem a quatro níveis diferentes: na escolha dos modelos para a sua representação, na definição de medidas de semelhança entre instâncias de um modelo, na definição de algoritmos para lidar com o modelo seleccionado e respectivas medidas de semelhança, na aplicação dos modelos e algoritmos a problemas reais. As sequências temporais surgem em inúmeros domínios, desde a engenharia, até à medicina ou ao domínio financeiro. No âmbito da engenharia, o problema surge por exemplo na monitoria de valores recolhidos por sistemas baseados em sensores, como é o exemplo do controlo de alarmes em gestão de redes ou na prospecção de pretróleo. Na medicina, os electrocardiogramas, os electroencefalogramas ou o acompanhamento da evolução do estado de um doente resultante da administração de um qualquer tratamento, apresentam-se também como problemas de natureza temporal. No domínio financeiro, a previsão da evolução dos mercados financeiros foi durante décadas o exemplo mais significativo, mas nos últimos anos as aplicações no âmbito da análise de vendas de produtos ou na análise do comportamento dos clientes tornaram-se essenciais para a gestão do negócio. 3. Revisão da Literatura ou Trabalho Relacionado A definição de algoritmos para lidar com dados com dependências temporais passa necessariamente pela escolha de um modelo de representação dos dados adequado. Esta necessidade evidencia-se sobretudo no caso das séries temporais, como é o caso das séries financeiras ou electrocardiogramas. Repare-se que a escolha do modelo condiciona em grande medida a definição de medidas de semelhança eficientes, e consequentemente a eficiência e eficácia dos algoritmos propostos. O levantamento dos vários modelos para representação de sequências de eventos, conduziu à identificação de quatro categorias fundamentais de formas de representação: representações contínuas no domínio do tempo, métodos baseados em transformações contínuas, métodos baseados em discretização e modelos generativos. As três primeiras categorias identificadas aplicam-se com naturalidade a séries temporais, visando a redução das flutuações sem significado. Uma das técnicas mais usadas para transformação dos dados é a utilização da transformada de Fourier, traduzindo os dados do domínio do tempo para o domínio da frequência facilitando deste modo a comparação entre duas sequências. Em termos de métodos de discretização, várias têm sido as abordagens Instituto Superior Técnico, Junho de 2002 Página 3

4 propostas, destacando-se os métodos baseados em quantização vectorial. Os modelos generativos, por outro lado, aplicam-se com maior facilidade a sequências temporais. Apesar de se tratar de modelos com um potencial consideravelmente elevado face aos restantes, a sua utilização no domínio do data mining é ainda reduzida. As suas potencialidades revelam-se sobretudo na facilidade de efectuar tarefas de classificação ou de previsão, depois do modelo estar definido. Repare-se ainda que um modelo generativo permite a representação dos vários padrões subjacentes aos dados num modelo compacto, e apto a gerar novas instâncias com características/comportamentos semelhantes. Exemplos de modelos generativos já utilizados são as expressões regulares (muitas vezes expressas por autómatos finitos) ou os Modelos de Markov. Um tipo de modelo ainda pouco explorado são as gramáticas livres de contexto. A utilização deste tipo de modelo é vantajosa na medida que permite uma maior expressividade e muitas vezes uma forma mais natural de formular o modelo [Sakakibara 1997]. Uma descrição das várias abordagens ao problema da representação de dados de natureza temporal pode ser encontrada em [Antunes 2001]. Extracção de Informação O objectivo final da extracção da informação em dados com dependências temporais é prever o comportamento ao longo do tempo das entidades em causa. No caso dos dados representados como sequências discretas, esta previsão torna-se mais fácil pela análise do comportamento de instâncias semelhantes, assumindo que estes se comportam de forma idêntica na maioria dos casos. Assim, uma forma de abordar o problema de previsão em dados com dependências temporais consiste na detecção de padrões de comportamento, isto é, na descoberta de sequências de eventos frequentes sequential pattern mining. A abordagem principal à descoberta de padrões entre dados com dependências temporais consiste na adaptação do algoritmo tradicional de descoberta de regras de associação Apriori, ao caso particular deste tipo de dados. Alguns exemplos são os algoritmos AprioriAll [Agrawal 1995], GSP [Srikant 1996] e SPIRIT [Garofalakis 1999]. De uma forma sucinta, estas abordagens consistem em iterativamente descobrir os padrões ou sequências frequentes existentes em bases de dados. Por padrões ou sequências frequentes entendem-se as sequências que têm suporte mínimo, ou seja que ocorrem um número de vezes superior a um valor mínimo aceitável. Mais concretamente, em cada passo o algoritmo gera um conjunto de sequências com k elementos (C k ). Cada sequência deste conjunto designa-se por candidato, em seguida cria-se um novo conjunto (F k ) com todos os elementos de C k frequentes, ou seja Instituto Superior Técnico, Junho de 2002 Página 4

5 F k coincide com o conjunto de sequências de tamanho k frequentes. No passo seguinte, o conjunto C k+1 será gerado com base nos elementos de F k, uma vez que se uma sequência de tamanho k não é frequente, nenhuma sua super-sequência será frequente propriedade da anti-monotonia. O algoritmo termina quando F k não tiver elementos. A verificação da frequência de um candidato é a tarefa que consome mais tempo, na medida em que é necessário percorrer toda a base de dados para cada um dos candidatos. Existem duas possíveis abordagens para diminuir o tempo de descoberta dos padrões: desenvolver algoritmos capazes de evitar a geração de candidatos ou simplesmente diminuir significativamente o número de candidatos gerados. Os algoritmos SPADE [Zaki 1998] e PrefixSpan [Pei 2001] são dois exemplos de algoritmos que evitam a geração de candidatos. Contudo a simplicidade dos métodos baseados no Apriori é substituída por uma complexidade significativa. Um problema normalmente associado aos algoritmos de descoberta de padrões, em geral, e de padrões sequenciais, em particular, é a falta de foco do processo e falta de controlo por parte do utilizador, que se traduz na maioria das vezes numa proliferação de padrões descobertos. Este problema torna-se mais grave quando o utilizador possui à partida algumas expectativas sobre os dados. Uma abordagem interessante a este problema é a família de algoritmos SPIRIT (Sequential Pattern Mining with Regular Expressions) proposta em [Garofalakis 1999]. Estes algoritmos são uma adaptação do Apriori ao caso sequencial, e usam expressões regulares para restringir a geração de candidatos. Deste modo, só são descobertos padrões que satisfazem as expectativas do utilizador, o que reduz significativamente o número de padrões descobertos, e simultaneamente, o tempo gasto na descoberta, uma vez que o número de candidatos gerados é menor. Contudo, dado que a maioria das expressões regulares não satisfazem a propriedade da anti-monotonia, o processo de geração de candidatos é dificultado. Por outro lado, o poder expressivo das linguagens regulares não é suficiente para descrever alguns tipos de padrões, como por exemplo padrões que envolvam a contagem da ocorrência de determinados eventos. 4. Objectivos e Contribuições Este trabalho enquadra-se no domínio do data mining em dados com dependência temporal, e tem como objectivo definir e aplicar um novo processo de extracção de informação em dados deste tipo. Instituto Superior Técnico, Junho de 2002 Página 5

6 Objectivamente, o novo processo consistirá num ciclo, envolvendo três fases distintas: 1. A descoberta de padrões através da utilização de algoritmos reconhecidos neste âmbito; 2. A inferência de Gramáticas Livres de Contexto, como modelos para representar os padrões descobertos no passo anterior; 3. A adaptação dos algoritmos utilizados em 1 de modo a focar o processo de descoberta de acordo com o modelo de suporte dos padrões descobertos em 2. Figura 1 Esquema geral do processo de extracção de informação Com o novo processo pretende-se: Inferir modelos simples mas suficientemente expressivos para representar a informação descoberta; Conduzir o processo de descoberta de padrões de acordo com as expectativas do utilizador; Reduzir o número de padrões descobertos; Permitir a utilização daqueles modelos na previsão de comportamentos. 5. Metodologia O presente trabalho será desenvolvido pela exploração e adaptação de algoritmos de descoberta de padrões sequenciais e de métodos de inferência gramatical, de modo a representar a informação subjacente aos dados registados com modelos simples mas expressivos, que facilitem a aplicação de outras operações de descoberta de informação, como a previsão do comportamento das entidades. Em concreto, o trabalho está estruturado em 4 tarefas diferentes (apresentadas em maior detalhe na secção de Planeamento do Trabalho): Instituto Superior Técnico, Junho de 2002 Página 6

7 1. Estudo e implementação de algoritmos de descoberta de padrões (sequential pattern mining). 2. Estudo, adaptação e definição de métodos de inferência de Gramáticas Livres de Contexto, determinísticas e estocásticas, como modelos para representar os padrões descobertos em Adaptação dos algoritmos identificados em 1, de modo a conduzir o processo de descoberta com os modelos inferidos em Teste do processo proposto. 6. Critérios de Avaliação O sucesso do trabalho poderá ser medido através da comparação dos resultados obtidos pelo novo processo quando aplicado a problemas, face à utilização isolada dos algoritmos existentes actualmente quando aplicados ao mesmo problema. Esta comparação será efectuada em duas vertentes: Avaliação da expressividade dos modelos inferidos; Avaliação do desempenho dos algoritmos guiados pelos modelos inferidos, quanto ao tempo de execução, o foco do processo e o número de padrões descobertos. Por último, pretende-se que o novo processo, seja aplicado a problemas reais da sociedade portuguesa. Como tal será desenvolvido o protótipo de um sistema capaz de extrair informação a partir de dados registados electronicamente. Algumas possibilidades de áreas de aplicação do protótipo são: a análise das taxas de aprovação nas disciplinas do IST ao longo dos anos, a detecção de fraudes no sistema de Segurança Social nacional, a análise de comportamentos dos clientes de alguma empresa de retalho nacional e ainda a extracção de padrões com significado biológico em sequências da área da bioinformática. 7. Planeamento do Trabalho A duração prevista para a elaboração do trabalho descrito nesta proposta é de quatro anos (dos quais já passaram cerca de ano e meio), e deverá ser conduzido de acordo com a seguinte calendarização: 1. Levantamento de trabalho relacionado (6 meses já efectuado) a. Formas de representação e medidas de semelhança em sequências temporais b. Algoritmos de extracção de padrões c. Métodos de inferência gramatical 2. Definição da metodologia e objectivos (3 meses já efectuado) 3. Implementação do processo de extracção de informação (18 a 24 meses) a. Desenho do processo (já efectuado) Instituto Superior Técnico, Junho de 2002 Página 7

8 b. Implementação dos algoritmos de descoberta de padrões (já efectuado) c. Adaptação dos algoritmos em b) de modo a serem guiados por gramáticas livres de contexto (efectuado em parte) d. Definição, adaptação e implementação de algoritmos de inferência gramatical a partir dos padrões descobertos. 4. Verificação e validação do sistema de extracção de informação (9 meses) a. Teste aos algoritmos em problemas controlados b. Teste e adaptação do sistema a casos reais i. Estudo do domínio ii. Estruturação dos dados para aplicação dos algoritmos. iii. Avaliação dos resultados obtidos. 5. Escrita da tese (6 a 9 meses) 8. Referências [Agrawal 1995] R. Agrawal, R. Srikant: Mining sequential patterns. Proc. Int. Conf. Data Engineering (ICDE 95), pp Taipei, Taiwan [Antunes 2001] C.M. Antunes, A.L. Oliveira: Temporal Data Mining: an overview. Workshop on Temporal Data Mining in Knowledge Discovery and Data Mining (KDD 01). San Francisco, USA [Garofalakis 1999] Minos N. Garofalakis, Rajeev Rastogi, Kyuseok Shim: SPIRIT: Sequential Pattern Mining with Regular Expression Constraints, in Proc. Int. Conf on Very Large Databases (VLDB 99), pp Edinburgh, Scotland [Pei 2001] J. Pei et al., PrefixSpan: Mining Sequential Patterns Efficiently by Prefix-Projected Pattern Growth, Proc. 17th Int l Conf. Data Engineering (ICDE 2001), Heidelberg, Germany, [Sakakibara 1997] Y. Sakakibara, Recent Advances of Grammatical Inference, Theoretical Computer Science, vol. 185, pp , [Srikant 1996] R. Srikant and R. Agrawal, Mining Sequential Patterns: Generalizations and Performance Improvements, Proc. 5th Int. Conf. Extending Database Technology (EDBT 96), pp. 3-17, Berlin: Springer, [Zaki 1998] M. Zaki, Efficient Enumeration of Frequent Sequences, Proc. Int l Conf. Information and Knowledge Management (CIKM 98), Lisboa, 12 de Junho de 2002 O candidato, Cláudia Martins Antunes Assistente do Departamento de Engenharia Informática, Instituto Superior Técnico Instituto Superior Técnico, Junho de 2002 Página 8

9 O Orientador, Arlindo Manuel Limede de Oliveira Professor Associado do Departamento de Engenharia Informática, Instituto Superior Técnico O Co-Orientador, João Emílio Segurado Pavão Martins Professor Catedrático do Departamento de Engenharia Informática, Instituto Superior Técnico Instituto Superior Técnico, Junho de 2002 Página 9