Data Mining em Grafos. Adriano Sérgio Reichardt Bruno Fortes dos Santos Diorges Filipe Lohn

Transcrição

1 UNIVERSIDADE FEDERAL DE SANTA CATARINA - UFSC CENTRO TECNOLÓGICO - CTC DEPARTAMENTO DE INFORMÁTICA E ESTATÍSTICA - INE BACHARELADO EM SISTEMAS DE INFORMAÇÃO INE5644 DATA MINING Prof. Luis Otavio Alvares Data Mining em Grafos Adriano Sérgio Reichardt Bruno Fortes dos Santos Diorges Filipe Lohn Florianópolis, 14 de Novembro de 2012

2 Introdução Nos últimos anos, houve um aumento significativo de produção de dados não estruturados e isso criou uma necessidade de mineração destes dados. As técnicas de mineração são usadas para extrair regras de conhecimento de um conjunto de dados brutos, utilizando o conhecimento obtido para realizar previsões, detectar anomalias, reconhecer padrões, bem como diversos outros objetivos. Neste processo de mineração, podemos extrair conhecimento não só de dados tabulares, mas também de dados estruturados de formas diferentes como a representação em grafos. Principalmente na internet, há uma grande variedade de dados que podem ser representados como grafos como, por exemplo, ligações entre participantes de redes sociais, ligações entre coautores e coparticipantes em trabalhos acadêmicos, destinatários e remetentes de s, além de ligações entre hiperdocumentos. Algoritmos de mineração em grafos devem ser capazes de tomar decisões baseados em similaridade e dissimilaridade, por exemplo, decidir se um determinado conjunto de dados é parecido ou não a um protótipo, descobrir em um conjunto de dados qual é o par de dados mais próximo dentro de um espaço X, ou ainda para descobrir se a distancia de um dado e protótipo é maior que um determinado valor. Sendo assim, para indicar a similaridade e dissimilaridade, os algoritmos de mineração devem ser baseados em medidas de distância. Propriedades e medidas de distância No que diz respeito às medidas de distância, os algoritmos de mineração devem seguir algumas propriedades. i A distância d entre dois grafos G1 e G2 deve ser maior ou igual a zero, devendo ser igual a zero se G1 = G2. ii A distância deve ser simétrica: d (G1,G2) = d (G2,G1). iii A desigualdade triangular deve existir: d(g1,g3) d(g1,g2)+d(g2,g3). Medidas mais comuns: Distância de edição: Mede distâncias entre árvores e string, possui operadores de adição (inserção), deleção e alteração, essas operações tem um custo associado que é diretamente proporcional a distância entre G1 e G2, é um método simples, porém os custos são determinados a priori. Localização do maior subgrafo: Esse método localiza o maior subgrafo comum entre dois grafos, o tamanho do subgrafo encontrado é proporcional à distância entre os grafos utilizados.

3 Categorias de Subgrafos Geral: Um subgrafo de um grafo G é um grafo cujo conjunto de vértices é um subconjunto do conjunto de vértices G e o conjunto de arestas é um subconjunto do conjunto de arestas de G. Ou seja, todos os vértices e arestas do subgrafo, existem no grafo original: Subgrafo Induzido H é um subgrafo induzido de G se ele tem todas as arestas que aparecem em G sobre o mesmo conjunto de vértices. Subgrafo Conexo Todos os vértices são ligados a cadeia, não existem vértices soltos no grafo.

4 Árvore Ordenada Árvores em Grafos acontece quando o grafo não possui ciclos, por adição de arestas se cria um ciclo e somente um. Na Árvore Ordenada, a ordem dos descendentes de cada nó é relevante. Árvore Desordenada Na Árvore Desordenada, a ordem dos descendentes de cada nó não é relevante.

5 Caminho Em teoria de grafos, um caminho em um grafo é uma sequência de vértices tal que de cada um de seus vértices há uma aresta para o próximo vértice da sequência. Isomorfismo em grafos Dois grafos G1=(V1,A1) e G2=(V2,A2) dizem-se isomorfos se existirem correspondências bijectivas respectivamente entre os conjuntos de vértices V1 e V2, e entre os conjuntos de arestas A1 e A2, tais que: dada uma aresta de G1 e a sua imagem em G2 as respectivas extremidades estão em correspondência bijectiva, dado um par de vértices em G1 e o par imagem em G2 as arestas que ligam o primeiro par estão em correspondência bijectiva com as arestas que unem o segundo par. Invariantes de Grafos e Nauty Invariantes são valores do grafo que ajudam no problema de isomorfismo, e.g. número de vértices, grau dos vértices e o número de laços no grafo. Se dois grafos são isomorfos então eles têm valores de invariantes idênticos. Nauty (No AUTomorphisms, Yes?) é um programa para testar isomorfismo em grafos, basicamente ele extrai as invariantes de dois grafos e as compara, se forem idênticas então se diz que existe isomorfismo entre esses grafos.

6 Medidas de mineração Como já é sabido, na mineração de dados, há a necessidade de se extrair somente os dados necessários para sanar a informação da qual queresmo obter. Para isto são necessárias tomar algumas medidas. Estas medidas depentem diretamente dos objetivos aos quais a pesquisa será direcionada e também da limitação estratégica da busca, colocando assim os delimitadores de até onde o algoritmo\extrator pode ir. Uma das principais medidas de mineração é a medida de Suporte (support), que é calculada com a seguinte equação dentro do contexto do problema que se utiliza de grafos. sup (Gs) = nº de grafos que contém Gs em D nº total de Grafos em D Com o resultado do suporte, se utilizam na análise as márgens (Máxima e mínima) para verificação dos dados, chamadas de suporte máximo e suporte mínimo. Outras medidas que também podem ser utilizadas em uma máquina de aprendizado (machine learning) são: entropia de informação (information entropy); ganho de informação (information gain); gini-index; minimum description length (MDL). Os referidos métodos de busca são classificados analisando sua complexidade de busca: heurísticos ou completos. E também de acordo com seu encontro de dados: direto ou indireto, analizando-se a semelhança dos aspectos dos grafos que são isomorfos. Algumas estratégias de solução para análise destes dados. Busca gulosa

7 Trata-se de uma busca heurística, ou seja, buscas por aproximação e análise dos dados. E posteriormente é realizado o casamento (análise) direto(a) destes dados. A busca gulosa pode ser do tipo: o DFS (depth-first search) - em portugês, busca de primeira-profundidade, usado para realizar uma buscanuma árvore, estrutura de árvore ou grafo, o algoritmo começa num nó raiz (selecionando algum nó como sendo o raiz, no caso de um grafo) e explora tanto quanto possível cada um dos seus ramos, antes de retroceder. o BFS ( breadth-first search) - em português, busca de primeira-largura, algoritmo de busca em grafos utilizado para realizar uma busca num grafo e estrutura de dados do tipo árvore. Intuitivamente, você começa pelo vértice raiz e explora todos os vértices vizinhos. Então, para cada um desses vértices mais próximos, exploramos os seus vértices vizinhos inexplorados e assim por diante, até que ele encontre o alvo da busca. Os trabalhod pioneiros foram de: Cook e Holder com o algoritmo SUBDUE e Yoshida e Motoda com o algoritmo GBI. GBI - Graph Based Induction Método de indução de grafos, que visa dividir um grafo em um ou vários subgrafos sendo eles rotulados, orientados ou não. Exemplos de indução de grafos:

8 Programação indutiva lógica (ILP) Subcampo da aprendizagem de máquina que usa lógica de programação como uma representação uniforme para exemplos, conhecimento de fundo e hipóteses. Tem como principal vantagem o conhecimento prévio antes de executar o algoritmo.

9 Como principal desvantagem apresenta o demasiado espaço de busca que muitas vezes acaba atrapalhando se não for delimitado antes do início do algorítmo.; Um dos seus principais métodos de utilizaçãio é a predição de carcinogênese (formação de um cancer) em células sadias. Algumas implementações conhecidas pela comunidade: - PROGOL, Golem, Aleph, FOIL, Claudien, Lime, ACE, DMax, Warmr, RSD, Mio, DL- Learner, MIS, Inthelex. Base de dados indutiva Algoritmo que se utiliza de regras indutivas, relações ou padrões que devem ser gerados previamente ao uso do algoritmo. Estes dados são armazenados numa base de dados para uso posterior. Principal vantagem: rápida mineração dos dados. Principal desvantagem: grande quantidade de memória e processamento gastos na realização dos cálculos de indução. Criadores: Raedt e Kramer. Principal algorítmo: MolFea. Teoria matemática dos grafos Esta estratégia minera todas as categorias de subgrafos independente de sua relação. Os Grafos sem variação fornecem um importante critério matemático para reduzir de maneira eficiente o espaço de busca das estruturas de grafo alvo em algumas abordagens. A maioria dos demais algoritmos (apresentados acima) usa inteligência artificial, mas alguns em específico necessitam de busca aprofundada com teoria matemática. Função Kernel A função Kernel define alguma similaridade entre dois grafos. Muitas invariantes são coletadas e delas criam-se os vetores de característica. Quando a dimensão é muito grande aplica-se uma função kernel. A função Kernel é aplicada diretamente nos núcles do processador, tentando assim agilizar a velocidade de processamento dos grafos. A principal desvantagem é a de não ser computada de maneira eficiente devido a complexidade ou distância dos vetores escolhidos.

10 Conclusão Mineração em grafos é uma área em crescente desenvolvimento, devido ao grande numero de pesquisas, a evolução dos técnicas de mineração tem sido tem sido aceleradas. Como praticamente todas as relações entre objetos podem ser representadas utilizando grafos, essa facilidade de mapeamento faz com que essa estrutura continue ainda sendo bastante utilizada no futuro, além disso, como as limitações de hardware ficam cada vez menores, o processo de extração de informação tende a ser mais rápido e efetivo. Referências Teoria Geral dos Grafos. Disponível em < Conceitos Básicos. Disponível em < Exercícios sobre Grafo. Disponível em: < A Survey of Kernels for Structured Data. Disponível em: < State of the Art of Graph-based Data Mining. Disponível em: < Busca Gulosa. Disponível em: < Regras de associação em mineração de dados. Disponível em: < Isomorfismo de grafos. Disponível em: < NAUTY -- Graph Isomorphism. Disponivel em: <