Modelamento da Imprecisão Temporal da Observação em Sistemas de Diagnóstico de Ambientes Distribuídos

Transcrição

1 Modelamento da Imprecisão emporal da Observação em Sistemas de Diagnóstico de Ambientes Distribuídos Volnys Borges Bernal ese de doutorado Depto. de Engenharia de Sistemas Eletrônicos Escola Politécnica da USP Orientador: Prof. Dr. Sergio akeo Kofuji

2 2 Agenda Y Motivação e objetivo Y Sistemas de correlação e diagnóstico Y O sistema SMARS Y Anomalias, sintomas e suas relações Y Modelagem do processo de observação Y Problemas temporais de uma observação Y A nova representação da observação Y Modelagem da observação Y Aglomerado de Intervalos Y Conclusão

3 Motivação e Objetivo

4 4 Motivação Y É impraticável a um operador, mesmo com a utilização de plataforma de gerenciamento, a identificação de problemas em um ambiente distribuído sem um sistema de apoio: Sistema de correlação Sistema de diagnóstico Y Mesmo sistemas de correlação e diagnóstico devem conviver com as seguintes situações: Defasagem temporal da observação Perda de observações Existência de ruídos

5 5 Motivação Rede de elecomunicações Redes de Dados Protocolo mais utilizado CMIP SNMP Agente de monitoração complexo simples Meio de transmissão utilizado no gerenciamento Principal método de obtenção de observações In-band Out-of-band notificação In-band amostragem periódica (polling) Observação típica não defasada defasada em até 1 ciclo defasada em até 2 ciclos Perda de observações raro freqüente

6 6 Motivação Y Principal problema para detecção de anomalias em redes de dados: Incerteza temporal da observação Alta taxa de ocupação de CPU Sintomas Serviço não responde t

7 7 Objetivo Y Principal Modelagem da imprecisão temporal da observação em sistemas de diagnóstico para sistemas distribuídos e Modelagem da incerteza decorrente da ausência de informações

8 Sistemas de Correlação de Eventos

9 9 Sistemas de correlação de eventos Y Correlação de eventos Principal objetivo Reduzir a quantidade de eventos transferidos aos operadores écnicas utilizadas Compressão, filtragem, supressão, intensificação,

10 Sistemas de Diagnóstico

11 11 Sistemas de diagnóstico Y Objetivo: Identificar o conjunto de causas raiz relacionadas às anomalias que se manifestam através de alguns comportamentos observáveis (sintomas)

12 12 Sistemas de apoio Operador Eventos Anomalias raiz Correlação de eventos Sistema de Gerenciamento arefa de Diagnóstico arefa de Reparo Monitoração Controle Infra-estrutura de comunicação + sistemas operacionais + aplicações

13 Sistemas de Diagnóstico: Sistema SMARS

14 14 Sistema SMARS Y Sistema de diagnóstico Y Apoiado por um sistema de correlação Y Utiliza a técnica de correlação por livro-código Y Atemporal Y Baseado em modelo (utiliza a linguagem MODEL para descrição do modelo)

15 Sistema SMARS 15 Gerador de Modelos Sistema de Descoberta Linguagem MODEL Modelos Gerador de livros-código opologia e configuração do ambiente Ambiente Coleção de livros-código (codebooks) Monitores alarmes Correlação Causas raiz

16 16 Sistema Smarts Modelo opologia + Configuração Grafo Causal Grafo de correlação bipartido Grafo de correlação bipartido S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 S12 S13 S14 S15 S16 S17 S18 S19 S20 Sintomas A1 A2 A3 A4 A5 A6 Anomalias

17 Sistema SMARS Grafo de correlação bipartido Matriz de correlação Matriz de correlação 17 Anomalia ok Sintoma A1 A2 A3 A4 A5 A6 S S S S S S S S S S S S S S S S S S S S

18 18 Sistema SMARS Matriz de correlação Anomalia Sintoma A1 A2 A3 A4 A5 A6 ok S Livro-código S S Anomalia Sintoma A1 A2 A3 A4 A5 A6 ok olerante à presença de ruído em 1 sintoma S S S S S S

19 19 Sistema SMARS Y Principais vantagens Indica com precisão a anomalia raiz (desde que as observações não sejam defasadas em fase e período) Automaticamente computa e atualiza as regras de correlação Extremamente rápido comparado a sistemas baseados em regras Resistente a ruído

20 20 Sistema SMARS Y Principais desvantagens rata somente falhas únicas Para realizar o correlacionamento todos os sintomas devem estar disponíveis Requer o completo conhecimento das anomalias antes que o livro-código seja computado Não suporta correlacionamento temporal Livro-código deve ser recompilado sempre que o ambiente for alterado Susceptível a observações defasadas!

21 Anomalias, sintomas e suas relações

22 22 Anomalias, sintomas e suas relações Y Classificação das relações causais Quanto à possibilidade de causar efeito Necessariamente causa Possivelmente causa Quanto ao retardo do efeito Início imediato Início retardado érmino imediato érmino retardado érmino indeterminado

23 23 Anomalias, sintomas e suas relações Y Relacionamento causal entre anomalias causa A7 A5 A6 causa causa causa causa A1 A2 A3 A4

24 24 Anomalias, sintomas e suas relações Y Relacionamento causal entre anomalias e sintomas Anomalia A Anomalia A Anomalia A Anomalias Sintomas Anomalias Sintomas Anomalias Sintomas causa causa causa Sintoma S1 Sintoma S2 Sintoma S2

25 25 Anomalias, sintomas e suas relações Y Relacionamento causal entre anomalias e sintomas Anomali a A Anomali a Anomalias D Sintomas Anomali a B Anomali a C Sintoma S1 Sintoma S2 Sintoma S3 Sintoma S4 Sintoma S5

26 Modelagem do processo de observação

27 27 Modelagem do processo de observação Y Visão tradicional do processo de obtenção de observações Agente Monitoração Gerente Mapeador em estados Observação Sistema de Diagnóstico Objetos Reais Objetos Gerenciados Amostragem ou notificações Objetos Intermediários valor bruto estado transição de estado

28 Problemas temporais de uma observação

29 29 Observação Y Problemas temporais (1) Observação defasada no tempo (2) Desconhecimento do estado atual de um objeto gerenciado (3) Relacionamento entre observações defasadas no tempo

30 30 (1) Observação defasada no tempo Não defasada Objeto Gerenciado Alarmes E Observação O(E) t Observação em até 1 ciclo Objeto Gerenciado Amostragem Observação P E O(E) t Defasada em até 2 ciclos A B Objeto Gerenciado Amostragem Observação Objeto Gerenciado Amostragem Observação P P E E O(E) O(E) t t

31 31 (2) Desconhecimento do estado atual Y Ocorre em: Observações defasadas Y Exemplo: Objeto gerenciado E Amostragem Observação O(E)??? t corrente t

32 32 (3) Relac. entre observações defasadas Y Não trivial Quando o valor de uma das observações for obtida por amostragem Y Devido a utilização de: Diferentes períodos de amostragem Diferentes fases de de amostragem

33 33 (3) Relac. entre observações defasadas Y Exemplo: A causa imediatamente Ex A causa imediatamente Ey O(X) defasada em até 1 ciclo O(Y) defasada em até 1 ciclo Anomalias Sintomas Ex Anomalia A Ey Objeto gerenciado X Amostragem de X Observação de X Px Ex O(Ex) Objeto gerenciado Y Ey?? Amostragem de Y Observação de Y Py O(Ey) t

34 A nova representação da observação

35 35 A nova representação da observação Y Visão do novo modelo do processo de obtenção de observações Agente Monitoração Gerente Mapeador em estados Modelador Observação Sistema de Diagnóstico Objetos Reais Objetos Gerenciados Amostragem ou notificações Objetos Intermediários Intervalos de tempo

36 36 A nova representação da observação Y Objetivo: Representação da localização temporal Explicitar as incertezas temporais Y Observação é composta por Intervalos de possibilidade e certeza intervalo contendo o momento provável da transição de estado Intervalo de certeza da ocorrência do estado Intervalos de incerteza período com desconhecimento do estado intervalos com ausência de monitoração

37 37 A nova representação da observação Y Intervalos definidos IC intervalo de Certeza IPI Intervalo de Possibilidade de Início IP Intervalo de Possibilidade de érmino II Intervalo de Incerteza Observação IPI(S1) IC(S1) IP(S1) t

38 Modelagem da observação Intervalos de Possibilidade e Certeza

39 39 Intervalos de possibilidade e certeza Y Observação não defasada Objeto Gerenciado E Eventos assíncronos Objeto Intermediário Observação modelada O(E) IC(E) i(e)= i(o(e)) t(e)=t(o(e)) t Agente Gerente Monitoração Mapeador em estados Modelador Observação Sistema de Diagnóstico Objetos Reais Objetos Gerenciados Objetos Intermediários

40 40 Intervalos de possibilidade e certeza Y Observação defasada em até 1 ciclo Objeto Gerenciado E Amostragem Objeto Intermediário P O(E) Observação modelada IPI(E) IC(E) IP(E) i(e) i(o(e)) t(e) t t(o(e)) Agente Gerente Monitoração Mapeador em estados Modelador Observação Sistema de Diagnóstico Objetos Reais Objetos Gerenciados Objetos Intermediários

41 41 Intervalos de possibilidade e certeza Y Observação defasada em até 2 ciclos Objeto Gerenciado E Amostragem Objeto Intermediário P O(E) Observação modelada IPI(E) i(e) i(o(e)) IC(E) IP(E) t(e) t t(o(e)) Agente Gerente Monitoração Mapeador em estados Modelador Observação Sistema de Diagnóstico Objetos Reais Objetos Gerenciados Objetos Intermediários

42 42 Intervalos de possibilidade e certeza Y Utilização da completude do conjunto de estados Objeto Gerenciado N A N A N Amostragem Objeto Intermediário O(N) O(A) O(N) O(A) O(N) Observação modelada IC(N) IP(N) IPI(A) IC(A) IP(A) IPI(N) IC(N) IP(N) IPI(A) IP(A) IPI(N) IC(N) t

43 Modelagem da observação Intervalos de Incerteza

44 44 Intervalos de Incerteza Y Representa o intervalo de tempo no qual não é conhecido o estado do objeto gerenciado Y Causas (1) Falha na monitoração (2) Proximidade ao instante corrente (3) Início do processo de monitoração

45 Intervalos de incerteza: (1) Falha na monitoração 45 Y Observação não defasada Objeto Gerenciado Notificação Comunicação E Falha de com. com agente Objeto Intermediário O(E)?? O(E) Observação modelada IC(E) Incenteza IC(E) t

46 Intervalos de incerteza: (1) Falha na monitoração 46 Y Observação defasada em até 1 ciclo Objeto Gerenciado Amostragem E Objeto Intermediário O(E)?? O(E) Observação modelada IC(E) Incenteza IC(E) p -P p p + P t

47 Intervalos de incerteza: (1) Falha na monitoração 47 Y Observação defasada em até 2 ciclos Objeto Gerenciado E Amostragem E E E * * E Objeto Intermediário O(E)?? O(E) Observação modelada IC(E) II IC(E) p -2P p -P p p + P p + 2P t

48 Intervalos de incerteza: (2) Proximidade ao instante corrente 48 Y Observação defasada em até 1 ciclo Objeto Gerenciado Amostragem P E empo corrente = c1 Objeto Intermediário O(E) Observação modelada IC(E) IPI(E) II u c1 t

49 Intervalos de incerteza: (2) Proximidade ao instante corrente 49 Y Observação defasada em até 1 ciclo empo corrente = c2 = c1 + P Objeto Gerenciado Amostragem P E Objeto Intermediário O(E) Observação modelada IC(E) II c1 u c2 = c1 + P t

50 Intervalos de incerteza: (2) Proximidade do instante corrente 50 Y Observação defasada em até 2 ciclos Objeto Gerenciado Amostragem P E empo corrente = c1 Objeto Intermediário O(E) Observação modelada IC(E) II p u c1 t

51 Intervalos de incerteza: (3) Início do processo de monitoração 51 Y Observação defasada em até 1 ciclo Objeto Gerenciado Amostragem E Objeto Intermediário Observação modelada?? II O(E) IC(E) i A1 A2 A3 A4 t

52 Intervalos de incerteza: (3) Início do processo de monitoração 52 Y Observação defasada em até 2 ciclos Objeto Gerenciado Amostragem Objeto Intermediário E * E E E?? O(E) Observação modelada II IC(E) i A1 A2 A3 A4 t

53 Aglomerado de Intervalos

54 54 Aglomerado de intervalos Y Objetivo Representar a ocorrência de um estado em um objeto gerenciado utilizando os intervalos de tempo IPI, IC, IP e II

55 55 Aglomerado de intervalos Y Exemplo: Observação defasada em até 1 ciclo Objeto Gerenciado N 1 A 1 N 2 A 2 Amostragem Objeto Intermediário O(N ) 1 O(A 2 ) O(N ) 2?? O(A ) 2 cluster(n 1 ) II IC(N 1 ) IP(N 1 ) cluster(a 1 ) IPI(A 1 ) IP(A 1 ) cluster(n 2 ) cluster(a 2 ) IC(A 1 ) pontual IPI(N 2 ) IC(N 2 ) II II IC(A 2 ) II início t

56 56 Aglomerado de intervalos Y Exemplo: Observação defasada em até 2 ciclos Objeto Gerenciado N 1 A 1 N 2 Amostragem Objeto Intermediário?? O(N 1 ) O(A 1 ) O(N 2 ) cluster(n 1 ) II IC(N 1 ) IP(N 1 ) cluster(a 1 ) IPI(A 1 ) IP(A 1 ) cluster(n 2 ) IPI(N 2 ) IC(N 2 ) II t

57 57 Aglomerado de intervalos Y Inferência A Anomalias Sintomas Necessariamente e imediatamente causa S S IPI(S1) IC(S1) IP(S1) A IPI(A) IC(A) IP(A) t

58 58 Aglomerado de intervalos Y Intersecção entre aglomerados Anomalias Sintomas S1 A S2 S1 IPI(S1) IC(S1) IP(S1) S2 IPI(S2) IC(S2) IP(S2) A = S1 S2 IPI(A) IC(A) IP(A) t S1 IPI(S1) IC(S1) IP(S1) S2 IPI(S2) IC(S2) IP(S2) A = S1 S2 Inconsistente! t

59 Conclusão

60 60 Conclusão Y Redes de dados possuem características distintas das redes de telecomunicações em relação ao gerenciamento Y écnicas de correlação, empregadas extensivamente em redes de telecomunicações não são tão eficientes em redes de dados Y Informações temporais são descartadas em sistemas tradicionais de diagnóstico

61 61 Conclusão Y Informação temporal contida na observação pode ser utilizada para discriminar hipóteses em um sistema de diagnóstico. Isto é útil Quando observações possuem diferentes períodos e fase de amostragem Quando da presença de múltiplas anomalias Y Porém, em redes de dados, a informação temporal contida em uma observação é imprecisa. Daí a importância de explicitar tais imprecisões na observação.

62 62 Conclusão Y Este trabalho Modelou o processo de obtenção de informações em um sistema distribuído Definiu novos termos e propriedades relacionados à observação, não encontrados na literatura Propôs uma forma de modelagem da observação, explicitando suas imprecisões temporais Exemplificou como estas observações podem ser utilizadas em um sistema de diagnóstico temporal

63 63 Conclusão Y Y Y Observação gerada por sistemas tradicionais possui o problema da imprecisão temporal, intrínseco à dinâmica do processo de observação Proposta de modelagem da observação: Vantagens Pode ser utilizado em sistemas de diagnóstico temporal e atemporal Permite ao sistema de diagnóstico o conhecimento das imprecisões temporais e incertezas de observação Desvantagem Processo deve estar integrado ao sistema coletor A modelagem da observação é o primeiro passo para concepção de um sistema de diagnóstico temporal

64 Contribuições

65 65 Contribuições Y Modelagem do processo de observação em sistemas distribuído Definição de objeto intermediário ipos de observação Classificação das observações em Não defasadas Defasadas em até 1 ciclo Defasadas em até 2 ciclos

66 66 Contribuições Y Proposta de modelagem temporal da observação Definição de uma forma de observação que incorpora informação a respeito da imprecisão temporal (IPI, IC, IP, II) Y Modelos reusáveis para a representação de um sistema distribuído [Bernal 1999b] Y No grafo causal, foi explicitando: O plano de observações O plano de anomalias

67 rabalhos Futuros

68 68 rabalhos Futuros Y Modelagem da observação: formalização matemática de agrupamento de intervalos e operações sobre tais agrupamentos Y Pesquisa de outros métodos de diagnóstico temporal Y Comparação efetiva de sistemas de diagnóstico atemporal e temporal em relação a velocidade e precisão de diagnóstico Y Uso desta técnica de modelagem em um sistema de produção: diagnóstico de falhas em um cluster de processamento paralelo (em andamento)

69 Obrigado