Gerência de Redes: Consulta e Análise de Registros de Alarme Usando OLAP

Transcrição

1 Gerência de Redes: Consulta e Análise de Registros de Alarme Usando OLAP Este tutorial apresenta o uso de OLAP (On-Line Analytical Processing) para análise de grandes bases de dados com a finalidade de classificar os dados antes da etapa de processamento. A sua utilização é apresentada através de um exemplo de gerência de redes usando os registros de alarmes. A etapa inicial consiste na análise da base de dados de registros de alarmes e seus atributos. Discute-se a técnica OLAP e mostra-se, usando diretamente o MS Excel, como construir e explorar em cubo OLAP. Cristina Yurika Konatu Obata Adorni Analista de Sistemas graduada em Análise de Sistemas pela PUC de Campinas. Especialista em Desenvolvimento de Sistemas. Conta com mais de 25 anos de experiência em desenvolvimento de sistemas para a área de telecomunicações e energia, desenvolvendo atividades relacionadas a especificação, desenvolvimento, teste e integração de sistemas de gerência de redes, além de coordenação e implantação de projetos de software, tendo atuado em empresas como: Promon, Telepar pela Promon, Embratel pela Promon, Vésper pela Promon e Lucent pela FITec Inovações Tecnológicas. Atualmente é consultora desempenhando atividades na área de Engenharia de Sistemas, tais como: especificação de requisitos, análise de dados com utilização de OLAP (On-line Analytical Processing) e validação de sistemas em projetos de P&D ANEEL, na FITec Inovações Tecnológicas. cadorni@fitec.org.br Jorge Moreira de Souza Doutor em Informática (81) pelo Instituto Nacional Politécnico de Toulouse, França, Mestre (75) e Bacharel 1

2 (71) em Engenharia Elétrica na PUC-RIO. As principais áreas de interesse são Engenharia de Tráfego e Análise de Confiabilidade de Sistemas. Trabalha atualmente na FITec onde desenvolve trabalhos de análise/avaliação e revisões de projeto. Participou com membro da Comissão do I Concurso Teleco de Trabalhos de Conclusão de Curso (TCC), realizado em 2005, e do II Concurso Teleco de Trabalhos de Conclusão de Curso (TCC), realizado em jmdsouza@fitec.org.br Categoria: Operação e Gestão Nível: Introdutório Enfoque: Técnico Duração: 15 minutos Publicado em: 29/09/2008 2

3 Gerência de Redes: Introdução As redes de comunicação estão cada vez mais complexas abrangendo um grande número de diferentes equipamentos que funcionam juntos para oferecimento de serviços fim-a-fim aos usuários. A esse aumento de complexidade corresponde um aumento no número de falhas permanentes / transientes e um aumento substancial no número de alarmes no centro de gerência da rede devido à interdependência entre os Elementos de Rede (ER), a ocorrência primária gerando múltiplas ocorrências secundárias. Isso implica que um alarme gerado por um ER se propague rapidamente causando um efeito avalanche de alarmes que chegam até o sistema de gerência. No contexto de Gerência de Redes, a gerência de alarmes é uma facilidade importante no sentido de permitir ao operador uma análise e ação rápidas sobre as causas da ocorrência evitando um possível colapso da rede. De maneira geral, os alarmes gerados pelo sistema vão para a tela de operação permanecendo na tela enquanto ativados ou até o reconhecimento pelo operador. Na desativação saem da tela e são gravados em uma base de histórico. São gravados na Base de Dados de Alarmes (BDA) diversos atributos do alarme que serão discutidos posteriormente. O desafio é transformar esses registros em informações que permitam orientar ações no sentido de detectar e resolver problemas ou identificar e planejar melhorias. O acesso à informação a partir dos registros da base de dados muitas vezes é feita por meio de querys diretamente na linguagem de acesso ao banco. Nesse caso a consulta aos dados é penosa e é geralmente conduzida por um especialista em banco de dados. Um primeiro ponto é como tornar essa consulta de fácil acesso por meio de uma solução economicamente atrativa usando ferramentas geralmente implantadas nas empresas? Uma tecnologia que responde ao ponto levantado é a On-Line Analytical Processing (OLAP). Em [1], OLAP é definida como uma abordagem tecnológica para gerar respostas rápidas a consultas analíticas de natureza tipicamente dimensional....aplicações típicas de OLAP são relatórios de negócios, marketing, relatórios gerenciais, business process management (BPM), orçamento e previsão, relatórios financeiros e áreas similares. Na área de engenharia, a aplicação de OLAP permite um processo sistemático de coleta, análise e gerência da informação e conhecimento para dar apoio às áreas de planejamento e operação da empresa. A gerência de redes usa atributos como identificação do alarme, enlace, equipamento, etc. Cada instância correspondendo à geração de um alarme. Usando os registros de alarmes pode-se analisar: i) as variações no comportamento dos alarmes em relação ao comportamento normal visando uma análise gerencial preventiva, ii) o fluxo de alarmes no caso de sobrecarga identificando as situações consideradas excepcionais, iii) as situações excepcionais usando técnicas de Mineração de Dados (Data Mining) identificando as possíveis causas dos problemas e outros. Um outro aspecto do problema refere-se à utilização desses dados no planejamento e operação. Nesse caso é necessário o conhecimento do processo e a identificação de indicadores de desempenho que permitam comparar soluções. Por exemplo, a combinação de OLAP com ferramentas de análise estatística permite, além dos relatórios, detectar correlações, fazer inferências e projeções de indicadores que são importantes em tomadas de decisão. A técnica OLAP prepara os dados para as ferramentas estatísticas. Vamos mostrar no tutorial uma solução de consulta e análise de registros de alarmes que dispõe de um Núcleo OLAP que prepara o histórico de alarmes e interfaceia com a aplicação. A interface da aplicação usa o MS-Excel. Para facilidade usamos o MS Excel para registrar o histórico de alarmes e mostramos como 3

4 preparar esses dados diretamente no Excel. Numa aplicação a base de dados fica em um servidor. A ferramenta OLAP tem suporte nas BD s existentes e pode interfacear com ferramentas como o MS-Excel que tem interface ODBC (Open Data Base Connectivity) para se comunicar com BD s. Várias ferramentas estatísticas e de mineração de dados estão disponíveis no mercado facilitando a integração com OLAP permitindo a construção de ferramentas de análise mais poderosas. 4

5 Gerência de Redes: OLAP e Mineração de Dados Citando [1], A tecnologia OLAP é parte de uma categoria mais abrangente, Business Intelligence (BI), que também inclui Data warehouse e Mineração de dados (Data mining). OLAP é uma técnica que permite a mineração manual dos dados. Chamamos de manual [2] porque é o operador que dirige a consulta indicando os atributos que quer analisar e a apresentação dos resultados (quantidade, média, etc.). OLAP (On-line Analytical Processing) O OLAP [2] é uma metodologia baseada em pesquisa ( query-based ) que suporta análise de dados em um ambiente multidimensional. OLAP é uma ferramenta muito útil para verificar ou rebater alguma hipótese e para executar, conduzida pelo operador, uma mineração de dados. Um processamento OLAP estrutura logicamente dados multidimensionais na forma de um cubo. O cubo pode apresentar várias dimensões que são subconjuntos de atributos. Como um cubo é projetado para um propósito específico, não é usual ter vários cubos estruturados a partir de um único warehouse. O projeto dos dados do cubo inclui a decisão sobre quais atributos serão incluídos no cubo, bem como a granularidade de cada atributo. Um cubo bem projetado é configurado de forma a conter somente informação útil. Cada atributo em um cubo OLAP pode ter uma ou mais hierarquias conceituais associadas. Uma hierarquia conceitual define um mapeamento que permite que o atributo possa ser visualizado em diversos níveis de detalhe. Por exemplo: atributo de localidade, poderia ter a região como o nível mais alto, depois as cidades que compõe aquela região, e depois os endereços contidos naquela cidade. Operações suportadas no OLAP [2]: 1. Operação fatiar ( slice ) - seleciona dados de uma única dimensão de um cubo OLAP; 2. Operação cortar um subcubo ( dice ) - extrai um subcubo do cubo original executando uma operação de seleção em duas ou mais dimensões; 3. Operação de agregação ( roll-up ) - é a combinação de células de uma ou mais dimensões definidas num cubo. Uma forma de agregação usa o conceito de associação hierárquica com uma dimensão para atingir um nível maior de generalização; 4. Operação de drill-down - é o reverso da agregação ( roll-up ), implica em examinar dados com algum nível maior de detalhe; 5. Operação de rotação ( rotation ) - permite visualizar dados de uma nova perspectiva. As ferramentas de OLAP possuem uma interface ao usuário amigável e são capazes de mostrar os dados de diversas perspectivas, executar análises estatísticas básicas e fazer pesquisas sucessivas para menor e/ou maior nível de detalhe. Para pequena quantidade de dados, o MS Excel pivot table pode ser utilizado oferecendo algumas das funcionalidades disponíveis em ferramentas de OLAP mais complexas. As funcionalidades do Pivot Table incluem a habilidade de sumarizar e agrupar dados e mostrar dados em diversos formatos. Exemplo usando o Pivot table do MS Excel 5

6 O Pivot table vai criar uma estrutura OLAP na máquina em uso. Isso pode implicar numa resposta lenta para o usuário dependendo do tamanho da estrutura de dados. Para uso individual é uma boa solução, para ferramentas de uso geral a estrutura OLAP deve ser criada em um servidor de banco de dados e o Excel é um cliente. No exemplo da figura 1, o histórico de alarmes de uma determinada rota do projeto apresentado em [4] está contida em uma planilha Excel. Para criar a estrutura OLAP diretamente no Excel fazemos os seguintes passos: Selecionar os dados da planilha, em seguida na aba Data selecionar Pivot Table, como mostrado na figura 1; A janela de seleção aparece na tela conforme na figura 2. Clicar em Next ; Aparece a tela de preparação do layout como mostrado na figura 3a. Clicar em layout. Aparece então o formato do layout, a direita, e também cinco botões de acordo com o cabeçalho das colunas, figura 3b. Para formatar o layout arrasta-se um ou mais botões para formar a coluna, linha e preenchimento do campo data. Na figura 3c há um layout formatado. Clicar em OK; Foi pedido para criar nova planilha que aparece na figura 4. Como formatado, a coluna 'TimeStamp_dt aparece nas linhas, Alarmclass na coluna e AlarmObjectType_str aparece em DATA sendo contado o número de ocorrências. Isso é indicado por Count of AlarmObjectType_str. Na seção seguinte vamos consultar e analisar esses dados que estão organizados numa estrutura de cubos OLAP. Figura 1: Histórico de alarmes. 6

7 Figura 2: Seleção dos dados. Figura 3A: Preparação do layout. 7

8 Figura 3B: Preparação do layout. Figura 3C: Preparação do layout. 8

9 Figura 4: Nova planilha criada. 9

10 Gerência de Redes: Consulta e Análise de Alarmes A base de dados do exemplo possui os seguintes atributos: Data/hora da ativação do alarme: TimeStamp_dt ; Objeto: detalhe interno do ER: AlarmObjectType_str ; Identificação do alarme: cause ; Classe do alarme: Alarmclass. segundo ITU [3] pode ser de comunicação, qualidade de serviço, processamento, equipamento e ambiente; Elemento de Rede (ER): location. Análise 1: Número de alarmes por dia O campo TimeStamp_dt indica a data/hora de ocorrência do alarmes. Queremos grupar esses dados por dia/ano apenas. O Excel permite esse grupamento. Clique com o botão da direita no campo TimeStamp_dt e selecione Group and Show Detail / Group como mostrado abaixo (figura 5A). Figura 5A: Agrupamentos. Aparece a janela da figura 5B onde se deve escolher dia e ano. Clique em OK. 10

11 Figura 5B: Agrupando por dia/ano. Figura 5C: Planilha agrupada por dia/ano. Pode-se visualizar o resultado por meio de um gráfico clicando sobre o ícone chart wizard que é mostrado na figura 6. 11

12 Análise 2: Analisar um dia determinado Figura 6: Gráfico dia/ano versus número de alarmes. Na figura 6 vê-se que há um dia que se destaca. Como são muitos dias não é possível identificá-lo pela leitura do eixo X. Mas basta colocar a seta do mouse sobre a coluna que o dia é identificado, 19 de junho de 2007 (figura 7). Figura 7: Detalhe do gráfico. Para selecionar o dia pode-se usar o gráfico ou a planilha. Usando a planilha, clica-se sobre a seta a direita do nome do atributo, aparecendo as seleções possíveis. Selecionamos 2007 e, da mesma forma, selecionamos na coluna time stamp o dia 19 de junho (figura 8). 12

13 Análise 3: Alarmes no dia 19 de junho de 2007 Figura 8: Seleção de campos. Os alarmes são identificados pelo atributo cause. Na figura 5B o atributo cause aparece na planilha no alto a esquerda. Isso foi obtido arrastando-se esse atributo do Pivot Table field list para a área da planilha. O próximo passo é arrastar o botão do atributo para compor a linha do dia 19 de junho de 2007, como mostrado na figura 9. Figura 9: Alarmes do dia 19 de junho de O gráfico da figura 10 mostra o diagrama de Pareto (em ordem descendente) dos dez alarmes mais freqüentes. 13

14 Figura 10: Alarmes mais freqüentes no dia 19 de junho de

15 Gerência de Redes: Exemplo Real de OLAP Trata-se do Sistema de Processamento de Alarmes para uso no Centro de Operações do Sistema da CPFL (Companhia Paulista de Força e Luz). O sistema de processamento é off-line e usa o histórico de alarmes que registra cerca de 5000 alarmes/dia. Diariamente o sistema analisa os alarmes do dia anterior, classificando-os segundo o tipo de alarme, centro de controle, sub-estação, etc. Onde se usou OLAP? A ferramenta OLAP é usada para organizar os dados (gerar os cubos) segundo as classificações estabelecidas pelo usuário. O Sistema de Processamento usa os dados já devidamente classificados para o cálculo de indicadores de desempenho. Foram estabelecidos diversos indicadores de desempenho baseados na freqüência de ocorrência ou na duração de um determinado tipo de alarme. Quando esse limite é atingido o sistema gera uma anomalia que deve ser analisada. A tela da figura 11 mostra o resultado do processamento indicando os dias da semana corrente. Ou seja, no domingo, dia 27/01/2008 foram geradas 19 anomalias. O Sistema de Processamento permite ao usuário: Figura 11: Tela de Resultado do processamento. Visualização dos resultados de processamento (as anomalias); Visualização dos cubos; Controle e acompanhamento das anomalias geradas; Alteração dos limites dos indicadores; Controle de acesso. 15

16 Gerência de Redes: Considerações Finais Mostramos, usando diretamente o MS Excel, como construir e explorar um cubo OLAP. Numa aplicação esses procedimentos podem ser feitos automaticamente no servidor de base de dados. A visualização pode ser feita diretamente no Excel ou por meio de interfaces que analisam os dados e geram relatórios especificados pelo usuário. No exemplo da seção "Gerência de Redes: Exemplo Real de OLAP", os dados são processados automaticamente e foram desenvolvidas interfaces de acordo com a necessidade do cliente. Usando OLAP e ferramentas estatísticas desenvolvemos diversos projetos para a manutenção preventiva onde o usuário tem os dados que precisa na janela de tempo adequada. Exemplos de projetos desenvolvidos: Referências Análise dos canais de atendimento como Internet, Call Center, URA, etc. O sistema analisa 60K registros / dia indicando as anomalias, ou seja, eventos que saíram fora do padrão de comportamento. A análise de anomalias é semanal, usa OLAP para minerar os dados de interesse e gráfico de controle numa janela de tempo determinada para identificar as anomalias. O exemplo citado no tutorial (Exemplo Real de OLAP) é usado para auxílio à manutenção preventiva por meio da monitoração de indicadores de desempenho usando os alarmes. Diariamente a taxa de ocorrência / duração de alarmes considerados importantes é calculada e comparada com limites. Os limites são configuráveis assim como os alarmes que se deseja monitorar. A mineração dos alarmes de interesse usa OLAP R. J. Roiger, M. W. Geatz, Data Mining A Tutorial Primer, Addison Wesley, ITU X.733, INFORMATION TECHNOLOGY OPEN SYSTEMS INTERCONNECTION SYSTEMS MANAGEMENT: ALARMREPORTING FUNCTION, L. Scheunemann et all, Utilização de sistemas inteligentes para o processamento de alarmes Mineração de dados usando OLAP, IV Citenel, Araxá MG,

17 Gerência de Redes: Teste seu Entendimento 1. Por que o OLAP é uma ferramenta de mineração manual? Porque existe um processo de descoberta que de forma automática re-alimenta o aprendizado. Porque permite um processo de pesquisa orientada pelo usuário e suporta análise de dados num ambiente multidimensional. Porque permite um processo de pesquisa orientada pelo usuário e não suporta análise de dados num ambiente multidimensional. Porque pode ser aplicada em várias áreas. 2. Quais as vantagens de utilizar esse tipo de ferramenta? Facilidade e rapidez no manuseio. Permite vários tipos de interface amigável para o usuário. Permite operações nos dados, tais como: detalhar e agregar. Todas as anteriores. 3. Dadas as etapas: I Preparação do layout; II Consulta nos dados; III Seleção dos dados; e IV Criação da tabela dinâmica. Qual a seqüência para criar e utilizar uma tabela dinâmica (Pivot Table)? IV, III, I e II. I, II, III e IV. III, I, IV e II. III, IV, II e I. 17