Desenvolvimento de dashboards através de dados de distribuição de energia elétrica fornecidos pela ANEEL

Transcrição

1 Desenvolvimento de dashboards através de dados de distribuição de energia elétrica fornecidos pela ANEEL Vinícius F. M. Leão, Ariel R. Machado, Nilton H. Takagi, Thiago A. Araújo, Crischarles D. Arruda, Kelvyn Yago S. Zanato Instituto de Computação - Universidade Federal de Mato Grosso (UFMT) Av. Fernando Corrêa da Costa, nº Bairro Boa Esperança. Cuiabá - MT leaomt.19@gmail.com, ariel.r.machado@gmail.com, nilton@ic.ufmt.br, thiago-in@hotmail.com, crischarles.ad03@gmail.com,kelvynzanatoo@gmail.com Abstract. Any user connected to the Internet can access the data for the management of public bodies that disseminate information of popular interest in order to make possible a greater participation of society in the monitoring of its management. Although that information is available openly, there is much difficulty in filtering and interpretation of this data because it is large volumes. The purpose of this paper is to present an ETL methodology for data manipulation so they can be analyzed in context with the creation of dashboards. Case were used as electrical power distribution data released by ANEEL (Brazilian Electricity Regulatory Agency). Resumo. Qualquer usuário conectado à internet pode ter acesso a dados referentes a gestão de órgãos públicos, que divulgam informações do interesse popular com a finalidade de tornar possível uma maior participação da sociedade na fiscalização de sua gestão. Apesar dessas informações serem disponibilizadas abertamente, há muita dificuldade na filtragem e interpretação desses dados por se tratar de grandes volumes. A proposta deste artigo é apresentar uma metodologia ETL de manipulação de dados para que possam ser analisados de forma contextualizada a partir da criação de dashboards. Como case foram utilizados dados de distribuição de energia elétrica divulgados pela ANEEL (Agência Nacional de Energia Elétrica). 1. Introdução Existem muitos dados referentes a gestão de órgãos públicos brasileiros disponíveis na internet, seja através de sites ou web services que fornecem informações de livre acesso a todos os usuários. Nos últimos anos o governo brasileiro está realizando ações de disseminação de dados governamentais para o livre uso da sociedade com objetivo de uma maior participação popular na fiscalização e acompanhamento da gestão pública [Angélico 2012]. Em maio de 2012 entrou em vigor a Lei de Acesso a Informação (Lei nº /2011), que criou um meio de qualquer pessoa solicitar informações públicas sem qualquer justificativa, tais informações são chamados de Dados Abertos [Acesso a Informação 2015]. Dados Abertos é a publicação e disseminação de dados e informações públicas na Web, seguindo alguns critérios que possibilitam sua 44

2 reutilização e o desenvolvimento de aplicativos por toda a sociedade [Portal brasileiro de dados abertos 2012 p.1]. A ANEEL (Agência Nacional de Energia Elétrica) é uma agência reguladora vinculada ao Ministério de Minas e Energia, que foi criada para desempenhar a função de regular e fiscalizar a produção, transmissão e comercialização de energia elétrica, em conformidade com as políticas e diretrizes do governo federal [Siscomex 2015]. A missão da ANEEL é proporcionar condições favoráveis para que o mercado de energia elétrica se desenvolva com equilíbrio entre os agentes e em benefício da sociedade [ANEEL 2015]. Neste artigo serão utilizados dados referentes a distribuição de energia elétrica divulgados pela ANEEL, onde será demonstrada uma metodologia de ETL (Extração, Transformação e Carregamento de dados) para manipulação de dados públicos divulgados na internet, que foram usados para criar dashboards com a finalidade de utilizar essas informações de forma contextualizada. Com isso foi possível analisar os desempenhos das distribuidoras, através da utilização de indicadores técnicos e comerciais como: consumo de energia de cada região; quantidade de conjuntos e consumo; qualidade do fornecimento (número de interrupções e duração); tempo médio de atendimento a interrupções de fornecimento; períodos críticos de fornecimento. 2. Preparação dos dados Em comparação aos outros órgãos, a ANEEL disponibiliza as informações de forma mais sintética através de planilhas, o que torna mais intuitiva a filtragem dos dados, porém a coleta se torna muito onerosa. Outros órgãos como a Previdência Social, IBGE, INEP, disponibilizam os dados em forma de arquivo em formato de CSV, XLS, XML, entre outros. 2.1 Seleção das bases de dados Foi selecionado três bases referentes a dados de Distribuição de Energia Elétrica que são: Atributos Físicos Elétricos, são atributos que agrupam informações sobre energia consumida, extensão de redes, potência de transformadores, quantidade de transformadores, entre outros; Tempos Médios de Atendimento, é uma base que contém indicadores de qualidade de atendimento a ocorrências emergências na manutenção da rede elétrica de cada distribuidora de energia; Indicadores Coletivos de Continuidade, esta base possui indicadores de qualidade no fornecimento de energia elétrica avaliando a frequência com que ocorre a interrupção do fornecimento e a sua duração. 2.2 Modelo Estrela Para armazenar os dados foi criada uma modelagem de um banco, onde foram armazenados após a transformação, conforme a Figura 1. Para cada base foi criada uma Fato, onde as dimensões são compartilhadas para todas as Fatos. Na base da ANEEL, nem todas as bases possuíam atributos para todas dimensões, então estas informações foram inseridas durante o processo de transformação, como na base de Atributos Físicos Elétricos que não possuía os atributos de estados que cada conjunto pertence. 45

3 Figura 1. Modelo estrela das bases de distribuição de energia elétrica 3. Transformação e Carregamento dos Dados Na extração dos dados, as bases foram carregadas para documentos com formato XLS, por ser compatível com o formato das planilhas disponibilizadas pela ANEEL. Para a manipulação dos dados foi utilizado o software Talend Big Data 1, por se tratar de uma ferramenta open source e oferecer recursos completos para a manipulação dos dados, além de possuir uma boa avaliação no quadrado mágico pela empresa de consultoria Gartner [Gartner 2015]. 3.1 Criação das Jobs das dimensões A fim de demonstrar a criação de uma dimensão, foi usada a dimensão Conjunto_dm, de acordo com a Figura 2, é exibida a criação da job nos seguintes passos: 1) são colhidas as informações dos Metadata (dados e estrutura) das três bases; 2) é realizada a união dos conjuntos; 3) os dados duplicados são excluídos; 4) realiza-se uma associação para carregar os dados no banco e em um arquivo TXT. 3.2 Criação das Jobs do fato Figura 2. Job da Dimensão Conjunto Para demonstrar a criação de uma Fato, foi utilizada a base de Atributos Físicos Elétricos de acordo com a Figura 3, seguindo os passos: 1º São colhidas informações da Metadata da base; 2º Ocorre uma modificação nas strings; 3º Ocorre uma associação da 1 Talend Open Studio Big Data Junho,

4 base de dados, dimensões e outra associação com a base de Indicadores de Continuidade; 4º O Fato é replicado para ser carregado no banco e em um arquivo TXT. 4. Resultados Figura 3. Job da Fato Atributos Físicos Elétricos Após realizar todos os processos de ETL, os dados foram utilizados para criar dashboards com gráficos dinâmicos, utilizando o software QlikView 2, pois este software permite que os dados sejam extraídos diretamente do banco, além de se tratar de uma versão gratuita e ser uma das mais conceituadas ferramentas de BI do mercado de acordo com o quadrante mágico do Gartner [Gartner 2015]. Usando os dashboards é possível avaliar os desempenhos das distribuidoras de energia elétrica, fazendo um comparativo entre as regiões brasileiras. Na Figura 4, é demonstrado o dashboard de Atributos Físicos Elétricos, onde se tem uma visão geral do perfil de consumo de cada região, exibindo dados como: Consumo de energia acumulado de um ano; Quantidade de UC (Unidades Consumidoras) em relação a potência de transformadores e quantidade de conjuntos; Percentual de UC de cada região; Extensão de redes de distribuição; Percentual de Consumo acumulado divido por classe; Quantidade de UC divididas por região. Figura 4. Dashboard de Atributos Físicos Elétricos Na Figura 5, é demonstrado o dashboard de Tempo Médio de Atendimento, onde o gráfico Ocorrência/Interrupção mostra a quantidade de ocorrências emergenciais 2 QlikView Maio,

5 de cada ano separadas por meses, sendo que a linha vermelha mostra quanto dessas ocorrências ocasionaram interrupção de energia. Ao lado direito exibe o percentual de ocorrências com interrupção de energia elétrica, abaixo o tempo total gasto para atender a ocorrência dividido por tempo de planejamento, deslocamento e execução. Figura 5. Dashboard de Tempo médio de atendimento Na Figura 6, é demonstrado o dashboard de Indicadores de continuidade, que avalia a qualidade do fornecimento de energia de uma distribuidora de energia, pois exibe os indicadores de continuidade de cada ano separados por mês, além de mostrar um percentual de aumento ou retrocesso desses indicadores. O DEC é um indicador de duração de interrupção de fornecimento de energia, enquanto o FEC é um indicador de frequência de interrupção do fornecimento. 5. Conclusões Figura 6. Dashboard de Indicadores de continuidade A metodologia apresentada conseguiu atender todas as necessidades exigidas para uma boa interpretação e manipulação dos dados livres, demonstrando uma boa forma de utilização dos dados divulgados pelos órgãos públicos. O principal objetivo da construção deste artigo é demonstrar todo o processo desde a transformação de dados, até a criação de dashboards com alto nível de análise. Essa proposta surgiu com o intuito de sanar a necessidade de possuir um meio que sirva como orientação para a sociedade, pois não basta que a informação esteja disponível sem que haja uma maneira mais efetiva na fiscalização de órgãos públicos. 48

6 Os dashboards criados trazem uma visão diferente em relação aos dados do site da ANEEL, tratando a informação de forma mais contextualizada e intuitiva, pois é necessário apenas um conhecimento básico das informações para que os gráficos possam ser interpretados, dando uma visão do cenário nacional distribuição de energia elétrica. O site da ANEEL apesar de trazer as informações de forma sintética, é necessário que o usuário tenha conhecimentos bem específicos dos vários dados e a que eles estão relacionados, tornando a aprendizagem mais onerosa, além de não fornecer as opções de relacionar os dados como foi realizado nos dashboards. Em trabalhos futuros, planejamos concentrarmos em análises de dados voltadas para gestão das distribuidoras, com o a finalidade de auxiliar na tomada de decisão e no planejamento estratégico da empresa. Com isso, ela poderá direcionar de forma mais efetiva seus recursos nas áreas mais ineficientes apontadas pelos indicadores. Para isso será necessário um estudo de caso mais aprofundado, pois neste artigo foi abordada uma perspectiva nacional do desempenho de cada região brasileira. Outro trabalho futuro será disponibilizar na internet os dashboards e mais detalhes da produção deste trabalho, servindo de auxílio a replicação desta obra. Referências Acesso a Informação (2015) LAI: A Lei de Acesso à Informação, Acesso em Agosto/2015. ANEEL (2015) Distribuição de Energia Elétrica, Acesso em Agosto/2015. Angélico, F. (2012) Lei de Acesso à Informação Pública e seus possíveis desdobramentos para a accountability democrática no Brasil. São Paulo, Fundação Getúlio Vargas, p Gartner (2015) Browse by Market: Find Vendors and Products by Market, Acesso em Outubro/2015. Portal Brasileiro de Dados Abertos (2015) Cartilha Técnica para Publicação de Dados Abertos no Brasil v 1.0, Acesso em Agosto/2015. Siscomex (2015) Agência Nacional de Energia Elétrica, Acesso em Agosto/