SISTEMA DE METADADOS DO IBGE

Transcrição

1 SISTEMA DE METADADOS DO IBGE Luigino Italo Palermo (IBGE/DI/COBAD 1 ) Resumo Este trabalho enfoca o Sistema de Metadados do IBGE, importante instrumento para uma efetiva administração de dados e também para o planejamento e desenvolvimento de trabalhos do instituto. O sistema abrange um banco de metadados e duas aplicações de acesso a seu conteúdo, suportando de maneira centralizada as diferentes áreas técnicas em muitas das etapas de produção. O banco de metadados do sistema - conhecido pela sigla MetaBD - é um repositório central de metadados que inclui descritores de microdados e agregados de dados estatísticos, assim como informações sobre documentos cartográficos e sobre recursos naturais brasileiros, facilitando o acesso ao patrimônio estatístico e geocientífico do IBGE. Esse repositório integra-se de forma ativa a outros sistemas institucionais de processamento e de disseminação de dados, inclusive permitindo a geração de dicionários para diversas plataformas de software aplicativo. O MetaBD pode ser acessado através de duas aplicações: uma de carga e atualização, restrita apenas aos técnicos responsáveis das áreas temáticas, e outra de consulta, disponível na WEB, permitindo a pesquisa de metadados por projeto, por tipo de elemento ou mesmo pela palavra-chave de interesse. O projeto de um sistema institucional de metadados no IBGE começou na década passada, encontrando-se hoje na segunda versão, mas está em constante evolução, incorporando novas extensões graças às novas demandas dos usuários e às mudanças na infraestrutura da tecnologia da informação. 1 Diretoria de Informática, Coordenação de Banco de Dados e Metodologia 1

2 1. Introdução Metadados podem ser definidos de forma simples como informações sobre o dado, e no âmbito do IBGE são úteis para identificar, localizar, compreender, gerenciar e usar os arquivos de dados e outros produtos das áreas de Estatística e de Geociências. À medida que esses arquivos se multiplicam, produzidos por diferentes departamentos, e tornam-se disponíveis através de redes de computadores locais ou públicas (internet), é essencial descrevê-los de forma padronizada e centralizada, permitindo que o conhecimento sobre eles seja compartilhado de forma organizada e segura entre os pesquisadores das áreas técnicas e (mais tarde) pelo público em geral. As vantagens imediatas desse procedimento são a maior integração entre as áreas produtoras, com a conseqüente eliminação de redundâncias, a diminuição do esforço de desenvolvimento de novos trabalhos e a melhor qualidade dos resultados produzidos. Dessa forma, cresce a importância da documentação e administração desses dados e, portanto, de seus metadados. Este trabalho enfoca o Sistema de Metadados do IBGE, importante instrumento para uma efetiva administração de dados e também para o planejamento e desenvolvimento de trabalhos do instituto. Entre os objetivos do sistema, destacam-se: Oferecer às áreas produtoras de dados um sistema centralizado de documentação, para que possam alimentar seus diferentes tipos de metadados ao longo das fases de produção; Tornar o repositório de metadados do sistema ativo em relação à execução de outros sistemas homologados no IBGE, disponíveis para o processamento de algumas das fases de produção; Tornar-se uma referência para os produtos institucionais, atendendo ambas as áreas produtoras de dados do IBGE: Estatística e Geociências, e facilitando a disseminação desses produtos; Permitir a recuperação de metadados segundo diversos critérios como: tema ou assunto (população, saúde, indústria, cartografia, etc), departamento responsável, nível geográfico de disseminação, dentre outros; Prover mecanismos de indexação por palavra-chave, facilitando a pesquisa dos metadados por usuários inexperientes. A seguir, este artigo fará uma resumida apresentação do sistema, relatando nos próximos tópicos: um breve histórico das versões do sistema; a arquitetura geral do sistema; 2

3 as características do repositório central de metadados do sistema; e suas 2 interfaces de acesso: aplicação de carga e atualização e aplicação de consulta aos metadados. Por fim, a conclusão abordará problemas enfrentados na utilização o sistema e perspectivas de novos trabalhos. 2. Histórico O sistema foi projetado pela Coordenação de Banco de Dados e Metodologia da Diretoria de Informática do IBGE, e sua primeira versão foi implementada entre o final dos anos 80 e início da década passada. Nessa época, a principal preocupação era documentar os arquivos de microdados 2 estatísticos resultantes das pesquisas, que eram incorporados ao acervo institucional de dados, sob responsabilidade daquela coordenação. Desta forma, dava-se mais importância aos metadados estruturais, que atuavam como identificadores e descritores dos dados, tais como informações dos dicionários de arquivos, seus tipos de registros e respectivos campos. A plataforma de hardware e software era baseada em mainframe, apenas com acesso interno via terminais não-inteligentes. Atualmente o sistema encontra-se na sua segunda versão, onde procura-se também armazenar os metadados de referência, descrevendo melhor o conteúdo semântico (por exemplo, objetivos das pesquisas, suas metodologias, conceitos das variáveis) e outros produtos além dos arquivos de microdados, tais como agregados de dados estatísticos e bancos de dados, assim como contemplar também a área geocientífica do IBGE, por exemplo descrevendo documentos (mapas, folhas topográficas, etc) da área de Cartografia e coleções científicas (herbários, insetos, etc) da área de Recursos Naturais e Estudos Ambientais. Quanto ao hardware e software utilizados hoje, estes serão vistos a seguir. 3. Arquitetura Geral O sistema abrange um banco de metadados, a ser descrito no tópico 4, e duas aplicações de acesso a seu conteúdo, sendo uma de carga e atualização e outra de consulta (vide figura 1). As aplicações de acesso serão abordadas no tópico 5. Após processo de downsizing e descentralização do parque computacional do IBGE ocorrido na década passada, o hardware da atual versão do sistema é baseada em dois servidores PC, com acesso via rede interna (intranet) de microcomputadores em todas as unidades do IBGE no Brasil, e via internet para o IPEA - Instituto de Pesquisa Econômica Aplicada, este limitado apenas a consulta. 2 Dados a nível de unidade de informação 3

4 Ambos os servidores são divididos com o sistema SIDRA - Sistema IBGE de Recuperação Automática [3][7], sendo um o servidor de Banco de Dados, e o outro o servidor WEB. Entre eles, existe um canal cross-over de alta velocidade, visando priorizar as demandas de metadados por ambos serviços WEB, otimizando seu desempenho. IPEA Figura 1 Arquitetura Geral do Sistema de Metadados 4. O Banco de Metadados (MetaBD) O banco de metadados do sistema - conhecido pela sigla MetaBD - é um repositório central de metadados que inclui descritores de processos e produtos de ambas as áreas do IBGE, facilitando o acesso ao seu patrimônio estatístico e geocientífico. O modelo conceitual de dados do MetaBD foi inicialmente concebido após várias reuniões entre representantes das áreas produtoras de dados e especialistas da área de Banco de Dados da Diretoria de Informática. O MetaBD tornou-se operacional em Janeiro de 2000, mas seu modelo de dados continua evoluindo até hoje, recebendo extensões para cobrir conteúdos inéditos. Um exemplo de extensão foi a incorporação de indicadores de qualidade dos processos e produtos estatísticos da Diretoria de Pesquisas do IBGE no banco, seguindo orientações do Programa de Cooperação Estatística entre a União Européia e o Mercosul [1]. Durante a fase de modelagem, percebeu-se que os metadados estatísticos podem ser 4

5 descritos por um modelo genérico, resumido na figura 2, onde cada processo (pesquisa) da Diretoria de Pesquisas do IBGE se enquadra, assumindo valores distintos para cada atributo das entidades de metadados. GRUPO RESPONSÁVEL PROCESSO IBGE INFORMAÇÃO OCORRÊNCIA TERRITORIAL DE PROCESSO PRODUTO MÍDIA CLASSIFICAÇÃO VARIÁVEL CAMPO / COLUNA ARQUIVO FÍSICO DADOS AGREGADOS PLANO DE CRÍTICA REGISTRO / TABELA PLANO DE TABULAÇÃO DICIONÁRIO / ESQUEMA DE BD Figura 2 Principais Entidades de Metadados Estatísticos no MetaBD Por outro lado, a análise de metadados geocientíficos do IBGE tem revelado que cada assunto deve ser tratado em separado, com itens de metadados próprios, mas podendo haver alguns em comum, em geral representados por entidades secundárias. Essa foi a experiência observada ao modelar as extensões no MetaBD para contemplar projetos dos assuntos Cartografia e Recursos Naturais. No caso da Cartografia, dois projetos foram incorporados com sucesso ao MetaBD: os Mapas Municipais Digitais do Censo Demográfico de 2000 (projeto MMDE 2000, vide principais entidades na figura 3) e o Mapa Índice Digital, que já era disponível ao público do IBGE como um produto em CD-ROM. Em ambos os casos, o objetivo foi aumentar o alcance dos documentos cartográficos e temáticos (DCT) do IBGE, disponibilizando seus descritores em outra mídia. Atualmente o primeiro projeto na área de Geografia está sendo implementado, mais especificamente no assunto Recursos Naturais e Estudos Ambientais [11], descrevendo o patrimônio intelectual acumulado na instituição sobre espécies vegetais e animais algumas em extinção mantidas na forma de coleções de espécimens numa reserva ecológica 5

6 pertencente ao IBGE, localizada no bioma do cerrado brasileiro, e também na forma de cadastros da Coordenação de Recursos Naturais e Estudos Ambientais da Diretoria de Geociências do IBGE. ATIVIDADE PROJETO DOCUMENTO CARTOGRÁFICO ARQUIVO DCT (meio magnético) PUBLICAÇÃO (meio impresso) ARQUIVO FÍSICO (prancha) Figura 3 Principais Entidades de Metadados de Cartografia no MetaBD O banco de metadados do IBGE integra-se de forma ativa a outros sistemas/metodologias institucionais de processamento e de disseminação de dados, como é o caso do próprio sistema SIDRA, cujos metadados são armazenados no MetaBD. Recentemente, essa integração entre os 2 sistemas facilitou o desenvolvimento do processo SIDRA-Tabula [6], para especificação e publicação de tabelas do plano tabular de uma pesquisa estatística, de forma padronizada, reduzindo consideravelmente o tempo gasto no processo de tabulação (vide figura 4). Outras características interessantes na modelagem do MetaBD são: Possibilidade de acrescentar dinamicamente novas descrições textuais (armazenadas em objetos Oracle do tipo CLOB Caracter Long Object) a qualquer entidade do banco, sem necessidade de modificação de sua estrutura; Armazenamento de imagens digitalizadas de questionários e outros documentos; Previsão de armazenamento de nomes e descrições em 2 outros idiomas (inglês e espanhol), considerando a exposição dos metadados do IBGE a outros institutos e parceiros estrangeiros e sua disponibilidade na Internet. 6

7 Pesquis a Metadados (microdados) Dados do Questionário Metadados (dados agregados) Banco MetaBD Análise Tabelas de Dados Arquivos de Microdados Banco SIDRA Microdados Dados Agregados Metadados (dados agregados) Metadados (microdados) Tabulação Tabelas de Disseminação Figura 4 Fluxo de Dados e Metadados no processo SIDRA-Tabula 5. Acesso aos Metadados O banco MetaBD pode ser acessado através de duas aplicações: uma de carga e atualização, e outra de consulta aos metadados Aplicação de Carga e Atualização A aplicação de carga e atualização dos metadados é de uso restrito dos técnicos do responsáveis pelas áreas temáticas e da equipe de Administração de Dados (AD) do IBGE. O acesso aos itens de metadados é feito na forma de linha de tabela, e podem ser visualizados os respectivos relacionamentos existentes com outros itens de metadados. Trata-se de uma aplicação amigável do tipo Cliente/Servidor, voltada para ambiente Windows e desenvolvida usando a linguagem Visual Basic. Sua instalação requer outros softwares básicos, como a versão cliente do SGBD (Oracle) e um ODBC compatível. A estrutura de menús da aplicação é organizada de acordo ao contexto dos 7

8 metadados: estatístico, geocientífico e administrativo (este restrito ao pessoal de AD). A equipe de AD tem acesso pleno a todos os metadados e é encarregada de estabelecer autorizações para os demais usuários, baseadas no perfil do grupo de cada usuário e no conjunto de operações permitidas sobre as tabelas do MetaBD para aquele grupo. Ao definir um usuário da aplicação, é necessário também informar as pesquisas/trabalhos sob a responsabilidade desse usuário, assim como a qual grupo ele/ela pertence (ou criar um novo grupo com o perfil do usuário, caso ainda não exista o respectivo grupo). Apesar da existência dessa aplicação, não é eliminada a possibilidade de carga de lotes de metadados, importados de outros sistemas ou fontes, como foi o caso dos descritores dos documentos cartográficos das aplicações MMDE e Mapa Índice Digital Aplicação de Consulta O MetaBD pode ser consultado através de uma aplicação WEB, até o momento disponível apenas para usuários da rede local (Intranet) do instituto, incluindo as unidades estaduais e as agências do IBGE distribuídas por todo o Brasil. O processo decisório de liberá-la na Internet depende da políticas institucionais que incluem temas como a definição e qualidade do conteúdo do banco a ser oferecido. A aplicação de consulta foi construída na plataforma MS.Net, usando o Windows 2000 Server como sistema operacional e o IIS como servidor WEB. Ela pode ser acessada via browser (por exemplo, Internet Explorer) e não necessita instalação prévia de nenhum outro componente de software. Ao apontar a página inicial (home-page) da aplicação, esta exibe informações sobre dados e metadados recentemente incorporados ao acervo institucional, que é mantido pela Coordenação de Banco de Dados e Metodologia. A equipe de desenvolvimento do Sistema de Metadados também aproveita esse espaço para avisar sobre a implementação de novas funcionalidades na aplicação. A busca de descritores no banco de metadados pode ser feita por tipo de elemento (pesquisa, variável, etc) ou por palavra-chave de interesse. Quando a pesquisa/trabalho endereçado ainda não estiver pronta e liberada para consulta, apenas seus metadados básicos são exibidos. Os demais metadados da pesquisa/trabalho só podem ser vistos pelo responsável temático, mediante procedimento de identificação, protegido por senha. Entre os atrativos dessa aplicação, destaca-se a produção semi-automática de código/dicionários, contendo o layout do arquivo desejado em diferentes formatos/linguagens, a serem usados por outras ferramentas off-line de processamento e análise estatística, tais 8

9 como: SAS [9], REDATAM, CriptaX [5] e DIA. Outro interessante recurso é a geração de relatórios sobre o conteúdo do MetaBD. Exemplos desses relatórios são: o de uma pesquisa ou censo (com suas variáveis, seus dicionários de dados, as classificações utilizadas) e o dos indicadores de qualidade de um processo estatístico e dos seus produtos. 6. Perspectivas e Conclusão Deve-se ressaltar, conforme já dito anteriormente, que a presente versão do sistema pode evoluir, incorporando novas extensões [1][11], graças às novas demandas dos usuários e às mudanças na infra-estrutura da tecnologia da informação. Entre os próximos passos alguns recomendados em recente evento internacional sobre Metadados Estatísticos [12] previstos para o Sistema de Metadados do IBGE, podem ser citados: Incorporação de novos projetos das áreas produtoras de dados, em especial da Diretoria de Geociências do IBGE (principalmente nas áreas de Geografia, Geodésia e Estruturas Territoriais, ainda não contempladas); Adaptação da aplicação de consulta (restrição de funcionalidades e de conteúdo) para acesso público via Internet; Desenvolvimento de facilidades que possibilitem a carga dos metadados dentro da linha de produção das áreas técnicas do IBGE; Integração do sistema às eventuais novas ferramentas de crítica/imputação/análise de microdados estatísticos; Adequação do sistema para permitir o intercâmbio de metadados estatísticos e geográficos segundo padrões internacionais (como o SDMX [10] e o FGDC [2]), garantindo a comparação de dados entre agências nacionais e empresas, endereçando assim a questão da globalização. Este propósito segue uma tendência mundial [8] e tem boa aderência ao PID Projeto de Interoperabilidade de Dados [4] do IBGE, que pretende estudar e definir tais padrões no âmbito institucional. A despeito dos limitados recursos de um órgão governamental como o IBGE, a motivação principal de um projeto como o do Sistema de Metadados tem sido sempre o de ser útil, documentando o trabalho do instituto e seus produtos; enfim, transformando dados em informação. 9

10 Para alcançar esse objetivo, a equipe de AD e o corpo técnico do IBGE, com a ajuda do Sistema de Metadados, tem acrescentado valor semântico aos seus dados, armazenando os descritores necessários à melhor compreensão da realidade brasileira. Isso vem de encontro à missão institucional do IBGE, beneficiando a sociedade em geral. Bibliografia 1. BIANCHINI, Z. M.; ALBIERI, S. - A prototype of the Quality Indicators System at the Brazilian Institute of Geography and Statistics. European Conference on Quality and Methodology in Official Statistics, Mainz, Alemanha, FEDERAL GEOGRAPHIC DATA COMMITTEE, FGDC Standards Reference Model" Disponível em: [acessado em Julho 2006]. 3. FIGUEREDO, L. A. G. de A.; MASELLO, J. SIDRA - Banco de Dados Agregados - Arquivo de Dados Agregados - Definição e Carga, Nota Técnica 01/05, Diretoria de Informática, IBGE, Rio de Janeiro, Brasil, Fevereiro FLORENTINO, P. V.; PY, H. da S. PID - Projeto de Interoperabilidade de dados, 2º Encontro Nacional de Produtores e Usuários de Informações Sociais, Econômicas e Territoriais, IBGE, Rio de Janeiro, Brasil, Agosto HANONO, R. M.; BARBOSA, D. M. R. CRIPTAX - A Generalized Editing Application Generator, Work Session on Statistical Data Editing, Voorburg, Holanda, HANONO, R. M.; FIGUEREDO, L. A. G. de A.; MASELLO, J. Processo de Tabulação SIDRA-Tabula. Nota Técnica 02/05, Diretoria de Informática, IBGE, Rio de Janeiro, Brasil, Setembro INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA, "SIDRA" Disponível em: [acessado em Julho 2006]. 8. OECD - ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT, Conclusions from the Meeting (OECD Expert Group on Statistical Data and Metadata Exchange) Disponível em: [acessado em Junho 2006]. 9. PALERMO, L. I.; MASELLO, J. Metadados e Geração Automática de Programas, 13º Encontro do Grupo de Usuários SAS Brasil (GUSAS-13), São Paulo, Brasil, SDMX EXPERTS GROUP, "SDMX - Statistical Data and Metadata Exchange" Disponível em: [acessado em Junho 2006]. 11. SILVA, A. F. da; FILHO, C. J. M.; PY, H. da S. Extensão do Sistema de Metadados para Recursos Naturais, 2º Encontro Nacional de Produtores e Usuários de Informações Sociais, Econômicas e Territoriais, IBGE, Rio de Janeiro, Brasil, Agosto

11 12. UNECE - UNITED NATIONS ECONOMIC COMMISSION FOR EUROPE, Report of the April 2006 UNECE Work Session on Statistical Metadata (METIS) Disponível em: [acessado em Junho 2006]. 11