Gestão da Cartografia 10k Oficial e Homologada com Software Livre.

Transcrição

1 Gestão da Cartografia 10k Oficial e Homologada com Software Livre. Bonnet, Artur; Cordeiro, João; Martins, Paulo; Pinto, Jorge; Silva, António; Seara, Artur. Instituto Geográfico Português, Rua Artilharia 1, 107, , Lisboa igeo@igeo.pt RESUMO No âmbito das actividades do Grupo de trabalho para a Exploração de Software Livre de Informação Geográfica (GESLIG) do IGP, foi desenvolvido, a título de exemplo, uma pequena BD/SIG para a gestão do estado de produção da cartografia topográfica vectorial, Oficial e Homologada, à escala 1: Como Sistema de Gestão de Base de Dados (SGBD) utilizou-se a PostgreSQL/PostGIS correndo numa plataforma Linux. A informação carregada nesse SGBD consta de várias tabelas SQL permitindo saber o que de mais importante há sobre o projecto da Série Cartográfica Nacional à escala 1: (SCN10k) como, p.ex. qual a área coberta com cartografia Oficial, qual a área coberta com cartografia Homologada, quais os co-proprietários, quais os produtores, em que ano foi homologada determinada folha, etc.. As interrogações à BD mais usuais, como as acima referidas e outras foram desenvolvidas de raiz em SQL. A informação contida na BD, quer a constante das tabelas originais quer a derivada das interrogações, pode ser acedida quer em modo não gráfico com o cliente pgadmin3, quer em modo gráfico por qualquer um dos clientes SIG Open Source mais divulgados como QGis, o udig ou o gvsig. O QGis é neste estudo, contudo, o mais utilizado por possibilitar uma melhor articulação com a BD e oferecer uma boa facilidade de uso e permitir ele próprio a formulação de algumas interrogações à BD. PALAVRAS CHAVE: Software Livre; Bases de Dados; Cartografia Vectorial. 1. Introdução Com o presente trabalho pretende-se mostrar, através de um exemplo de aplicação, as potencialidades oferecidas pelo Software Livre (SL) para a área da Informação Geográfica (IG). No exemplo de aplicação utilizou-se o PostgreSQL/PostGIS como Sistema de Gestão de Bases de Dados (SGBD) para a gestão da cartografia vectorial da série nacional à escala 1: , a SCN10k, 1

2 tendo o SGBD sido instalado num vulgar PC correndo o sistema operativo (SO) OpenSuSe Nos pontos seguintes iremos fazer uma breve descrição da estrutura lógica que tivemos de instalar/construir, de modo a montar o Sistema de Informação Geográfica para a gestão da cartografia vectorial 10k. O que importa aqui realçar é que hoje em dia é possível, graças à comunidade Open Source, utilizar um vasto conjunto de aplicações e outras ferramentas que vão desde os sistemas operativos até aos clientes SIG, passando pelas BD, que permitem, mesmo para quem não possui grandes conhecimentos informáticos, dotar-se dos meios necessários à construção dos seus próprios SIG sem custos significativos. A comunidade Open Source possibilita além disso, em maior ou menor grau conforme o projecto em questão, o acesso a documentação relevante, tirar partido da experiência alheia e obter apoio para as dificuldades que sempre surgem no decorrer do projecto. É claro que uma organização que disponha de competências na área do desenvolvimento tirará muito mais partido do SL do que aquelas que, por falta dessa competência, se limitem a utilizar produtos ready made. Acresce que, mesmo no nosso país, existe já um vasto sector comercial que se tem desenvolvido em torno dos projectos open source proporcionando assistência técnica quando e se necessária. Naturalmente que quem recebe tem a obrigação, pelo menos moral, de também contribuir para a comunidade, devendo os produtos obtidos por recurso ao SL serem eles próprios disponibilizados livre e, embora não forçosamente, gratuitamente. A importância do Software Livre, em particular na área da Informação Geográfica (IG), é crescente e a sua qualidade e eficiência mostra-se muitas vezes igual senão superior à do Software proprietário, como algumas benchmarks têm demonstrado. A Administração Pública só tem a ganhar, como temos tido já a oportunidade de referir, em explorar, tirar partido e contribuir para este movimento do open source, garantindo, nomeadamente, a interoperabilidade de sistemas e formatos e o uso de standards abertos. 2

3 2. A BD/SIG 10k 2.1 Componentes e Instalação Como dissemos o GESLIG instalou num vulgar PC Pentium IV o Sistema Operativo OpenSuSe 10.0 com o KDE como interface gráfico. Numa outra máquina, ainda menos potente, um Pentium III, tínhamos já instalado o Caixa Mágica 10, versão servidor, no sentido de verificar até que ponto se pode ainda tirar partido de máquinas mais antigas e menos potentes dotando-as de SO menos exigentes. Em ambas as máquinas foi instalado e configurado, usando directamente o código fonte, o Sistema de Gestão de Bases de Dados PostgreSQL e a extensão para os objectos geográficos PostGIS. A instalação através do código fonte tem a vantagem de poder ser configurada tendo em conta o perfil da máquina hospedeira e as necessidades a preencher/garantir como seja a importante questão da escolha do encoding. No caso de se pretender uma instalação de desenvolvimento é imperioso utilizar código fonte dado que os correspondentes binários são sempre disponibilizados mais tarde, e em algumas distribuições Linux a actualização das versões pré-compiladas presentes nos repositórios nem sempre é tão rápida quanto se deseja. É evidente que uma instalação usando código pré-compilado, os chamados binários ou executáveis, é mais cómoda, rápida e simples, mas pode conduzir, mais tarde, a problemas de difícil resolução. A par do SGBD foram instalados o interface gráfico PgAdmin3, e os clientes SIG já referidos: o QGis; o udig; o gvsig; o OpenJump e outras aplicações de interesse marginal para o caso em estudo. De referir que à época em que se fizeram estas instalações, inícios de 2006, ainda não existiam binários do PostgreSQL/PostGIS para a plataforma Windows. Hoje em dia esses binários já existem sendo uma tarefa relativamente fácil a instalação em Windows, incluindo todas as versões do novíssimo Vista, do PostgreSQL/PostGIS. 1 1 Embora não existindo binários era possível a instalação através do emulador Unix Cygwin para Windows. 3

4 2.2 O SGBD PostgreSQL/PostGIS e o PgAdmin3 Em artigo anterior publicado nas actas do ESIG2006 (Bonnet, A. e outros, ESIG2006) (1) referimo-nos com suficiente detalhe às características deste SGBD. Iremos aqui apenas realçar algumas dessas características bem como a do cliente PgAdmin3 2. A versão do Postgres que instalamos em 2006 foi a com a versão do PostGIS. Entretanto saíram algumas novas releases mas, não tendo havido nenhum salto qualitativo digno de nota e tendo em conta as relativas dificuldades em actualizar a BD conservando a informação já carregada, preferimos não efectuar essa actualização. Para o PgAdmin3, pelo contrário, é muito fácil instalar as actualizações visto haver binários para as distribuições mais divulgadas. A principal característica do PostgreSQL/PostGIS é a sua extrema fiabilidade e interoperabilidade. Basta dizer que é um dos poucos SGBD que passou com sucesso o teste ACID (Atomicity; Consistency; Isolation; Durability) e tem batido BD comerciais em diversas benchmarks. O PostgreSQL/PostGIS está a ser utilizado por diversos organismos oficiais com responsabilidades na área da IG, como o IGN francês 3. A extensão PostGIS é essencial para a manipulação de objectos gráficos vectoriais, permitindo, através da aplicação shp2pgsql transformar shapefiles em ficheiros sql (scripts) contendo as tabelas a carregar na base de dados. A PostGIS disponibiliza mais de 600 funções pré-definidas para integração em queries espaciais, possibilitando, desse modo, uma elaboração mais compacta do que seria o caso se não existisse essa extensa biblioteca de rotinas. O interface gráfico PgAdmin3 é de uma enorme utilidade e muito eficaz. Através dele podem criar-se bases de dados e tabelas, perfazer a edição de tabelas, duplicar objectos, apagar bases de dados, tabelas e outros objectos, etc.. Porém apresenta ainda na actual versão, 1.8.2, alguns importantes handicaps como seja o não importar dados em alguns formatos muito usados para o carregamento das tabelas criadas, ou carregar novas colunas que se tenham adicionado a tabelas já 2 ; ;

5 existentes, nem permitir criar vistas de um modo gráfico como certos produtos comerciais já permitem. Eventualmente a nova versão do PgAdmin3 fará já isso. 2.3 Os clientes QGis, udig, gvsig e OpenJump No trabalho já referido em 2.2, publicado nas actas do ESIG2006, referimo-nos com algum detalhe aos principais clientes SIG então disponíveis. A situação de então para cá não sofreu alterações de maior, somente algumas melhorias no acesso aos WebServices, tendo-se assistido a um reforço da posição dos clientes supra-referidos na preferência dos utilizadores. No entanto há que realçar a ligação do QGIS ao projecto GRASS, muito importante para quem trabalha com formatos raster. Também o projecto JGrass, ainda em pré-alfa, está intimamente ligado ao Grass, como aliás o nome indica. Este interessante projecto ganhou muito em se articular com o udig, ambos utilizando Java e a plataforma Eclipse. Na família dos utilizadores do Java Topological Suite, o Jump, OpenJump e gvsig, p.ex., destacam-se os avanços que o gvsig tem sofrido, nomeadamente na ligação aos WebServices e na possibilidade, embora ainda incipiente relativamente a certos produtos comerciais, de permitir efectuar interrogações espaciais ao SGBD PostgreSQL/PostGIS, aspecto em que deve ser o mais avançado no universo do Open Source. Embora qualquer dos clientes acima nomeados possa aceder a uma dada BD, demos preferência, por razões de simplicidade e eficácia ao QGis, versão 0.9.1, e, em menor grau, ao udig, 1.1RC Tabelas Uma BD é, essencialmente, as suas tabelas, relações e indexações. As tabelas que constituem a SIG10k são as seguintes: Tabelas de base: a dos Concelhos e a do Seccionamento da SCN10k; Tabelas de apoio: referentes às Associações de Municípios e Comunidades Urbanas; Tabelas da cartografia: as referentes à cartografia Oficial (produzida directamente pelo ex-ipcc e no âmbito do Procarta) e cartografia Homologada. 5

6 De referir que só as tabelas de base contêm geometria. Todas as outras são alfa-numéricas. De referir também que as tabelas mais complicadas de construir foram as respeitantes às Associações de Municípios e Comunidades Urbanas dada a sobreposição que se verifica entre muitas destas entidades (há municípios que pertencem a três grupos diferentes!). Na figura 1 reproduz-se parte de uma tabela dos Concelhos, obtida da CAOP v4, e na fig. 2 parte de uma tabela das Associações de Municípios. Fig. 1. Fragmento da tabela relativa aos Concelhos (fonte: CAOP v4) 6

7 Fig. 2. Fragmento da tabela relativa aos Concelhos e sua pertença às AM e CU. 2.5 Pesquisas Uma vez construídas as tabelas podem sobre elas efectuar-se uma série de pesquisas que conduzem ao que usualmente se designa por vistas. Sendo a BD utilizada uma base de dados SQL as perguntas devem ser formuladas nessa linguagem. O PgAdmin3 é o instrumento ideal para esse efeito uma vez que tem um módulo dedicado ao SQL e imediatamente fornece informação sobre se a pergunta SQL foi bem formulada ou não, e, caso sim, permite consultar o resultado, ver fig 3. 7

8 Fig. 3. Exemplo de uma querie feita através do pgadmin3. Naturalmente que estas inquirições também podem ser feitas directamente na linha de comandos em SQL após invocação do terminal interactivo através do comando psql. Certos clientes SIG como o QGis e o gvsig permitem também construir algumas queries mais ou menos simples de um modo muito amigável. No entanto as pesquisas mais complexas têm de ser feitas usando SQL. Apesar do relativo incómodo de estabelecer e escrever a ordem de procura em SQL, essa linguagem permite-nos inteira liberdade de construção e proporciona um conjunto quase infinito de possibilidades. A título de exemplo vamos indicar aqui mais algumas pesquisas feitas em SQL pela linha de comandos e o seu resultado gráfico e/ou alfa-numérico: Pergunta para obter a área coberta com cartografia 10k: CREATE OR REPLACE VIEW "09_area_coberta_com_10k" AS SELECT DISTINCT scn10k.nomefolha, scn10k.gid, scn10k.the_geom FROM scn10k, mnt10k_homologadas_old mnt10k_homologadas, mnt10k_oficial_abril_07 WHERE scn10k.nomefolha::text = mnt10k_homologadas.folha10k::text OR scn10k.nomefolha::text = mnt10k_oficial_abril_07.numfolha::text ORDER BY scn10k.nomefolha, scn10k.the_geom, scn10k.gid; ALTER TABLE "09_area_coberta_com_10k" OWNER TO "gruposl"; 8

9 Fig. 4. Resultado de uma querie à Cartografia Oficial e à Homologada para saber o valor das áreas cobertas por uma e por outra. À direita observa-se uma lista de vistas para outras finalidades. Pergunta para obter o conjunto de folhas que cobrem o Concelho de Sintra. CREATE OR REPLACE VIEW "02_folhas_10k_conc_Sintra" AS SELECT scn10k.gid, scn10k.the_geom, concelho_73.concelho, scn10k.nomefolha, astext(intersection(concelho_73.the_geom, scn10k.the_geom)) AS astext FROM concelho_73, scn10k WHERE intersects(concelho_73.the_geom, scn10k.the_geom) AND concelho_73.gid::text ~~ '189'::text; ALTER TABLE "02_folhas_10k_conc_Sintra" OWNER TO "gruposl"; GRANT SELECT, UPDATE, INSERT, DELETE, REFERENCES, TRIGGER ON TABLE "02_folhas_10k_conc_Sintra" TO "gruposl"; GRANT SELECT, UPDATE, INSERT, DELETE, REFERENCES, TRIGGER ON TABLE "02_folhas_10k_conc_Sintra" TO public; Pergunta para obter os concelhos adjacentes a Sintra CREATE OR REPLACE VIEW "01_concelhos_adjacentes_SINTRA" AS SELECT t2.concelho, t2.the_geom, t2.gid FROM concelho_73 t1, concelho_73 t2 WHERE touches(t1.the_geom, t2.the_geom) = true AND t1.concelho::text = 'SINTRA'::text; ALTER TABLE "01_concelhos_adjacentes_SINTRA" OWNER TO "gruposl"; GRANT SELECT, UPDATE, INSERT, DELETE, REFERENCES, TRIGGER ON TABLE "01_concelhos_adjacentes_SINTRA" TO "gruposl"; 9

10 Fig. 5. Resultado gráfico das queries anteriores, pelo cliente QGIS correndo em Windows Vista. Pergunta sobre quais as folhas co-propriedade da AMTQT, Associação de Municípios da Terra Quente Transmontana: CREATE OR REPLACE VIEW "07_folhas_10k_propriedade_AMTQT" AS SELECT scn10k.nomefolha, scn10k.gid, scn10k.the_geom, mnt10k_homologadas.folha10k, mnt10k_homologadas.propriedade FROM scn10k, mnt10k_homologadas_old mnt10k_homologadas WHERE mnt10k_homologadas.propriedade::text = 'AMTQT'::text AND scn10k.nomefolha::text = mnt10k_homologadas.folha10k::text; ALTER TABLE "07_folhas_10k_propriedade_AMTQT" OWNER TO "gruposl"; 10

11 Fig. 6. Resultado da querie por consulta através do pgadmin3, correndo em Mac OS, da tabela gerada (a figura mostra apenas 27 das 36 folhas). 2.6 Cartogramas Para finalizar esta breve exposição do SIG10k vamos apresentar apenas dois cartogramas obtidos com o QGis e o udig como resultado de queries à base de dados: 11

12 Fig. 7. Cartograma com as manchas respeitantes à Cartografia 10k Oficial (mancha vermelho vivo) e Homologada (mancha cor de rosa) reportadas a Fig. 8. Cartograma com as manchas respeitantes às Associações de Municípios e Comunidades Urbanas (neste cartograma não se contemplam as sobreposições de certas AM e CU). 12

13 3. Integração do MNT da SCN10k no projecto É objectivo do GESLIG ir acrescentando funcionalidades ao projecto SIG10k que o valorizem, tornando a BD e o SIG associado cada vez mais completos. Uma destas valorizações passa pela possibilidade de o sistema permitir visualizar os próprios dados topográficos da SCN10k, existentes habitualmente em formato dgn e estruturados segundo um modelo designado por MNT (Modelo Numérico Topográfico). Para isso há que fazer as conversões de estrutura e formato dos dados vetoriais do MNT que permitam a sua integração quer nos ambientes SIG mais usados quer neste projecto concreto. Já em 2004, durante uma acção de formação sobre cartografia digital, promovida pelo IGP no âmbito do programa FORAL, que se estendeu por várias cidades do país, houve oportunidade de se anunciar com toda a clareza o facto de o IGP desde há uns meses, a solicitação dos interessados, transformar os dados da cartografia 1: para um formato facilmente importável pelos sistemas de informação geográfica. Essa operação que o IGP executa, desde que a topologia dos dados esteja correcta, conduz à obtenção de vários ficheiros dgn, um por cada código dos objectos e, porque existem objectos que podem no modelo de dados ser representados à escala (áreas) ou por símbolos (pontos), um por cada geometria, para além do texto. Assim, por exemplo, as capelas pertencentes a uma folha da cartografia darão origem a um ficheiro designado por _A.dgn, para as que são representadas à escala, e a um ficheiro designado por _S.dgn para as capelas cuja representação é por meio de um ponto ao qual corresponde um símbolo. Para os objectos correspondentes a estruturas lineares a designação dos respectivos ficheiros é feita pelo código do correspondente objecto seguido de _L.dng ; por exemplo, os caminhos serão incluídos num ficheiro designado _L.dgn. Para o caso dos textos os ficheiros terão a extensão _T.dgn. 13

14 Com base nessa facilidade procedeu-se à integração de dados dessa série cartográfica no SGBD open source anteriormente mencionada, o PostgreSQL/PostGIS. As fases deste processo foram: 1. Fusão de todos os ficheiros que correspondem ao mesmo código e à mesma geometria (esta operação também pode ser efectuada no momento da separação dos ficheiros por código e geometria); 2. Conversão dos vários ficheiros dgn por código e por geometria para o formato shapefile, por recurso à aplicação ogr2ogr disponibilizada pelo pacote de open source GDAL, sendo que aos ficheiros resultantes da transformação passam a ser designados pelos seus códigos e pelo nome dos respectivos objectos seguidos de _A, _S, _L e _T, conforme os casos, obtendo-se por cada ficheiro dgn convertido três ficheiros respectivamente com as extensões SHP, DBF e SHX ; 3. Edição automática de todos os ficheiros DBF de modo a que na sua coluna texto dos atributos, passe a conter para todos os seus elementos a designação do respectivo objecto; 4. Carregamento automático dos ESRI shapefiles no PostgreSQL/PostGIS criando os ficheiros SQL que darão origem às tabelas na base de dados. Mais uma vez se recorreu ao PgAdmin3, tendo sido usado o templatepostgis disponibilizado pela aplicação. Na figura 9 apresenta-se uma vista dos dados através do QGis, referentes a um extracto do concelho de Freixo de Espada à Cinta. 14

15 Fig. 9. Extracto do MNT de Freixo de Espada à Cinta, obtida por consulta do QGis à Base de Dados sediada no SGBD PostgreSQL/PostGIS. Com base no trabalho efectuado prevê-se a criação de condições para o cruzamento destes dados com os outros dados espaciais já descritos nos pontos anteriores no sentido de contribuir para uma melhor gestão territorial e facilitar este tipo de conversão sempre que alguém ou entidade dela tenha necessidade. 4. Desenvolvimentos futuros. O desenvolvimento natural deste SIG10k será a inclusão da cartografia vectorial homologada às escalas 1k, 2k e 5k e da Ortofotocartografia oficial e homologada. Mais tarde, embora essa fase também já esteja adiantada, como se viu no ponto anterior, o SIG evoluirá de uma mera gestão para a integração de ficheiros oriundos do formato dgn dos MNT e MNT/C. Embora não seja indispensável no curto prazo, a obtenção de um servidor adequado permitirá aumentar o desempenho global do sistema. 15

16 5. Conclusões. A principal conclusão que se deve tirar deste exercício é a de que está ao alcance de qualquer pessoa ou grupo de pessoas, com um mínimo de conhecimentos informáticos, construir valiosos e poderosos instrumentos quer de gestão quer de produção de IG a custo (quase) zero. Outra importante conclusão deste exercício é a de que vale a pena investir em formar equipas com conhecimentos informáticos a nível intermédio e superior para tirar todo o partido possível do manancial de produtos Open Source à disposição de quem deles se quiser aproveitar, transformando-os e adaptando-os às suas necessidades particulares. Bibliografia 1- Bonnet, Artur e outros; Explorando o Software Livre para a Informação Geográfica: exemplos de aplicação. Actas do ESIG Douglas, Korry; Douglas, Susan. PostgreSQL, Developers Library,