AccessMIGPostgreSQL: Uma ferramenta para migração de banco de dados

Transcrição

1 AccessMIGPostgreSQL: Uma ferramenta para migração de banco de dados Adriana Paula Zamin Scherer 1 Daniel Gonçalves Jacobsen 2 Marcelo Luis dos Santos 3 Resumo: Este artigo descreve o desenvolvimento de uma ferramenta de migração de bancos de dados MS Access para PostgreSQL que é livre e gratuita. Todas as ferramentas que oferecem tal funcionalidade são proprietárias e requerem investimentos fi nanceiros para a aquisição de suas licenças. A ferramenta apresentada é de fácil utilização e possui uma interface clara pois tem, como objetivo de utilização, um público que necessita migrar suas bases de dados e não dispõe de recursos fi nanceiros para contratar mão-de-obra especializada, podendo desta forma realizar o processo de migração de maneira autônoma. Palavras-chave: Banco de dados, Software Livre, Migração, PostgreSQL. Abstract: This article describes the development of a tool for migration of MS Access databases to PostgreSQL that is a free software and freeware. All the tools that offer such functionality are held and they request fi nancial investments for the acquisition of their licenses. The presented tool is easy of use and has a clear interface because it is directed to a public who needs to migrate their bases of data and does not have fi nancial resources to hire skilled labor, being that way able to accomplish the process of migration in an autonomous way. Key-words: Database, Free Software, Migration, PostgreSQL. Introdução A implantação de softwares gratuitos na área de banco de dados nas organizações já é uma realidade. Os bancos de dados livres estão tomando o lugar dos bancos de dados proprietários dentro de muitas organizações. Este fato é impulsionado pela necessidade imediata das organizações cortarem seus custos. E, ainda, outro fator determinante para o aumento na procura por bancos de dados livres é a qualidade que estes vêm apresentando, equiparando-se aos melhores bancos de dados proprietários disponíveis no mercado. Partindo destas motivações é possível identifi car a origem e destino dos bancos de dados que estão sendo migrados. Em Scherer et al. (2007) é apontado como origem das migrações o banco de dados proprietário MS Access e como destino o PostgreSQL. 1 Mestre em Ciências da Computação pela Universidade Federal do Rio Grande do Sul. Professora da Faculdade Dom Bosco de Porto Alegre, RS - Brasil. Tem experiência na área de Ciência da Computação, com ênfase em Metodologia e Técnicas da Computação, atuando principalmente nos temas: Banco de Dados, Programação, Oracle, Java. Rua Marechal José Inácio da Silva, Bairro Passo D Areia - Porto Alegre - RS - Brasil. adriana.faculdade@dombosco.net 2 Bacharelando do curso de Sistemas de Informação da Faculdade Dom Bosco de Porto Alegre. Atualmente trabalha com desenvolvimento de aplicações web na empresa Embratec Good Card. Atua como programador em ColdFusion, Java, Sybase e Oracle. Rua Marechal José Inácio da Silva, Bairro Passo d Areia - Porto Alegre - RS - Brasil. djacobsenoris@msn.com, 3 Bacharelando do curso de Sistemas de Informação da Faculdade Dom Bosco de Porto Alegre. Atua na área de desenvolvimento de sistemas na empresa InfoSaúde utilizando as tecnologias ASP.NET, C# e banco de dados Oracle. Rua Marechal José Inácio da Silva, Bairro Passo d Areia - Porto Alegre - RS - Brasil. celol_santos@hotmail.com 51

2 No entanto, o custo das migrações deste tipo envolve cifras que para a maioria das organizações é praticamente inviável. Existe um gasto considerável com a mão-de-obra para realizar este serviço, que defi nitivamente deve ser feito por pessoas extremamente qualifi cadas. De acordo com Scherer et al. (2007), o processo pode ocorrer de duas formas distintas: manualmente ou através de aplicativos desenvolvidos pelo próprio pessoal envolvido. Assim, a migração dos bancos de dados torna-se possível quando há a possibilidade de utilização de um software e que este não precise ser desenvolvido pelo pessoal envolvido no processo. Isto reduz, consideravelmente, o custo do processo de migração favorecendo também as pequenas e médias empresas a utilizarem um banco de dados que não possui custo de licença de uso e que atende às suas necessidades. De acordo com estas constatações, pela demanda atual e futura desta área, justifi ca-se a criação de ferramentas que possam facilitar o processo. A necessidade do desenvolvimento de novas ferramentas decorre do fato de que poucas são as ferramentas disponíveis hoje no mercado e que estas são proprietárias, inviabilizando a sua aquisição pelas empresas que necessitam reduzir seus custos. Este artigo tem como objetivo apresentar a ferramenta livre e gratuita AccessMIGPostgreSQL desenvolvida para ser utilizada em migrações de bancos de dados MS Access para PostgreSQL. Para tanto, primeiramente é feita uma descrição do estado da arte das ferramentas disponíveis para este propósito. Em seguida, na seção 3, é descrita a ferramenta desenvolvida onde são salientados seus pontos positivos e suas defi ciências. Finalmente, são apresentadas algumas considerações sobre o desenvolvimento da mesma e suas contribuições. 1. O estado da arte Existem algumas ferramentas para realização da migração de MS Access para PostgreSQL disponíveis no mercado. No entanto, nenhuma é open source, o que signifi - ca a inviabilidade de utilização por empresas que não têm condições fi nanceiras de inves- tir em um software proprietário, para migrar seus sistemas. Todos os aplicativos avaliados realizam a migração automática, isto é, não há necessidade de se ter o conhecimento específi co do funcionamento dos SGBDs origem e destino, respectivamente, MS Access e PostgreS- QL. O processo utilizado para migração em todas as ferramentas inclusive na ferramenta AccessMIGPostgreSQL, descrita a seguir, na seção 3 é muito parecido e segue o mesmo padrão. No primeiro momento é preciso escolher o local onde se encontra a base de dados MS Access, informando os dados para conexão. No segundo momento informa-se o nome a ser utilizado pela base de dados que será criada no PostgreSQL, também informando os dados para conexão. Por último, determina-se a estrutura a ser migrada, existindo a possibilidade de se escolher e alterar os nomes dos campos, das tabelas e dos tipos de dados de cada campo, incluindo ou não a utilização das chaves primárias e estrangeiras no processo de migração, entre outras. Os aplicativos encontrados e avaliados são: a) ESF Database Convert, disponível para teste em (EasyFrom Technolog, 2007) e desenvolvido pela EasyFrom Technology; b) o DBConvert for MS Access & PostgreSQL, disponível em (DMSoft Technologies, 2007) e desenvolvido pela DMSoft Technologies; c) o DBSync for MS Access & PostgreS- QL, disponível em (DMSoft Technologies, 2007) também desenvolvido pela DMSoft Technologies; d) Navicat for PostgreSQL, disponível para teste em (NAVICAT, 2007) desenvolvido pela Navicat. A tabela 1 apresenta um comparativo de funcionalidades entre estes programas. 52

3 Tabela 1 - Comparativo das ferramentas disponíveis para conversão ESF Database Convert Plataformas Windows 95/ 98/ NT/2000/ Millenium/ XP/ 2003/ Vista DBConvert for MS Access & PostgreSQL Windows Vista/ XP/2000/NT 53 DBSync for MS Access & PostgreSQL Windows Vista/ XP/2000/NT Código Livre Não Não Não Não Possui outras funcionalidades Conversão entre várias bases de dados Conversor para PHP script Sincroniza Access com PostgreSQL Navicat for PostgreSQL Windows e Mac OS É um kit de administração e desenvolvimento para PostgreSQL Possui suporte Sim (inglês) Sim (inglês) Sim (inglês) Sim (inglês) Trata espaços Sim Sim Sim Sim Permite alterar nomes das tabelas e campos Versão utilizada nos testes Sim Sim Sim Sim As ferramentas testadas possuem outras funcionalidades além da migração. O Navicat for PostgreSQL, por exemplo, é um kit completo para gerenciamento do PostgreSQL. Neste caso a migração de MS Access para PostgreSQL é apenas uma das funcionalidades do aplicativo. No entanto, para a utilização destas funcionalidades adicionais se faz necessário um conhecimento técnico mais específi co quanto ao funcionamento do PostgreSQL, o que não é a intenção deste trabalho. O projeto prevê a utilização do AccessMIGPostgreSQL por usuários leigos em tecnologia e com o único objetivo de migrar uma base de dados MS Access para PostgreSQL. Não foi encontrado nenhum aplicativo gratuito com esta funcionalidade. Também não foi encontrado nenhum aplicativo que tivesse sido desenvolvido no Brasil. Isto reforça mais uma vez a importância da ferramenta desenvolvida neste trabalho. 2. Ferramenta para migração de Access para PostgreSQL implementada A atual versão do sistema desenvolvido, disponível para download em (Scherer, 2008), se propõe a migrar completamente os principais recursos de uma base de dados no MS Access para o uma nova base de dados no PostgreSQL. A base de dados no PostgreSQL é criada automaticamente de acordo com o nome da base de dados de origem. A aplicação tem como objetivo migrar todos os dados das tabelas, juntamente com seus índices, chaves primárias, chaves estrangeiras e visões que o banco de dados de origem possui. O processo de migração compreende duas fases. A primeira resgata todos os dados de schema do banco, englobando as tabelas, índices, chaves primárias, chaves estrangeiras e visões. Esta primeira etapa é realizada por uma aplicação desenvolvida em rotinas dentro do próprio MS Access, e sua execução gera um arquivo com extensão. mig, contendo todos os dados descritos anteriormente. O arquivo.mig deverá ser utilizado na próxima etapa: a escolha das opções de migração. A segunda fase foi completamente desenvolvida em Java e lança mão de uma interface gráfi ca para a interação do usuário. A divisão do processo em duas fases distintas se deu pelo fato de o MS Access não permitir que aplicações externas acessem suas tabelas internas de controle, onde fi cam todos os dados relacionados com o schema. A primeira etapa é realizada através de um formulário.mdb desenvolvido no próprio MS Access. Para correto funcionamento

4 do mesmo, o formulário utiliza uma interface gráfi ca na qual o usuário deverá indicar todo o caminho onde se encontra o banco de dados de origem da migração. Ao informar o caminho correto do banco de dados de origem, o formulário.mdb gerará um arquivo com a extensão especial.mig exatamente na mesma pasta que o formulário se encontra. Esta extensão especial serve para a aplicação principal desenvolvida em Java identifi car o arquivo a ser lido. O nome do arquivo gerado corresponde à seguinte estrutura: SQL<nomearqaccess>.mig. Por exemplo, um arquivo MSAccess chamado canil.mdb, gerará um arquivo SQLcanil.mig. O formulário.mdb é capaz de ajustar todos os nomes das tabelas para a formatação específi ca do PostgreSQL, como por exemplo, retirar acentos e espaços dos nomes das tabelas e das suas respectivas colunas. A fi gura 1 ilustra o processo de geração do arquivo.mig Figura 1 - O formulário.mdb O arquivo.mig, é onde fi cam armazenadas todas as informações relacionadas à estrutura da base de dados, dispostas em linhas. Cada linha representa um tipo de informação diferente, que pode ser identifi cada pela numeração do início da mesma, conforme pode ser visto na tabela 2 Tabela 2 - Relação entre escopo/estrutura de um arquivo.mig Escopo 1 Cabeçalho 2 Tabela 3 Campo 4 Índice Estrutura Correspondente 5 Relacionamento 6 Visão 9 Fim do arquivo 54 Cada estrutura que compõe o arquivo.mig possui informações diferentes em suas linhas O escopo 1, cabeçalho, possui o nome do banco de origem, o nome do banco de destino e a data de geração do arquivo.mig. Já a linha correspondente ao escopo 2, tabela, possui o nome da tabela no MS Access e o nome da tabela destinada à conversão, por exemplo, a tabela 3 descreve a representação do arquivo.mig para cada escopo Tabela 3 - Relação escopo/representação de um arquivo.mig Escopo Representação 1 Escopo; Nome do Arquivo Access. mdb; Nome do banco no PostgreS- QL; Data de geração 2 Escopo; Nome; Novo Nome 3 Escopo; Nome da Tabela; Nome do Campo; Novo Nome; Tipo de dado; Tamanho do campo 4 Escopo; Nome da Tabela; Nome do Índice; Único; Chave primária; Permite Nulo; Campos 5 Escopo; Nome da Tabela Principal; Nome do Campo da Tabela Principal; Nome da Tabela Secundária; Nome do Campo da Tabela Secundária; Tipo Integridade; Nome do Relacionamento 6 Escopo; Código SQL da Visão 9 Escopo; Número de linhas do Arquivo; Número de Tabelas; Número de consultas; Número de IR Independentemente do escopo da estrutura, as indicações Nome e Novo Nome na representação signifi cam, respectivamente, o nome da estrutura no MS Access e o nome que será criado na base de dados de destino no PostgreSQL. Já no escopo 3, a indicação Tipo de Dado refere-se ao tipo de dado no MS Access, que são os seguintes: Bit, Byte, Integer, Long, Currency, Single, Double, Date, Text, LongBinary, Memo, GUID. A indicação Único do escopo 4 classifi - ca o índice em único ou que permite repetições. Os valores possíveis são: T (único), F (permite repetição). A indicação Chave Primária representa se o índice é do tipo

5 chave primária, tendo os valores T se for chave primária e F se não for chave primária. O indicador Permite Nulo tem como valores possíveis T se permitir valores nulos e F se não permitir valores nulos. O indicador Campos representa o nome dos campos que formam o índice, indicando antes de qualquer campo sua ascendência (+ ou -). Por poder se tratar de vários campos, e estes delimitados pelo separador de lista do Windows (que poderá ser o ponto e vírgula (;)), eles são delimitados por colchetes ([ ]). No escopo 5, o indicador Tipo de Integridade indica a integridade que será criada com base no campo da tabela principal e no campo da tabela secundária. Os valores podem ser 2, 0, 256, 4096, 4352, que signifi - cam, respectivamente, a informação de que existe relacionamento entre os dois campos (sem impor nenhuma integridade), integridade sem propagação, integridade com propagação apenas na atualização de dados, integridade com propagação apenas na exclusão de dados e integridade com propagação na exclusão e na alteração de dados. No escopo 9, pode-se notar que o indicador Número de Linhas do Arquivo desconsidera a linha referente ao escopo 1 e a linha referente ao próprio escopo 9, respectivamente, cabeçalho e rodapé. A fi gura 2 representa um arquivo.mig aberto pelo Notepad com todas as informações estruturais de uma base de dados a ser migrada. A segunda etapa é quando devem ser escolhidas todas as opções da migração, como, por exemplo, se o usuário deseja migrar os dados ou apenas a estrutura do banco, ou ainda se ele deseja migrar todas as tabelas ou apenas algumas tabelas específi cas. Caso o usuário selecione a migração de apenas algumas tabelas, a aplicação ainda assim tentará criar as chaves primárias, relacionamentos e visões relacionadas a todas as tabelas do banco de origem, mas sem sucesso naquelas que não foram selecionadas. Quando isto acontece, uma série de erros são listados na tela da aplicação, mas isso não caracteriza erro na aplicação e sim pela ausência de algumas tabelas que não foram selecionadas pelo usuário. O AccessMIGPostgreSQL é um conjunto de classes que, em funcionamento, são capazes de ler o arquivo.mig e efetuar a migração corretamente. O processo neste momento transcorre de forma automática, sem que seja necessária a interferência do usuário, o que reforça a possibilidade de usuários leigos utilizarem a ferramenta para suas migrações. A fi gura 3 representa o grupo de classes implementadas. Figura 3 - Classes que integram o aplicativo AccessMIGPostgreSQL Figura 2 - Representação de um arquivo.mig A classe Arquivo é responsável por fazer a leitura de todo o arquivo.mig, armazenando todas as informações em memória para futuras utilizações. Esta classe utiliza uma estrutura de dados para armazenar todas as linhas lidas do arquivo.mig. Além disso, a classe Arquivo resgata o nome do banco de destino a ser criado, resgata o nome das tabelas e de seus respectivos campos e monta os comandos SQL para o banco de destino já fazendo a conversão dos tipos dos dados. Os comandos SQL para criar os relacionamentos também são feitos nesta classe e ambos estão armazenados em estruturas de dados distintas da estrutura onde são armazenadas todas as linhas do arquivo.mig. A tabela 4 representa a relação entre os tipos de dados no MS Access e os tipos de dados correspondentes que são criados no PostgreSQL. 55

6 Tabela 4 - Relação entre os tipos de dados MS Access /PostgreSQL MS Access PostgreSQL Long Bigint Text Varchar Date Memo Timestamp with time zone Text Figura 4 - Fluxo de Execução da aplicação Double Bit Double Precision Boolean Nesta versão inicial do AccessMIGPostgrQL, somente foram relacionados para conversão os principais tipos do MS Access. Entretanto, a conversão dos demais tipos é uma funcionalidade que pode ser incluída na aplicação, uma vez que seu código é software livre. A classe CriaDatabase é responsável por criar a base de dados no PostgreSQL. Para isso, esta classe cria e executa três arquivos: um arquivo.bat, um arquivo script SQL para a criação da base de dados e um script SQL para criação do tablespace onde será armazenada a nova base de dados. O arquivo.bat abre o Psql (programa gerenciador do PostgreSQL) e nele são executados os seguintes scripts: um para criação do banco e outro para a criação do tablespace associado à pasta criada. As classes ConexaoAccess e ConexaoPostgres estabelecem a conexão com os dois bancos de dados. A classe ConexaoPostgres utiliza todas as estruturas de dados para armazenamento de comandos SQL da classe Arquivo. Ainda assim, esta classe estabelece a conexão entre os dois bancos, recupera os dados do MS Access e os insere no PostgreSQL. As classes AdicionaVisoes e AdicionaPK são responsáveis pela criação das visões e das chaves primárias, respectivamente. A fi gura 4 representa o fl uxo de execução da aplicação. Considerações Finais Este artigo apresentou uma proposta de ferramenta para migração de bases de dados MS Access para PostgreSQL, que é livre, gratuita e realiza todo o processo de migração de forma automática e transparente. São estas características que permitem aos usuários leigos em Tecnologia da Informação migrar suas bases sem que sejam necessários investimentos com aquisição de licença de software para migração ou a contratação de empresa técnica especializada em processos desta natureza. A validação da ferramenta AccessMI- GPostgreSQL foi realizada exclusivamente em ambientes de desenvolvimento com modelo e banco de dados de testes, empregando tipos de dados mais comuns. Para melhor avaliação e aperfeiçoamento é imprescindível que sejam feitos testes em ambientes de produção. Somente assim será possível identifi car as melhorias necessárias para o uso em escala desta ferramenta. As maiores contribuições de cunho acadêmico deste artigo consistem no estudo das diversas ferramentas disponíveis para migração de banco de dados, apresentando suas características e peculiaridades, além da criação e apresentação da ferramenta desenvolvida. As contribuições de cunho social baseiam-se no fato de que através da ferramenta AccessMIGPostgreSQL as micro, pequenas e até as médias empresas podem benefi ciar-se da ferramenta como uma maneira de acompanhar a evolução tecnológica utilizando um banco de dados que está em constante atualização e, também, reduzindo ainda mais seus custos com a tecnologia, uma vez que o banco destino é gratuito. 56

7 Referências EasyFrom Technology (2007). Download and evaluate the latest version. < novembro. DMSoft Technologies (2007). Try DB- Convert for Access & PostgreSQL converter < PostgreSQL-pro.php>, novembro. DMSoft Technologies (2007). Try DBSync for Access & PostgreSQL converter < PostgreSQL-sync.php>, novembro. NAVICAT (2007). Download for 30-day demo version Navicat < com/download.html>, novembro. SCHERER, Adriana Paula Zamin; Jacobsen, Daniel Gonçalves; Santos, Marcelo Luis dos (2007). Banco de Dados Migração de Software Proprietário para Software Livre. SCHERER, Adriana Paula Zamin. (2008). < projetos.html> 57