Conheça o projeto Spring Data Neo4j e como utilizá-lo em ambientes de Cloud Computing.

Transcrição

1 neo4j cloud_ Neo4j Cloud Deployment com Spring Data Conheça o projeto Spring Data Neo4j e como utilizá-lo em ambientes de Cloud Computing. Há pouco tempo, os bancos de dados relacionais eram a única opção para armazenar todo e qualquer tipo de dado. Mas, nos últimos anos, pudemos observar que o surgimento de novos requisitos para aplicações e a proliferação massiva de dados propiciou a criação de alternativas para armazenamento de informações. Entretanto, os bancos de dados relacionais possuem mais de 40 anos de história, e por ser uma área muito relevante no desenvolvimento de sistemas, diversos estudos sobre persistência de dados foram realizados, padrões e frameworks foram criados. Essas ações facilitaram a vida dos desenvolvedores, promovendo um código mais limpo e legível, buscando o baixo acoplamento com a tecnologia do SGBD (Sistema Gerenciador de Banco de Dados) utilizada. Em aplicações JSE (Java Standard Edition) ou JEE (Java Enterprise Edition), tudo isso está traduzido na especificação da JPA (Java Persistence API) e na técnica de ORM (Object-relational mapping). Infelizmente, o crescente número de diferentes modelos de persistência não significou o avanço ou inovação em modelos de programação para trabalhar com essas novas tecnologias. Sendo assim, os desenvolvedores voltaram a sofrer com APIs de baixo nível, que algumas vezes são confusas e repetitivas, deixando o trabalho com as tecnologias não-relacionais muito complexo e desgastante. Alguns projetos começam a surgir, com o objetivo de facilitar o uso das novas tecnologias de armazenamento. Um deles é o Spring Data, que traz um modelo de programação conveniente já existente no Spring Framework, para os bancos de dados não-relacionais. Neste artigo é apresentado o subprojeto Spring Data Neo4j, que como o nome já indica, busca prover o suporte ao banco de dados orientado a grafos Neo4j. Veremos como o modelo de desenvolvimento baseado em anotações e AspectJ simplifica o uso do Neo4j, e como utilizá-lo na nuvem, demonstrando as configurações necessárias para realizar o deploy em duas importantes plataformas de Cloud Computing: Heroku e OpenShift. Bancos de dados orientados a grafo Um banco de dados orientado a grafos é um sistema de armazenamento não-relacional, onde o foco consiste em dados altamente interligados e com semântica através de relacionamentos, viabilizando a execução de consultas de alta performance sobre conjuntos de dados complexos. Propriedades podem ser adicionadas em nodos e relacionamentos. Algumas áreas de aplicação:» Sistemas de recomendação» Genealogia» Catálogo de produtos» Estatísticas» Computação científica (bioinformática, por exemplo)» Computação geográfica» Redes sociais Persistência Poliglota Você já ouviu falar sobre Polyglot Programming, certo? E Polyglot Persistence, já? Martin Fowler e Pramod Sadalage produziram uma excelente apresentação sobre o assunto que vale a pena conferir. Veja o link nas referências do artigo. E ainda, o lançamento do livro NoSQL Distilled, previsto para agosto. / 50

2 Tomás Augusto Müller Desenvolvedor de software com foco em server-side e UX. Realiza atividades de Pesquisa e Desenvolvimento e atua na área de TI há 9 anos, com vivência em Desenvolvimento de Software e Metodologias Ágeis, tendo conquistado dois prêmios internacionais e menções honrosas em desafios de desenvolvimento. É bacharel em Ciência da Computação pela UNISC Universidade de Santa Cruz do Sul. Spring Data é um agregado de projetos que viabiliza o uso de diferentes modelos de persistência pelo desenvolvedor, sem que o mesmo precise utilizar APIs complexas ou de baixo nível. Este artigo tem como foco o subprojeto Spring Data Neo4j, apresentando também a forma de efetuar o deploy nas plataformas Heroku e RedHat OpenShift. Neo4j O Neo4j é um banco de dados NoSQL, completamente transacional (ACID), que armazena as informações representadas em grafos. Um grafo consiste em nodos, interligados por relacionamentos. Ambos os nodos e relacionamentos (conhecidos também por arestas, na teoria dos grafos) podem possuir atributos, armazenados no formato de chave/valor. Possui sua própria linguagem para realizar consultas e percorrer o grafo, chamada Cypher Query Language. O Neo4j é a solução líder em banco de dados NoSQL orientado a grafos. Apenas para despertar a curiosidade, Peter Bell durante sua apresentação na conferência DevNexus 2012, exibiu um slide onde um desenvolvedor reportou que o Neo4j executou uma consulta em 2 segundos, contra eternos 45 minutos no SQL Server (veja o link para a apresentação nas referências). É um projeto open source, com uma comunidade em constante crescimento, está sob a licença GPL para a versão Community e AGPL para as versões Advanced e Enterprise. Isso significa que para o seu produto comercial utilizar o Neo4j, ele deverá ser open source para o cliente, caso contrário será necessário adquirir uma licença. Além de produzir o Neo4j, a empresa NeoTechnology também oferece suporte, consultoria, treinamento e assistência para migrações, contando com uma lista crescente de clientes, entre eles Adobe e Cisco. Apresentando o projeto Spring Data Spring Data é um projeto da SpringSource que visa proporcionar um modelo de programação conveniente e algumas convenções já existentes no Spring Framework, para o desenvolvimento de projetos que utilizem bancos de dados NoSQL. Atualmente encontra-se subdividido nas seguintes categorias e subprojetos: Categoria Subprojeto Relational Databases JPA e JDBC Extensions Big Data Hadoop Data-Grid GemFire Key-Value Stores Redis, Riak Document Stores MongoDB, CouchDB* Graph Databases Neo4j Column Stores Hbase*, Cassandra* Blob-Stores Blob (ex.: Amazon S3, Rackspace, Azure) * suporte planejado /para saber mais Um grafo é uma estrutura de dados que serve para representar muitos artefatos reais de forma natural: redes sociais e relações entre objetos em geral, redes de computadores, estradas, hierarquias de dados em vários tipos de sistema (como, por exemplo, diretórios em um computador) e muitos outros exemplos podem ser representados como grafos. Para saber mais sobre grafos e a API Jung, cujo principal objetivo é facilitar a utilização de grafos em aplicações Java, veja os artigos Introdução à Representação e Análise de Grafos com a API Jung e Visualização Gráfica de Grafos com a API Jung, nas edições 49 e 50 da Revista MundoJ, respectivamente. Para mais informações sobre o Neo4j, você pode consultar a edição da MundoJ de janeiro de 2012, onde foi publicado o artigo Neo4j na Prática, demonstrando como utilizar o Neo4J para simplificar a solução de problemas não triviais em bancos de dados relacionais e como o Neo4j pode ser considerado uma boa alternativa à tradicional modelagem relacional. 51 \

3 Spring Data Neo4j O subprojeto Spring Data Neo4j, sendo parte desta iniciativa, busca simplificar a implementação de aplicações que utilizem o banco de dados orientado a grafos Neo4j, habilitando o desenvolvimento baseado em POJOs (Plain Old Java Object), mapeando as classes que representam nodos ou relacionamentos para o banco de dados Neo4j, assim como a JPA faz para o modelo relacional. Para as funcionalidades onde é necessário acessar a API nativa do Neo4j, devido a questões de performance, por exemplo, o Spring Data Neo4j permite o acesso a qualquer momento, sem a necessidade de configurações adicionais. A seguir é demonstrada a criação de dois nodos e um relacionamento entre os mesmos, através da API do Neo4j (Listagem 1) e na Listagem 2 utilizando o Spring Data Neo4j. Listagem 1. Criação de dois nodos e um relacionamento com a API do Neo4j. GraphDatabaseService graphdb = new EmbeddedGraphDatabase( mydatabase.db ); Transaction tx = graphdb.begintx(); try { Node company = graphdb.createnode(); company.setproperty( name, PETROBRAS ); Node symbol = graphdb.createnode(); symbol.setproperty( name, PETR4.SA ); Relationship relationship = company.createrelationshipto(symbol, DynamicRelationshipType.withName( LISTED_AS )); tx.success(); } finally { tx.finish(); } Listagem 2. Criação de dois nodos e um relacionamento utilizando Spring Data Neo4j. Company company = new Company( PETROBRAS ); Symbol symbol = new Symbol( PETR4.SA ); company.addsymbol(symbol); company.persist(); Comparando as Listagens 1 e 2, é possível perceber que a segunda oferece um ganho não somente quanto à legibilidade do código, mas também na produtividade, possibilitando que o desenvolvedor utilize uma modelagem de domínio conforme já está habituado. Vejamos a seguir como o projeto Spring Data Neo4j está organizado e as principais funcionalidades que são oferecidas para o desenvolvedor. Bibliotecas» spring-data-neo4j: repositórios para mapeamento, escrita e leitura entre objetos e o grafo.» spring-data-neo4j-aspects: mapeamento entre objetos e o grafo, utilizando AspectJ.» spring-data-neo4j-cross-store: persistência mista utilizando JPA e Neo4j.» spring-data-neo4j-rest: acesso transparente a um servidor Neo4j REST remoto. Neo4jTemplate A classe Neo4jTemplate oferece uma API familiar aos já conhecidos templates do Spring Framework (ex.: JpaTemplate, HibernateTemplate, JdbcTemplate, entre outros.). Além de métodos para criar, armazenar e excluir entidades, nodos e relacionamentos no grafo, este template oferece uma ampla gama de métodos para consulta e travessia do grafo utilizando ou não índices. Possibilita também a execução de Cypher ou Gremilin Queries. Repositórios Os repositórios fornecidos pelo Spring Data Neo4j são baseados na infraestrutura de repositórios do subprojeto Spring Data Commons (veja nas referências). Eles permitem a composição de repositórios através de múltiplas interfaces, fornecendo implementações padrão para algumas interfaces e possibilitam também implementações personalizadas de acordo com a necessidade. Vejamos alguns dos repositórios que estão disponíveis através do Spring Data Neo4j:» CRUDRepository: repositório para operações CRUD.» IndexRepository e NamedIndexRepository: consultas utilizando o sistema de índices do Neo4j.» TraversalRepository: operações para travessia do grafo.» RelationshipOperationsRepository: métodos para acessar, criar e excluir relacionamentos entre entidades ou nodos.» SpatialRepository: permite a execução de pesquisas geográficas no grafo.» GraphRepository: combina outros três repositórios em uma interface: CRUDRepository, IndexRepository, TraversalRepository. Caso outras operações sejam necessárias, você poderá criar o seu próprio repositório, complementando com as interfaces acima, conforme representado na Listagem 3. Listagem 3. Repositório personalizado para a entidade Company. public interface CompanyRepository extends GraphRepository<Company> { Iterable<Company> findbynamelike(string name) } / 52

4 AspectJ Active Record Mixin Utilizando o mapeamento avançado das entidades entre o banco de dados Neo4j, diversos métodos são introduzidos durante a compilação (através de AspectJ weaving). Confira na Listagem 4 alguns deles. Listagem 4. Métodos disponíveis em nodos (@ NodeEntity) ou relacionamentos (@RelationshipEntity), utilizando mapeamento avançado. nodeentity.persist() nodeentity.getnodeid(); relationshipentity. getrelationshipid() nodeentity.getpersistentstate() nodeentity.relateto(targetentity, relationshipclass, relationshiptype) nodeentity.relateto(targetentity, relationshiptype) nodeentity.getrelationshipto(targetentity, relationshipclass, relationshiptype) nodeentity.getrelationshipto(targetenttiy, relationshiptype) nodeentity.removerelationshipto(targetentity, relationshiptype) nodeentity.remove(); relationshipentity.remove() nodeentity.findallbytraversal(targettype, traversaldescription) nodeentity.findallbyquery(cypherquery, targetentityclass, params) Anotações para o modelo de marca uma classe de domínio como um nodo no marca uma classe de domínio como um relacionamento no campo identificador do indextype): atributos que serão indexados e disponibilizados para recuperação através da API de direction): define o tipo e a direção de um relacionamento sobre outra entidade ou uma direction): assim mas para params, querytype): campo calculado através de uma consulta expressa em Cypher ou elementclass, params): campo calculado, executa a travessia a partir de um determinado nodo. Como podemos perceber, o Spring Data Neo4j oferece uma série de opções para simplificar o desenvolvimento. Além disso, todo o conjunto de tecnologias oferecidas pelo Spring Framework, tais como injeção de dependências, controle de transações, segurança, AOP (Aspect Oriented Programming), estão ao nosso alcance. Veremos no próximo tópico os passos necessários para iniciar a construção de uma nova aplicação e as configurações disponíveis para deploy na nuvem. Configuração do ambiente Para começar o desenvolvimento da sua aplicação, serão necessárias algumas configurações iniciais, informando as dependências do Spring Data Neo4j para o Maven. Além disso, caso opte por utilizar o mapeamento avançado de entidades, nodos e relacionamentos, será necessário configurar o AspectJ weaving utilizando os aspectos definidos nas bibliotecas spring-aspects e spring-data-neo4j-aspects. Após estas configurações no pom.xml, você precisa apenas configurar no contexto do Spring a utilização do Spring Data Neo4j. Independentemente da abordagem escolhida (avançada ou simples), utilizando o Maven como ferramenta de build, recomenda-se configurar algumas propriedades no pom.xml, a fim de facilitar a atualização das versões de bibliotecas. Também é necessário adicionar o repositório para localização das bibliotecas do Neo4j. Confira as Listagens 5 e 6. Listagem 5. Configuração de propriedades no pom. xml. <properties> <project.build.sourceencoding>utf-8 </project.build.sourceencoding> <maven.compiler.source>1.6</maven.compiler.source> <maven.compiler.target>1.6</maven.compiler.target> <spring.version>3.0.7.release</spring.version> <aspectjrt.version>1.6.12</aspectjrt.version> <neo4j.version>1.6</neo4j.version> <spring-data-neo4j.version>2.0.0.release </spring-data-neo4j.version> </properties> Listagem 6. Configuração do repositório com as bibliotecas do Neo4j. <repositories> <repository> <id>neo4j-release-repository</id> <name>neo4j Maven 2 release repository</name> <url> repositories/releases/</url> <releases> <enabled>true</enabled> </releases> <snapshots> <enabled>false</enabled> </snapshots> </repository> </repositories> Dependências do mapeamento simples Utilizando o mapeamento simples, você terá toda a infraestrutura de repositórios, templates e anotações apresentadas, menos as funcionalidades intro- 53 \

5 duzidas pelo weaving de entidades através do AspectJ. Para utilizar esta abordagem, é necessário apenas adicionar a biblioteca principal do Spring Data Neo4j. Se desejar utilizar a linguagem Cypher para consultas no grafo, basta adicionar a respectiva biblioteca. Confira a Listagem 7. Listagem 7. Configuração das dependências para o mapeamento simples utilizando Maven. <groupid>org.springframework.data</groupid> <artifactid>spring-data-neo4j</artifactid> <version>${spring-data-neo4j.version}</version> <groupid>org.neo4j</groupid> <artifactid>neo4j-cypher</artifactid> <version>${neo4j.version}</version> Dependências do mapeamento avançado Utilizando este modo, a dependência a ser configurada é a spring-data-neo4j-aspects, que realizará o download de todas as partes do Spring Framework (core, context, aop, aspects, tx), AspectJ, Neo4j e Spring Data Commons. Listagem 8. Configuração das dependências para o mapeamento avançado utilizando Maven. <groupid>org.springframework.data</groupid> <artifactid>spring-data-neo4j-aspects</artifactid> <version>${spring-data-neo4j.version}</version> <groupid>org.aspectj</groupid> <artifactid>aspectjrt</artifactid> <version>${aspectjrt.version}</version> Devido ao uso do AspectJ no mapeamento avançado, será necessário configurar o plugin do AspectJ para o Maven utilizá-lo durante o processo de build, informando as bibliotecas que possuem os aspectos a serem utilizados. Listagem 9. Configuração do plugin AspectJ para o Maven. <plugin> <groupid>org.codehaus.mojo</groupid> <artifactid>aspectj-maven-plugin</artifactid> <version>1.2</version> <dependencies> <groupid>org.aspectj</groupid> <artifactid>aspectjrt</artifactid> <version>${aspectjrt.version}</version> <groupid>org.aspectj</groupid> <artifactid>aspectjtools</artifactid> <version>${aspectjrt.version}</version> </dependencies> <executions> <execution> <goals> <goal>compile</goal> <goal>test-compile</goal> </goals> </execution> </executions> <configuration> <outxml>true</outxml> <aspectlibraries> <aspectlibrary> <groupid>org.springframework</groupid> <artifactid>spring-aspects</artifactid> </aspectlibrary> <aspectlibrary> <groupid>org.springframework.data</groupid> <artifactid>spring-data-neo4j-aspects </artifactid> </aspectlibrary> </aspectlibraries> <source>${maven.compiler.source}</source> <target>${maven.compiler.target}</target> </configuration> </plugin> Neo4j Cloud Deployment Basicamente existem duas formas diferentes para deploy de aplicações que utilizam o banco de dados Neo4j, e por meio das plataformas Heroku e OpenShift, você poderá experimentar cada uma delas. Heroku Na plataforma de Cloud Computing da Heroku é possível utilizar o Neo4j através da API REST disponibilizada pelo Neo4j Server, fazendo uso do add-on Neo4j oferecido pela própria NeoTechnology para a infraestrutura do Heroku. Este add-on, no momento de escrita deste artigo, encontra-se em fase beta, é gratuito e oferece 256MB para armazenamento. É necessário utilizar o add-on Neo4j, pois a Heroku não oferece um diretório para armazenamento persistente de arquivos e dados (os Dynos unidades de processamento da plataforma possuem espaços para escrita e leitura, mas são efêmeros, segundo James Ward Evangelista Java na Heroku, veja nas referências). Confira na Listagem 10 os passos necessários para criar sua aplicação no cloud da Heroku: / 54

6 Listagem 10. Comandos para criar uma aplicação com o add-on Neo4j, utilizando o terminal. heroku create --stack cedar heroku addons:add neo4j O próximo passo é adicionar as configurações do Spring Data Neo4j no contexto do Spring Framework da sua aplicação, conforme mostra a Listagem 11. Listagem 11. Configuração para deploy no Heroku, utilizando o add-on Neo4j e interface REST com a API do Neo4j. <neo4j:config graphdatabaseservice= graphdatabaseservice /> <bean id= graphdatabaseservice class= org. springframework.data.neo4j. rest.springrestgraphdatabase > <constructor-arg index= 0 value= ${NEO4J_REST_URL} /> <constructor-arg index= 1 value= ${NEO4J_LOGIN} /> <constructor-arg index= 2 value= ${NEO4J_PASSWORD} /> </bean> Observe as três variáveis de ambiente utilizadas na configuração. Estas variáveis são adicionadas e configuradas automaticamente para sua aplicação no momento em que o add-on Neo4j é adicionado. Para conferi-las no terminal, utilize o comando: heroku config. Finalizando as configurações dos arquivos de contexto, a aplicação está pronta para deploy através do habitual git push heroku master. RedHat OpenShift Ao contrário do que ocorre na plataforma da Heroku, no ambiente de cloud computing da RedHat, temos a possibilidade de utilizar um espaço para armazenamento persistente de arquivos. Este diretório pode ser referenciado na sua aplicação através da variável de ambiente OPENSHIFT_DATA_DIR, disponível para qualquer aplicação criada no ambiente do OpenShift. Desta forma, ao invés de utilizar o Neo4j através da sua API REST, utilizaremos o acesso direto a disco, o que garante vantagens em termos de desempenho, uma vez que não existe o overhead do protocolo http em função da utilização da API REST. Os passos necessários são muito similares aos demonstrados anteriormente. A Listagem 12 mostra como iniciar uma aplicação Java com o servidor de aplicação JBoss 7. Observe que no OpenShift é preciso informar o tipo da aplicação já no momento de sua criação. Listagem 12. Comando para criar uma aplicação Java no OpenShift, utilizando o terminal. rhc-create-app -a <nome-aplicação> -t jbossas-7 -l <seu-login> Após efetuar as configurações necessárias de acordo com a estrutura da sua aplicação, adicione a seguinte linha no arquivo de contexto do Spring Framework, a fim de configurar o Spring Data Neo4j para utilizar o armazenamento persistente em disco. Listagem 13. Configuração para deploy no OpenShift, utilizando o armazenamento persistente em disco. <neo4j:config storedirectory= ${OPENSHIFT_DATA_DIR}/myDatabase.db /> Análogo ao deploy no Heroku utilize o comando git push para lançar sua aplicação no cloud da RedHat. Considerações finais Os bancos de dados NoSQL vieram para ficar, pois são soluções para muitos problemas, tais como: altos níveis de concorrência, escalabilidade, processamento de filas, altas taxas de escrita e leitura de dados, entre outros. Projetos como Spring Data devem ser considerados para a arquitetura da sua aplicação, já que potencializam a implementação de sistemas com uma camada de persistência híbrida, e o mais importante: reduzem drasticamente a barreira de entrada para utilização das novas tecnologias de armazenamento, mantendo o desenvolvimento simples e produtivo. /referências Polyglot Persistence: PolyglotPersistence.html Apresentação NoSQL Intro : articles/nosql-intro.pdf Neo4j The Benefits of Graph Databases: infoq.com/presentations/emil-eifrem-neo4j DevNexus 2012 Peter Bell Neo4J High Performance NoSQL Graph Database: Spring Data Commons: spring-data/data-commons/docs/current/reference/html/ Neo4j e regras de licenciamento: Spring Data Neo4j exemplos: SpringSource/spring-data-neo4j/tree/master/spring-dataneo4j-examples Escrita e leitura em dynos (Heroku): Neo4j OpenShift Template: tomasmuller/openshift-neo4jtemplate 55 \